TERMWIRE
IT用語がすべて自動でつながる用語辞典
No.0669 ― 更新日 2026-09-13 ― 関連語 2件
とーくんか ／ Tokenization
文章を、AIモデルが処理できる小さな単位（トークン）に分割する前処理。
大規模言語モデルは文章をそのまま扱うのではなく、単語やその一部といった小さな単位に分割してから処理する。この分割の単位や方法が、モデルが文章をどう認識するかに影響を与える。
AIモデルの利用料金の多くが、このトークンの数に基づいて計算されており、長い文章ほど多くのトークンを消費する。