AI用語

トークン（自然言語処理）

トークンは、言語モデルが文章を扱う最小の単位です。単語や文字の一部に対応し、モデルごとに決まった方法で数値に変換されます。

概要

大規模言語モデルがテキストを処理する際の最小基本単位。文字、単語、またはその一部（サブワード）に対応し、モデル固有のトークナイザーによってテキストから数値IDへ変換される

大規模言語モデルは、文章を文字や単語、その一部（サブワード）に分けて処理する。この分けられた単位をトークンと呼ぶ。OpenAIのトークナイザーの資料が、この考え方を示している。

トークンは、モデル固有のトークナイザーによって数値のIDに変換される。同じ文章でも、モデルによって分け方が異なることがある。

プロンプトや回答の長さを見積もるときは、文字数ではなくトークン数で考えるのが基本である。モデルによって分け方が異なるため、同じ文章でも数が変わることがある。