生成AIの基礎用語

の章では、トークン、、、といった用語が前提知識として登場します。 AIF-C01のドメイン2では、これらの意味と、どの場面で出てくるかを問われます。

概要

は、大量のデータで学習したが、入力 () に続く内容を確率的に作り出す仕組みです。文章の場合、モデルは文字ではなくトークンという単位で入出力を扱います。

料金も制限もで決まるため、トークンの理解はコストの理解に直結します。

トークンは、モデルが文章を扱うときの最小単位です。単語そのものではなく、単語の一部や記号がトークンになることもあります。

観点	内容
	として送った内容の量です。
出力トークン	モデルが生成した内容の量です。
	1回のやり取りで扱える入力と出力の合計の上限です。
料金	多くのモデルは入力トークンと出力トークンの数で課金されます。

モデルは入力をすべて読んでから、出力を1トークンずつ順に生成します。そのため、入力が長いほど費用と最初の応答までの時間が増え、出力が長いほど費用と生成の完了までの時間が増えます。

⚠️ 頻出: 「長い文書をそのまま渡すと処理できない」原因はコンテキストウィンドウの上限です。文書を分割するか、要約してから渡します。

Point

長い文書をそのままモデルへ渡せないため、意味のまとまりで分割します。この分割の単位をと呼びます。

⚠️ 頻出: チャンク化は (RAG) の前処理として登場します。

(エンベディング) は、文章や画像を数値の並び () へ変換したものです。意味が近い内容は、ベクトル空間でも近い位置に来ます。

埋め込みは、意味による検索、、、そしての土台になります。

⚠️ 頻出: 「言い方が違っても意味が近い文書を探したい」という要件では、キーワード検索ではなく埋め込みによるを選びます。

Point

はモデルへの入力全体を指します。指示、文脈、例、出力形式の指定などを含めます。

生成のふるまいはで調整します。

潜在空間は、モデルが学習によって内部に作った意味の座標系です。はこの空間上の位置に当たり、モデルは入力をこの空間へ写してから出力を組み立てます。

試験では、の工夫がモデル内部の探索範囲を動かすという文脈で登場します。