推論パラメーター

は、の生成のふるまいを調整する設定です。 AIF-C01では、要件に応じてどのパラメーターをどちらへ動かすかを判断する問題が出ます。

概要

モデルは次に来るトークンの確率を計算し、その中から1つを選びます。は、この「選び方」と「どこまで生成するか」を制御します。

は、確率分布をどれだけ平らにするかを決めます。

設定	ふるまい	向く用途
低い (0に近い)	確率の高い語を選び続け、一貫した出力になります。	事実の要約、分類、抽出、書式が決まった出力
高い	確率の低い語も選ばれ、多様な出力になります。	発想、キャッチコピー、複数案の提示

⚠️ 頻出: 「毎回ぶれない安定した回答が欲しい」なら温度を下げます。「多様なアイデアが欲しい」なら温度を上げます。

温度を下げても事実誤りが消えるわけではありません。誤りの対策はや検証の仕組みです。

Point

どちらも候補の絞り込み方を決めます。

パラメーター	内容	動かしたときの効果
	確率の上位k個から選びます。	小さくすると出力が固くなります。
	累積確率がpに達するまでの候補から選びます。	小さくすると出力が固くなります。

と併用しますが、まず温度で調整し、必要に応じてtop-pを触るのが一般的です。

パラメーター	内容	注意点
	生成の上限です。	小さすぎると途中で切れます。費用の上限にもなります。
	指定文字列が現れたら生成を止めます。	構造化出力の終端を制御できます。

⚠️ 頻出: 「回答が途中で切れる」原因は最大出力トークン数の不足です。「費用を抑えたい」ときは上限を下げます。

入力と出力の合計はの上限に収める必要があります。

症状	原因	対策
長い文書を渡すとエラーになる	入力が上限を超えました。	分割、要約、での絞り込み
会話が長引くと前半を忘れる	古い履歴が範囲外になりました。	履歴の要約、必要な部分だけ保持