AIのtemperature（温度）とは？0にすれば正確になる？設定の考え方を解説

温度は、次の候補を選ぶときの分布へ関わる

AIは文章の続きを作る際、次に出す候補を計算します。temperatureは、その候補の分布を調整するパラメーターです。一般に低くすると有力な候補へ寄りやすく、高くすると別の候補も選ばれやすくなります。ただし、実際の対応範囲や組み合わせる設定はモデルによります。

重要なのは、候補の確率が高いことと、事実として正しいことは同じではない点です。資料にない料金を誤って有力な候補として扱っていれば、温度を下げても、その間違いを繰り返すかもしれません。

• 出典：Google / prompt strategies（新しいタブ）

3候補の数値例で、変わるものを見る

説明用に、三つの候補A・B・Cの元のスコアを2・1・0とします。各スコアを温度で割ってから指数関数で比率にすると、下表になります。これは数学的な計算例で、実際のモデルがこの候補を出したという実験ではありません。

温度0.5ではAへ約87%が集まり、温度2では約51%まで下がります。しかし、Aが正解かどうかは、この計算からは分かりません。候補の散らばりと、内容の検証を分ける理由はここにあります。

0でも、正確さや完全な再現性は保証されない

温度0を受け付ける実装では、もっとも有力な候補を選ぶ動きとして扱われる場合があります。ただし、モデルや実行環境の変更、計算処理、他の設定などが関わるため、「必ず同じ文になる」と一般化はできません。そもそも温度を自由に変更できないモデルもあります。

また、低温度が向かないモデルもあります。公式に既定値を維持するよう勧めている場合は、古い解説の「事務仕事は0」をそのまま当てはめないでください。モデル名、API、推奨設定、指定可能な値を確認する方が先です。

比べるなら、同じ資料で「形式」と「中身」を採点する

架空の会議メモ「10月8日14時、担当は田中。会議室は未定」を使い、日時・担当・未定事項をJSONに分ける仕事を考えます。JSONは、アプリが項目名と値を読み取りやすいデータ形式です。

候補を比べるときは、同じ入力で複数回動かし、形式を守れた回数、日時が一致した回数、未定の会議室を作ってしまった回数を分けて記録します。文章の言い回しが変わった回数だけを数えても、業務に使えるかは判断できません。

top_pやモデルを、一緒に変えすぎない

top_pは、候補を累積確率で絞るために使われる設定です。temperatureと同じものではありません。両方を大きく変えると、どちらが結果へ影響したか分かりにくくなります。利用するAPIの推奨する調整方法に従いましょう。

思考の量を指定するreasoning等の設定も、温度とは別です。長く考えさせる設定と、出力候補の選び方を調整する設定を混同すると、費用や待ち時間の変化も説明できなくなります。まず既定値で完成条件を満たせるかを確認し、困っている点に関係する設定だけ変えます。

比較した後に「採用しない」と決める基準も用意する

たとえば、既定設定で10件中10件が指定の形を守り、変更後に1件だけ形式が崩れたとします。言い回しに変化が出ても、アプリがその出力を処理できないなら採用する理由はありません。反対に、発想の案を人が選ぶ用途なら、形の一致より使える別案が増えたかが大切です。これは採点の考え方を示す架空の例です。

試す前に、何を改善したいのかを書きます。形式の一致、誤った事実の数、使える案の数、待ち時間を一つの点数へすぐ混ぜず、個別に残してください。モデルを更新した場合も、以前の設定が適切とは限らないので同じ入力で確認します。

温度を下げる前に、入力と検査を直す

出力形式が崩れるなら形式指定や検査、事実を作るなら根拠資料と不明時の処理、表現がいつも同じなら候補数や発想の条件を見直します。温度だけで全部を解決しようとしない方が、修正の理由が分かりやすくなります。

例を使って答え方をそろえる方法はFew-shotの記入例へ。生成された情報の確認はAIのファクトチェック手順で、何を元資料へ戻すかを確認できます。