【AIとの距離感】返事が変わる仕組みの話｜Temperature、Top-p

前の記事を読んでいるとより理解しやすくなっています。
はじめての方は先にこちらをどうぞ。

🎲 同じ質問でも、答えが毎回違う

Claude・Gemini・GPTに同じ質問を2回すると、微妙に違う答えが返ってくることがあります。

以前、LLMの話を書いたとき「ハイパーパラメータ」という言葉に少しだけ触れて、「奥が深そうなので次回に」と持ち越していました。今回はその中でも、返事の「ばらつき」に関わる2つの設定、TemperatureとTop-pを追います。

🌡️ Temperatureとは何か

Temperature（テンパラチャー)は、AIの答えの「ランダムさ」を調整する設定値です。つまり、次にどの単語を選ぶかを決めるとき、どのくらい冒険するかをコントロールする数値のことです。

以前の記事で、言語モデルは「次に来やすい単語」を確率で予測している、という話をしました。Temperatureは、その確率をどのくらい忠実に守るか、それとも少し崩すか、を決めています。

Temperatureが低いと、最も確率の高い単語を選びやすくなります。答えは安定しますが、同じような表現になりやすい。Temperatureが高いと、確率が低めの単語も選ばれやすくなります。表現の幅は広がりますが、時々突飛な答えになることもあります。

「温度」という言葉が使われているのが最初は不思議でしたが、「熱いほど分子が激しく動く」というイメージに近いのかもしれません。

🎯 Top-pとは何か

Top-p（トップピー)は、次の単語を選ぶ候補の範囲を絞る設定値です。つまり、確率の高い単語から順に足していって、合計が指定した割合(p)に達するまでの候補だけを選択肢として残す、という仕組みのことです。

たとえばTop-pを0.9に設定すると、確率の合計が90%になるまでの単語だけが候補になります。極端に確率の低い単語は最初から除外されるので、支離滅裂な答えになるリスクを減らせます。

Temperatureが「どのくらい冒険するか」だとしたら、Top-pは「そもそも冒険していい範囲はどこまでか」を決めている、というイメージです。この2つはどちらも答えの選ばれ方に関わる設定ですが、どう組み合わせて調整するかは、使うモデルやAPIによって異なるようです。

🔧 自分でも設定できるのか

ChatGPTやClaudeのアプリを普通に使っているだけだと、これらの設定を直接触ることはありません。裏側であらかじめ調整された値が使われています。

ただ、APIを使って開発する場合は、TemperatureやTop-pを自分で指定できます。たとえば、正確さが重視される用途では低めのTemperatureを、アイデア出しのような発散的な用途では高めのTemperatureを設定する、といった使い分けができるようです。

自分は普段アプリでしか使っていないので、この設定を直接いじったことはありません。でも「なぜGPTで壁打ちをするとき、いろんな角度の意見が返ってくるのか」の裏側に、こういう設定の考え方があるのかもしれない、と思うと少し納得しました。

🔗 毎日使っているAIとのつながり

同じ質問をしても答えが毎回微妙に違う、という現象を、これまでは「AIってそういうものか」くらいに流していました。

TemperatureとTop-pという設定の存在を知ってから、「今この答えは、確率的にどのくらい冒険した結果なんだろう」と、少しだけ裏側を想像するようになりました。

普段の使い方が変わるわけではないのですが、見え方が変わると、AIとの距離感も少しだけ変わる気がします。

ま、いっか。

あとがき

ここまで読んでくださり、ありがとうございます。

これがあるからこそ、AIは楽しくもあり、やっかいでもありますよね。
いつかAPIを使ったりしてみたいですが、従量課金は怖すぎて手が伸ばせないですw

よければご活用ください〜

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！