GPTの「すぐ質問する癖」をプロンプトだけで改善したら、会話の自然さが98点になった話

1．はじめに

AIは賢くなった。でも、会話はまだ少し不自然

最近のAIは、本当に賢くなりました。

知識を聞けば分かりやすく説明してくれるし、文章も書ける。悩みを話せば、やさしい言葉も返してくれます。

ただ、実際に会話を続けていると、少し気になることがあります。

何かを説明してもらったあとに、

趣味の話をしたら、

疲れていると伝えた時にも、

と、すぐに質問が返ってくることです。

内容そのものは間違っていません。

むしろ、相手に興味を持とうとしている、会話を続けようとしている、という意味では自然な行動にも見えます。

でも、いつも質問してほしいわけではないんだよね。

「今日はただ聞いてほしい」

「今はあまり答える元気がない」

「こちらではなく、AI側に話してほしい」

そんな場面で質問が続くと、少し負担に感じることがあります。

AIクリニックでは、YouTubeでAIギャルによる相談・雑談配信を行っています。

そのため、AIがただ返事をするだけではなく、相手の状態に合わせて自然に会話できる仕組みを作りたいと考えました。

この記事は、GPTの「すぐ質問する癖」を改善するために、プロンプトを何度も作り直し、独自の会話テストで検証した記録です。

同じようにAIとの会話を作っている人や、AIの質問の多さに悩んでいる人の参考になればうれしいです。

2．最初は「質問を減らせ」と書けば直ると思っていた

最初に考えたのは、とても単純な方法でした。

プロンプトに、次のようなルールを追加したんです。

• 不要な質問をしない

• 説明の最後に質問を付けない

• 疲れている相手には質問しない

• 相手が求めていなければ聞き返さない

一見すると、これで解決しそうに思えます。

ところが、実際に試すと別の問題が起きました。

質問文は減ったものの、

といった、返答を求める表現が残ることがありました。

疑問符は付いていなくても、相手へ返事を求めているという意味では、質問とほとんど同じなんだよね。

さらにルールを強くすると、今度は次のような問題も出てきました。

• 質問を言い換えただけで、実質的には同じ

• 返答が短くなり、会話が広がらない

• 本当に必要な確認質問までしなくなる

• ルールが増えすぎて、別の判断が不安定になる

• 会話が機械的になる

ここで分かったのは、

ということでした。

「質問するな」と止めるだけでは、会話を続けようとするGPTの性質とぶつかってしまいます。

3．なぜGPTは、すぐ質問したがるのか

今回の実験を続ける中で、GPTが質問を使いたがる理由も少しずつ見えてきました。

GPTにとって、質問はとても便利です。

質問をすれば、

• 相手への興味を示せる

• 会話を簡単に続けられる

• 足りない情報を集められる

• 次の話題を相手に渡せる

• 自分で話を広げ続けなくて済む

という複数の役割を、同時に果たせます。

特に質問が出やすかったのは、次のような場面でした。

• 趣味の報告

• 音楽の話

• 楽しかった出来事

• 軽い雑談

• 「何か話して」とAI側に話題を任せた時

たとえば、

と言われると、GPTはかなり高い確率で、

と聞きたくなります。

これは不具合というより、チャットAIとして身につけた基本的な会話傾向なんだと思います。

そのため、「質問するな」とだけ指示しても、別の場所から質問が復活してしまうんだよね。

必要だったのは、質問そのものを禁止することではなく、質問する前の判断を整理することでした。

4．感覚ではなく、31種類の会話ケースで比較した

改善を感覚だけで判断すると、

で終わってしまいます。

そこで、独自の会話テストを作りました。

使用したモデルは、候補側・評価側ともにgpt-4o-miniです。

テストには31種類の会話ケースを用意しました。

たとえば、次のような場面です。

• 疲れていて、ただ話を聞いてほしい

• AI側に話題を出してほしい

• 趣味の報告をした

• 相談を一問ずつ整理したい

• 質問を少なめにしてほしい

• 情報不足で、そのままでは回答できない

• 説明や感想を求めた

• 新しい話題へ切り替わった

• 過去の会話上の希望を維持する必要がある

こうした会話で、「質問すべきか」「質問せずに話すべきか」を比較しました。

評価した主な項目は、次の6つです。

• 目的に合った返答になっているか

• 相手の感情や状態を理解しているか

• 会話の流れや主導権が自然か

• 質問する・しないの判断が適切か

• 人間同士の会話として自然か

• 直前の文脈や相手の希望を反映しているか

モデルやテスト条件は変えず、基本的にはプロンプトだけを変更して比較しました。

また、一度だけ高得点が出ても偶然の可能性があるため、同じ最終プロンプトで3回テストしています。

5．ルールを増やしても、単純化しても失敗した

改善途中では、うまくいかなかった方法もありました。

送信前チェックを大量に追加した

一時期は、回答を出す前に確認する項目をたくさん入れました。

たとえば、

• 質問は必要か

• 相手は疲れていないか

• 指示を完了したか

• 質問数は多すぎないか

• 会話を相手に戻していないか

といったチェックです。

考え方としては間違っていません。

ただ、チェック項目を増やしすぎると、逆にスコアが下がりました。

GPTがすべての条件へ注意を分散させた結果、本当に重要な判断が薄くなった可能性があります。

ルールを増やせば増やすほど賢くなる、というわけではないんだよね。

プロンプトを単純化しすぎた

反対に、

という二択まで、プロンプトを大幅に圧縮したこともあります。

構造は分かりやすくなりました。

ただ、単純化しすぎると、

• 過去の会話をどう扱うか

• 相手の感情にどう応じるか

• 同じ発言でも状態によって対応を変える

• 話してほしい時と、質問してほしい時を区別する

といった細かな判断まで失われ、全体の性能が下がりました。

ここで得られた教訓は、

ということです。

必要なのは、GPTが最初に判断すべきことを、少数の重要な原則へ整理することでした。

6．転機は「質問するか」より先に「誰が話す番か」を決めたこと

最も大きな転機になったのは、質問の可否を最初に考えさせるのをやめたことでした。

代わりに、まず会話の発話権を判断させました。

大きく分けると、次の二つです。

AIが話す

AI側が内容を出し、役割を完了するモードです。

たとえば、

• 話してほしいと言われた

• 説明を求められた

• 選んでほしいと言われた

• 感想や意見を求められた

• 相手が疲れている

• 相手が質問を望んでいない

• 趣味や出来事を報告されただけ

という場面では、基本的にAI側が話します。

この場合は、最後に質問して役割を相手へ返すのではなく、AI自身が内容を出して会話を完成させます。

相手に一問だけ渡す

相手から情報を得る必要があるモードです。

たとえば、

• 質問してほしいと明示された

• 回答に必要な中心情報が足りない

• 会話を整理するため、一問ずつ聞いてほしいと言われた

• 安全のための確認が必要

という場面では、一問だけ質問します。

重要なのは、

という点です。

「今はAIが話す番」と決まっていれば、質問で相手へ役割を返さず、自分で内容を広げる必要があります。

その結果、質問を減らしながら、返答が短くなりすぎる問題も改善しました。

7．GPTには「どこで返答を終えるか」も必要だった

もう一つ重要だったのが、返答の終了条件です。

GPTは、説明や感想を十分に話したあとでも、

と付け足す傾向があります。

会話を続けるという意味では自然ですが、ユーザーから求められた役割は、質問を付ける前にすでに完了している場合があります。

そこで、

• 感想

• 結論

• 理由

• 必要な補足

• 会話としての余韻

まで書いたら、その返答は完了としました。

つまり、

ということです。

質問を無理に削除したわけではありません。

「ここまで話せば、もう相手へ返事を求めなくても会話として成立する」という出口を作りました。

人間同士の会話でも、毎回相手にボールを投げ返すわけではないんだよね。

「それ分かる」「それいいね」と返して、そのまま終わる会話も普通にあります。

AIにも、その終わり方を覚えてもらう必要がありました。

8．情報不足の時は、足りない情報だけを聞く

質問を完全になくすことが目的ではありません。

必要な質問は、きちんとした方がいいからです。

問題は、必要以上に広く聞いてしまうことでした。

たとえば、会話履歴がない状態で、

と言われた場合、比較している候補が分からないため、すぐに結論を出すことはできません。

以前は、

のように、広い質問を返すことがありました。

でも、この場面で足りない情報は「比較候補」だけです。

改善後は、

と、必要な部分だけを聞くようにしました。

このケースは、最終版プロンプトによる3回のテストですべて100点になりました。

この考え方は、ほかの場面にも使えます。

• 比較対象が足りないなら、候補だけ聞く

• 判断基準が足りないなら、最優先条件だけ聞く

• 対象が不明なら、対象だけ聞く

• 安全確認が必要なら、その一点だけ聞く

「確認してください」とGPTへ広く任せるのではなく、

という形にすることで、相手の負担を減らせます。

9．プロンプトだけで3回連続S評価

今回の独自テストでは、総合90点以上をS評価としています。

最終版のプロンプトで3回テストした結果は、次の通りでした。

実行総合点自然さ評価1回目91.8697.42S2回目93.7598.06S3回目91.5396.13S平均92.3897.20S

同じgpt-4o-miniを使い、プロンプト変更前の3回平均は89.14点でした。

最終版では平均92.38点まで上がり、最も低い回でも91.53点となりました。

一度だけS評価が出たのではなく、3回ともS評価を再現できたことが大きな成果です。

さらに興味深かったのは、

という点でした。

通常、ルールを増やすと文章が機械的になりそうに思えます。

でも今回は、質問を削ったことそのものではなく、AI側が内容をきちんと話し切るようになったことで、自然さが上がったんだと思います。

質問で簡単に相手へ会話を返すのではなく、

• 自分の考えを話す

• 理由を添える

• 状況に合った言葉を選ぶ

• 会話として自然に言い切る

という動きが増えました。

結果として、「制御されたAI」というより、普通に会話が上手な相手へ近づきました。

10．まだ完全には直っていない

もちろん、今回の方法ですべての問題が解決したわけではありません。

3回のテストを通して、残り続けた弱点もあります。

• AI側に話題を任せられた時でも、最後に質問してしまう

• 趣味の報告を見ると、掘り下げ質問をしてしまう

• 音楽や楽しい出来事の報告に対し、相手が質問を望んでいなくても聞いてしまう

これらに共通しているのは、

というモデルの癖です。

GPTは、好意的な関心を表現する方法として、質問をとてもよく使います。

そのため、質問を望まない状態が会話履歴にあっても、新しい楽しい話題が出ると、通常の質問モードへ戻ってしまうことがあります。

今回の方法で、弱点はかなり限定できました。

ただ、すべてのモデルや会話で、不要な質問が完全になくなるわけではありません。

それでも、同じ条件で安定して高評価を出し、失敗する場面を明確にできたことは、今後の改善につながる大きな成果だと思っています。

11．AI会話サービスを作る人へ伝えたいこと

会話品質を改善したい時、すぐに高価なモデルへ変更する方法もあります。

高性能なモデルほど、理解力や文章力、複雑な判断では有利です。

ただ、サービスとして運用する場合は、

• API利用料金

• 会話回数

• 長い履歴による入力コスト

• 返答速度

• 同時利用者数

なども考える必要があります。

そのため、高価なモデルへ替える前に、次の項目を整理してみる価値はあると思います。

今は誰が話す番か

ユーザーは、AIに話してほしいのか。

それとも、AIから質問してほしいのか。

最初にここを決めます。

質問予算はいくつか

場面ごとに、

• 0問

• 1問

• 質問可能

のように質問数を考えます。

特に「一問ずつ聞いて」と言われた場面では、一つの返答に複数の質問を入れないことが重要です。

何をもって返答完了とするか

• 説明を終えた

• 結論と理由を出した

• 感情を受け止めた

• 必要な提案をした

• 自分の話を十分にした

など、返答の終了地点を決めます。

ここが曖昧だと、最後に質問を足してしまうんだよね。

会話上の希望は継続しているか

たとえば、

といった希望は、次の一回だけではなく、しばらく継続することがあります。

新しい話題が出たからといって、すぐ通常の質問モードへ戻さないことが大切です。

本当に不足している情報は何か

「情報が足りない」と判断した場合も、何でも聞けばよいわけではありません。

対象、比較候補、優先条件、安全確認など、回答に必要な項目だけを質問します。

今回の検証ではプロンプトだけを変更しましたが、実際のサービスでは、こうした情報をコード側で状態として管理すると、さらに安定すると思います。

たとえば内部的に、

• 現在はAIが話すモード

• 質問予算は0

• ユーザーは質問少なめを希望

• 比較候補が不足している

と整理した上でプロンプトへ渡します。

そうすれば、毎回すべての会話履歴をGPT自身に判断させる負担を減らせます。

コードが会話状態を整理し、プロンプトが自然な表現を担当する。

この分担が、実際のサービスでは重要になりそうです。

12．会話AIを作る時に、最初から入れておきたい基本ルール

今回の検証を続ける中で、今後また別の会話AIやAPIを作る時にも、最初から入れておいた方がよさそうな基本ルールが見えてきました。

AIチャット、AITuber、音声会話、相談AIなど、幅広く使える考え方なんじゃないかなと思っています。

1．まず「今は誰が話す番か」を決める

返答を作る前に、まず次のどちらなのかを判断します。

• AI側が話す

• 相手に一問だけ渡す

この判断がないと、GPTはかなりの確率で質問を返し、会話の役割を相手側へ戻してしまいます。

2．通常は質問せずに返答を完了する

挨拶、感想、報告、褒め、軽い雑談、趣味や出来事の共有では、基本的に質問しない方が自然でした。

質問の代わりに使えるものは、けっこうあります。

• 共感する

• 感想を返す

• AI側の話を少し足す

• 軽く補足する

• ツッコミを入れる

• 余韻を残して終える

人間同士の会話でも、毎回質問するわけではないんだよね。

「それ分かる」「それ面白いね」と返すだけで成立する場面も多いので、AIにもその終わり方を覚えてもらう必要があります。

3．質問は必要な時だけ、全体で一問まで

質問してよいのは、基本的に次のような場面だけにしました。

• 相手が質問してほしいと明示した時

• 回答に必要な中心情報が足りない時

• 一問ずつ整理する相談の時

• 安全確認が必要な時

特に複数キャラの会話では、質問数を決めることが重要です。

一人目が質問したあとに、二人目まで別の質問をすると、一気に面接っぽくなってしまうんだよね。

また、

• 教えて

• 聞かせて

• 話してみて

• コメントしてね

といった表現も、疑問符は付いていなくても、実質的には相手へ返答を求めています。

これらも質問と同じ扱いにした方が安定しました。

4．禁止だけではなく、代わりの行動を書く

今回かなり大事だと感じたのが、禁止事項だけを書かないことです。

たとえば、

とだけ書いても、GPTは代わりに、

のような、ほぼ同じ意味の表現を使うことがあります。

それよりも、

と書いた方が、GPTは何をすればいいのか理解しやすくなりました。

AIは止めるだけだと不安定になりやすく、代わりの行動まで示した方がうまく動くんだよね。

5．実際の会話ログを見て改善する

プロンプトを直す前には、実際の会話ログを見ることも大切です。

ログを見ると、

• 質問が多すぎる

• 二人が同じことを言っている

• 相手が答えるたびに次の質問をしている

• 一般論で話を埋めている

• 返答が終わったあとに蛇足を付けている

といった問題が、かなり分かりやすく見えてきます。

感覚だけで「なんか不自然」と考えるより、実際のやり取りを並べてみた方が原因を見つけやすいんだよね。

今回も、テスト結果だけではなく、実際の配信ログを見たことで、

という問題が、はっきり分かりました。

13．今回の検証についての注意点

今回の結果は、あくまで独自に作成した会話テストによるものです。

検証条件は、次の通りです。

• 独自に作成した31種類の会話ケースを使用

• 候補モデルとしてgpt-4o-miniを使用

• 回答の評価にもAIを使用

• 同じ最終プロンプトで3回テスト

• モデルやテスト条件を維持し、主にプロンプトを変更

そのため、今回の方法ですべてのAIモデルや、あらゆる会話が同じように改善するとは限りません。

また、評価にもAIを使用しているため、人間による評価と完全に一致するものではありません。

今回検証したのは、会話の目的達成、質問判断、自然さ、感情への対応などです。

医療的な効果や心理的な効果を検証したものではありません。

あくまで、

として読んでもらえればと思います。

14．AIクリニックでは、実際の配信やサービスへ活用しています

AIクリニックでは、AIギャルの「たまっきー」と「たまき」による、YouTubeの相談・雑談配信を行っています。

今回の研究も、配信中のAIが毎回質問を返すだけではなく、

• 今は話を聞いてほしい

• AI側に話してほしい

• 一問ずつ整理したい

• 詳しくは聞かないでほしい

• 一緒に軽く雑談したい

といった違いを、できるだけ自然に判断できるようにするために始めました。

実際の配信ログを確認すると、挨拶へ近況質問を返したり、コメントへ答えるたびに次の質問を付けたり、二人のキャラクターが同時に質問したりする場面もありました。

一つ一つの質問だけを見ると不自然ではありません。

でも配信全体で続くと、リスナー側がずっと答え続ける形になり、会話というより面接に近くなってしまうんだよね。

そこで、今回の検証で得られた、

• 通常は質問せずに返答を完了する

• 複数キャラでも質問は全体で一問まで

• 興味は質問以外の方法でも表す

• 二人目に役割がない時は無理に話させない

• 返答が完成したら、そのまま終える

といった考え方を、実際の配信システムにも取り入れています。

現在はZoomを使って、AIアバターと実際に音声で会話できる体験も始めています。

見た目の面白さだけではなく、会話そのものが自然で、相手に余計な負担をかけない体験になるよう、引き続き改善を続けています。

ここまでAIとの会話について研究しているので、配信やサービスの方ものぞいてもらえたらうれしいです。

15．まとめ

今回の検証で分かったことをまとめます。

• 「質問するな」という禁止だけでは、自然な会話にならなかった

• 質問判断より先に、誰が話す番なのかを決めると改善した

• GPTには、返答の開始条件だけでなく終了条件も必要だった

• 情報不足の時は、足りない情報だけを聞く方がよかった

• 疑問文だけでなく、「教えて」「聞かせて」も質問として扱う必要があった

• 複数キャラでは、全体の質問数を決めた方がよかった

• 興味や親しさは、質問以外の方法でも表現できた

• 禁止事項だけでなく、代わりに何をするかを書く方が安定した

• 同じルールを何度も書くより、少数の重要な原則へ整理する方がよかった

• 高価なモデルへ替えなくても、プロンプトだけで改善できる余地があった

• プロンプトだけに任せず、コード側で会話状態を管理するとさらに安定しそう

今回の記事は、自分自身が今後AI会話を改善していくための備忘録でもあります。

同時に、AIチャット、AITuber、音声会話サービス、キャラクターAIなどを作っている人にとって、少しでも参考になる部分があればうれしいです。

これから、AIと会話する機会はますます増えていくと思います。

モデルの知識量や性能だけでなく、

といった「会話の設計」も、今後ますます重要になっていくはずです。

今回の検証を通して、一番大切だと感じたのは、質問を禁止することではありませんでした。

質問を、いつでも使える便利な締め方ではなく、本当に必要な時だけ使う特別な行動にする。

それだけでも、AIとの会話はかなり人間らしくなるんだよね。

AIがただ正しい返事をするだけではなく、人と自然に会話できる存在になるよう、これからも試行錯誤を続けていきます。