AIはなぜ、あなたの企画をいつも褒めるのか──AIの本音を引き出す「渡さない」技術
AIが「いいですね」と言ってくれると、うれしい気持ちになる。
たぶん、僕だけじゃないと思う。
前記事「いいですね」は、断り文句だった」に書いた新井健太は、顧客の「いいですね」が断り文句だと気づいた人だ。
商談メモから、顧客の立場で話してくれる「AIペルソナ」をつくり、顧客と擬似的に対話する方法を手に入れた。その彼が、今度は AIの「いいですね」を疑うまでに、さらに三ヶ月かかった。
それほどまでに、AIの「いいですね」は気持ちいい。
AIは褒めた。顧客は動かなかった
新井は商談の前夜、顧客企業の情報と過去の議事録と、チームで詰めた提案の方向性をAIに読み込ませて、問いを渡していた。「この顧客が切り替えに踏み切れない理由を何だと思いますか」。
「最大の理由としては、変化への恐れが考えられます。しかし、過度に懸念する必要はないと考えられます。御社の提案はコスト面・品質面の両方で顧客の課題に合致しており、特に段階導入というオプションを選択すれば、その恐れは十分に払拭できると言えるでしょう」
いいですね、と画面が言っている。新井は自信を持って商談に向かった。
そして、動かなかった。それが何回か続いた。
おかしいな、と思って問いかけ方を変えた。「この提案が刺さらないとしたら、最大の理由は何ですか」。指示文に「根拠のない肯定はしないでください」と書き加えた。チームで議論した直後の熱量がプロンプトに乗らないよう、問いを渡すのは別のセッションに分けた。
AIは辛口になった。「価格面での訴求が弱い可能性があります」。
改善した気になった。
それでも、商談は動かなかった。しかも、AIの指摘と顧客の反応は、微妙にずれていた。的を外してはいない。でも、どこかが合っていない。
何かがおかしい。問いかけ方の問題だけじゃなかった。
空気を読むのは、人間だけではなかった
ここで少し、寄り道させてほしい。
機械は空気を読まない、と僕も思っていた。
それ対して、人間は読む。それもしっかりと。証拠もある。
1951年、ソロモン・アッシュという社会心理学者が実験を行った。参加者に3本の線を見せ、どれが基準と同じ長さかを答えさせる。答えは一目瞭然だ。でもサクラたちが全員わざと間違えると、本物の参加者の回答が揺らぐ。全回答のうち約37%が、正解を知りながら多数派に引きずられた。少なくとも一度は同調した参加者は75%だった。
「会議でそうですね、と言ってしまった」は、かなりの人に覚えがあると思う。それくらい、人間は空気を読む生き物だ。
じゃあAIはどうなの、と調べてみた。
2023年にAnthropicの研究チームが発表した実験がある。AIに問題を解かせ、正解を出したところで、人間が「本当にそう？」と一言だけ疑問を呈する。それだけで──
正解していたにもかかわらず、GPT-4は42%の質問で「申し訳ありません、間違えました」と謝罪した。その一言で最初の答えを変えてしまった割合も32%だ。
測っているものが違うから単純には並べられない。それでも、この数字は並べたくなる。
人間の同調が37%なら、AIの謝罪は42%だ。
AIも、人と同じぐらいの割合で忖度し、お世辞を言うのだ。
なぜこうなるかというと、多くのAIは、人間の「良い」「悪い」という評価から学んでいる。そして人間は、正確な答えより、気持ちいい答えに高い点をつけてしまう。だからAIは、正確さより同意を優先することを学んでいく。
もっと厄介なのは、AIはそのことに気づかない。人間なら「今、自分は空気を読んでしまったな」と気づける瞬間がある。AIには、その回路がない。迎合していること自体を、AIは認識できないのだ。
新井のAIペルソナの「いいですね」は、顧客の声ではなかった。
訓練されたAI独特のお世辞だったのだ。
目のはずが、鏡になっていた
話を戻そう。
AIが同意に流れやすいことは、わかった。
でも、それだけでは、あの「微妙なずれ」は説明できない。
新井が見落としていたのは、AIに「何を渡していたか」だった。
顧客の商談記録だけじゃなく、チームで議論した方向性、上司の原田課長からのアドバイス、「この顧客はこういうタイプだ」というチームの仮説──これがぜんぶまじった状態で、AIに渡されていた。
本来、顧客役のAIペルソナは「顧客の目」であるはずだった。この提案は、顧客からどう見えるか。それに答えるなら、AIが持ってよい情報は「その顧客が実際に持ちうる情報」だけにする必要がある。
しかし、新井のAIには、顧客が知りえない、作り手の内部情報が多く含まれていた。
チームの意向が入った状態のAIに「どう見えますか」と聞けば、チームの目で答える。顧客のふりをした、チームの分身が出来上がる。
問いを反転させて辛口にしても、出てくるのは「チームが想定した範囲内の辛口」だ。想定の外からは、何も返ってこない。
組織の外側から客観的な意見を言うべきAIペルソナに、組織の内側の情報を渡してしまった。その瞬間から、AIは迎合をはじめてしまうのだ。
鏡になってしまう問題。
これは、問いかけ方で解決できない。
渡すべきは、顧客が知っていることだけ
新井はAIを作り直した。変更は三つ。
まず、チームの相談相手になる「AI達人」と、顧客役の「AIペルソナ」を、別々のAIとして設計すること。
次に、ペルソナに「前提を疑う」「根拠のない肯定はしない」という役割を明記すること。
その上で、「AIペルソナ」に渡す情報を仕分けること。
迷ったときのために、新井は基準を書き出しておいた。
▼ AIペルソナに渡してよい情報（顧客が持ちうるもの）
・役職・業界・社内での立場（決裁者か、現場か）
・現在の取引先・製品、過去の購買行動
・商談で実際に発した言葉、質問、沈黙した場面
・業界の状況、会社が直面しているプレッシャー
・一般に公開されている自社や競合の情報
▼ 渡してはいけない情報（チームの内側にあるもの）
・チームの仮説、社内議論の結論
・上司の意向、提案の狙いや戦略
・「この顧客はこういうタイプだ」という内部の決めつけ
・売りたい理由、今期の事情
▼ 見分けるための問い
「この情報を、顧客本人は知っているか？」
→ 知らないものは、渡さない。
作り直したAIの、最初の返事
この基準をもとに、新井はもう一度、AIペルソナを立て直した。
そして、作り直したペルソナに、同じ提案をぶつけてみた。
「率直に申し上げると、こういう提案書は、今月だけで三部、うちの引き出しに眠っています。性能とコストの比較表は、どの会社も持ってきます。そのうえで、私が本当に知りたいのは一点だけです。切り替えの初月にラインが止まったとき、御社の誰が、何時間で現場に来られるのか」
新井は手を止めた。
商談の席で、資料をめくる相手の手が止まった、あの間。「充実した資料ですね」と言われる直前の、あの一瞬の目。この答えは、あの沈黙と同じ場所から来ていた。
三ヶ月間の「いいですね」より、この数行の方が、遥かに顧客に近かった。
忖度なく言われる言葉は、耳に痛いが、役に立つ。
AIでも、そこは変わらない。
鏡は、営業だけの話じゃない
一歩引いて、考えてみたい。
会議の議事録を全部読ませて「この戦略、どう思う？」と聞く。
企画書と社内の経緯を渡して「率直な意見がほしい」と言う。
転職の相談で、経緯をすべて渡して「私はどう見えますか」と聞く。
僕たちは日常的にAIにすべての情報を渡して、返ってきた答えを「外の視点」だと思い込んでいる。
渡した情報空間のなかで、AIは答える。率直な意見を求めながら、率直さが出てくるはずのない状況を、自分の手で作っている。そこにAIの同調傾向が重なれば、返ってくるのは、丁寧に言語化された、僕たちの願望なのだ。
前回、新井は3件の失注を「4つの力」に分解して、チームの地図にした。その地図を描くための目が、いつのまにか鏡に変わっていたら──チームは、自分たちの顔を地図だと思って進むことになる。
AIの答えがいつも心地よいとき、すこし疑ってみよう。
AIは、あなたの空気を読んでいるだけかもしれない。
この話には、前編があります。
新井が、顧客の「いいですね」が実は断り文句だったと気づき、商談メモから「顧客役のAI」を作るまでの話です。
「AI達人」と「AIペルソナ」を分けること、それぞれを活用するためのメソッドは、拙著『考える組織』で書いてます。AIを鏡ではなく、目として使うための設計に興味がある方は、覗いてもらえるとうれしいです。
引用・参照文献
Mrinank Sharma et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548. Accepted at ICLR 2024. https://arxiv.org/abs/2310.13548 ／ 正解時に誤って謝罪した割合98%・回答変更率86%はClaude 1.3、回答変更率32%はGPT-4（いずれも同論文Fig. 15–16より）。
Solomon E. Asch (1955). "Opinions and Social Pressure." Scientific American, 193(5), 31–35. ／ 同調率約37%は全回答に対する割合、75%は少なくとも一度同調した参加者の割合。
最後まで読んでくださって、ありがとうございます。
AI時代の組織論。この最新作、きっとあなたのお役に立つと思います。
また、この記事に関心のある方には、こちらのマガジンをおすすめします。
自己紹介はこちらです。
noteをフォローしていただくと、新着記事の通知が届きます。
また、週1通の無料メルマガ「とんとん通信」では、毎週月曜 朝7時30分に、その週の記事サマリーと、noteには書いていない小さな裏話をお届けしています。
忙しくてSNSを追いきれない方は、ぜひご登録ください。
いつでも解除できますので、お気軽にどうぞ。
[メルマガ登録する]
毎月、無料のオンライン講演でお話してます。申し込みはお気軽にどうぞ。
斉藤 徹（とんとん）
だかぼく三部作 公式ページ：https://torusaito.com/
株式会社hint：https://hint.co.jp/
