「AIの精度が低い」と諦める前に。不満の9割がモデルの頭脳ではなく「渡した材料の不足」だった話

ChatGPT 5.6やClaude Fable 5といったフロンティアモデルが登場し、AIの進化は目を見張る域に達しています。特に複雑なコード生成を人間のように自律修正するFable 5の思考能力や、高度なエージェントタスクを正確かつ超高速で完遂するChatGPT 5.6（Sol）の処理能力には、思わず唸らされるほどの凄みがあります。「これほどのモデルがあれば、実務のあらゆる問題が一気に解決するはずだ」と期待を抱くのも自然なことです。

しかし、どれほどモデルの頭脳が恐ろしいレベルに到達しても、現場の実際の業務にAIを組み込んでみると、思い通りにいかない場面に必ずぶつかります。

「期待していた情報がなぜか抜け落ちている」
「何回指示を出しても、微妙に見当違いな回答しか返ってこない」
「結局、人間が手作業で確認し直さなければならず、二度手間になった」

こうした結果に直面したとき、多くの人は「やっぱりAIにはまだ任せきれない」「次のバージョンアップを待つしかない」と結論づけてしまいがちです。

ですが、現場で自分自身のコードからLLMを動かし、具体的な業務プロセスを自動化する実験を重ねて分かったことがあります。

ChatGPT 5.6やFable 5クラスのモデルであっても、AIが期待外れの答えを返す原因の9割は、モデルの頭脳（性能）不足ではありません。人間側がAIに手渡している「材料（入力）」が不足していることです。

モデルのさらなる進化を待つ前に、私たちがAIにどんな文脈と情報を手渡しているかを見直すこと。それだけで、AIの出力精度は劇的に変わります。

オフィスの指示に潜む「材料不足」の罠

この構造は、職場で上司が部下に仕事を依頼するときのすれ違いとまったく同じです。

たとえば、上司が部下に向かって「来週の会議に向けて、競合他社の動きを良い感じにリサーチしておいて」とだけ指示を出したとします。数日後、部下が提出してきたレポートを見て、上司は「なんだこの浅い内容は。うちの業界の文脈がまったく入っていないじゃないか」と頭を抱えます。

このとき、問題は部下の頭脳や能力にあるのでしょうか。

違います。「競合他社とは具体的にどの3社を指すのか」「直近の新サービスについて調べるのか、価格改定について調べるのか」「過去の自社データとどう比較してほしいのか」という前提や背景資料（材料）を、指示を出した側が一切渡していないことが原因です。

人間同士であれば「あ、説明が足りなかったな」と気づけます。しかし、AI相手になると、私たちは無意識に「AIなんだから、これくらい察して全体を汲み取ってくれるはずだ」という過度な期待を寄せてしまいます。

どんなに賢い最新モデルであっても、入力に含まれていない情報を脳内でゼロから生成することはできません。AIが間違えるのは、推論が下手なのではなく、判断するための材料が手元に存在しないからなのです。

1件2.51円の実証実験で直面した「AIの誤判定」の正体

先日、私は日々のリサーチや業務を効率化するため、対象のWebサイトから特定のシステム導線や利用条件を自動判定するスクリプトをPythonで構築しました。

対象のURLを与えるだけで、AIがサイト内を自動で読み込み、「オンライン予約や外部ツールの有無」「特定の利用条件や電話限定の注意書き」をJSON形式で判定・出力してくれるツールです。APIにはClaude Haiku 4.5を採用し、1件あたり2.51円という実効コストで100件単位のリサーチを数分で終わらせる設計にしました。

しかし、初期の実装でテスト実行した際、あるサービスのWebサイト判定結果が見事に外れました。

そのサイトには「初回限定のWeb予約」や「特定の条件該当者は電話対応のみ」という複雑な利用規約があったのですが、AIが出してきた判定結果にはその条件が丸ごと抜けており、外部連携URLも取得できていなかったのです。

一見すると、「軽量モデルを使ったから読み取り精度が低かったのか」「プロンプトの指示が伝わっていないのか」と思える現象でした。

そこで、AIが何を根拠にその判断を下したのかを検証するために、抽出したテキストとAIへの入力ログを詳細にデバッグしました。すると、原因はAIの性能などではなく、もっと根本的な部分にあったことが判明したのです。

原因1：ボタンが画像で作られており、文字情報がゼロだった

トップページのHTMLを解析したところ、主要な導線へのリンクボタンが「画像（imgタグ）」で配置されていました。標準的なテキスト抽出しか行っていなかったため、AIに渡っていた入力文脈では、重要なボタンの存在自体が「空文字」として処理されていたのです。

AIは「テキストが存在しない」から「ボタンなし」と正しく判断していただけで、間違えていたのは画像の中のalt属性やtitle属性を抽出してAIに渡していなかったスクリプト側の実装でした。

原因2：重要な利用条件が下位ページに隠れていた

さらに調べると、「初回限定」や「一部メニューは電話対応のみ」という重要な条件は、トップページには一切書かれておらず、1階層深い別ページの中にだけ記載されていました。

最初のプログラムはトップページの文章しかAIに渡していなかったため、AIがどれほど優秀であっても、別ページに隠された条件を知る由がありませんでした。

モデルを変える前に「材料と階層」を整える

原因が「AIの頭脳」ではなく「渡している材料の欠損」だと分かったため、私はモデルを変えることなく、プログラム側に以下の改善を施しました。

1. HTML抽出時に alt 属性や title 属性を拾い、画像ボタンのテキストを補完する

2. トップページから1階層潜り、その文章とリンク一覧を統合してAIに渡す

3. AIの出力フォーマットに evidence（判断の根拠となったテキストの抜粋）を必ず含めさせる

この修正を加えたうえで、1件2.51円の同じモデル（Haiku 4.5）で再実行したところ、判定精度は100%に跳ね上がりました。

「初回限定」「特定の条件該当者は電話のみ」「連携システムのURL」といった複雑な条件が、具体的な根拠テキストとともにパーフェクトに抽出されたのです。

もしここで、「AIが正しく答えてくれないから」と原因を追究せず、より高額なモデルに変更したり、プロンプトの命令文をいたずらに長くしていたらどうなっていたでしょうか。

入力に材料が含まれていない以上、モデルをどれだけ高くしても結果は変わらず、無駄なコストと検証時間を費やすことになっていたはずです。

結局なにが言いたかったのか？ 現場で使える3つのチェックポイント

ここまで少し細かいデータ処理の話をしてしまいましたが、結局のところ私が実証実験を通して伝えたかった結論は非常にシンプルです。

「AIに正しく答えてほしければ、モデルの性能を疑う前に、手渡す材料を検品しよう」

プログラミングや複雑なツールの知識がなくても、日常のチャットAI利用や現場の業務指示で今日からすぐに使えるデバッグのポイントは、次の3つだけです。

1. 「材料が入っているか」を自分の目で確認する

AIに指示を送信する前に、自分が手渡す前提文章を一度読み返してみます。「この情報だけを渡されて、自分なら正解を出せるか？」と問いかけてみるのです。材料が入っていないなら、プロンプトの言葉遣いをどれだけこねくり回しても意味はありません。

2. AIに「どこを見てそう判断したか（根拠）」を言わせる

指示の中に「なぜその答えになったのか、参照した文章の該当部分を根拠として教えてください」と一言加えておきます。根拠を出させるだけで、AIが「情報がなくて勘で答えたのか」「渡された材料を誤読したのか」を一目で判別できるようになります。

3. 高額なモデルに変える前に、渡す文章のゴミ（ノイズ）を削る

最新の高額モデルに切り替える前に、AIに渡している余計な長文やノイズを削り、必要な情報だけを整理して手渡してみてください。渡す文章を整えるだけで、AIの回答スピードも精度も劇的に向上します。

問いと材料を設計する人間が、AI時代を動かす

次々と新しいモデルが登場する時代だからこそ、「モデルの性能に依存する思考」から脱却する必要があります。

AIを道具として使い倒し、自分の業務や思考の分身として組み込んでいくために必要なのは、AIのバージョンに一喜一憂することではありません。「どのような問いを立て、どのような材料を適切な順番で手渡すか」という文脈の設計力です。

どれほどAIが進歩しても、現場の泥臭い課題や、どの情報が本当のボトルネックになっているかを見抜く力は、人間にしか持ち得ません。

「AIが思うように動かない」と感じたときは、ぜひ一度、AIの手元にある材料棚を覗き込んでみてください。不足している材料を1枚補ってあげるだけで、AIは一気に頼もしい相棒へと変わるはずです。

最後まで読んでいただき、ありがとうございます。