【AI突撃取材3】Gem更新でも効果なし・・・。気づけなかったAIの隠れルール

前回の記事で、Geminiの中には巨大オフィスのように多くの役割分担があることを書きました。
みなさん、読んでいただけたでしょうか？

あの記事を書いた後、私はその分業の知識を武器に、Gemの検証に挑んでいました。
法律の条文に関連する、「法務審査官Gem」の検証です。

うまくいくはずでした。少なくとも、最初はそう思っていました。

1. 「またこれか」という、沈黙

審査の対象として、ラベルの画像をアップロードします。
私：「今アップロードした画像の内容を確認してください」

返ってきたのは、画像とは無関係な回答でした。

最初は、通信の問題かと思いました。再送してみます。また無視。
前回の記事で書いた「パイプの確認」をしてみます。

「今、私がアップロードしたファイルの中に、ラベル画像は含まれていますか？」

——アップしたのはPDFではなく、画像ファイルですけど？

直前にアップロードした別のファイルの中身が、ラベル画像のファイル名のまま渡されていました。

「これは前回と同じ話か。またパイプが詰まっている・・・。」

そう判断した私は、Geminiに原因を尋ねながら調査を始めました。

2. 「コピーしたせいだ」——最初の仮説

Geminiに状況を説明すると、こんな見立てが返ってきました。

なるほど。
このGemは確かに、プロンプトをブラッシュアップするたびにコピーを繰り返してきた歴史があります。
バグまで一緒に引き継がれてしまったのかもしれない。

解決策はシンプルでした。「Gemを新規作成する」。

コピーではなく、完全に白紙から作り直す。
プロンプトと知識ファイルを手動で貼り直して、汚染されたIDとの繋がりを断ち切る。

品質管理の現場で言えば、汚染された設備をいくら洗浄しても限界があるなら、ラインそのものを刷新する発想です。

さっそく作り直しました。
ラベル画像をアップロードして、確認を求めます。

返ってきたのは——また、画像ではなく、PDFの話でした。

「・・・あれ？」

3. 新たな疑惑

どこかがおかしい。でも、どこが？
もしかして、前回の記事で整理した役割分担の問題ではないのでしょうか？

そして、新たな疑問が生まれていました。
画像が届かない原因は、本当にバグなのか。
それとも、このシステムには私が知らない「別のルール」があるのではないか。

他にも溜まっている仕事があります。
「この調査、いつ終わるんだろう。こんなことばかりしてられないんだけど・・・」とオフィスで独り言をつぶやきながら、私はいったん手を止めることにしました。

数日後、真の原因は、まったく別の場所から顔を出すことになります。
続きはまた後日。

◆HACCPとの共通点

ここまでの体験を振り返って、ふと思ったことがあります。

品質管理の現場でも、「原因だと思った工程を止めたのに、まだ問題が出る」という状況は起きます。
そういう時、原因は「もっと手前の工程」か「まったく別の経路」にあることが多いですよね。

AIのトラブルも同じでした。
「コピーが原因」という仮説は間違いではありませんでしたが、それ以前に、そもそも画像を渡すこと自体が設計上できない状態になっていた可能性がありました。

原因の切り分けは、思い込みを持ち込んだ瞬間に止まります。
「このラインが怪しい」と決めてかかると、別の原因が見えなくなる。

AIの不具合調査と、HACCPのハザード分析。やっていることは、案外同じかもしれません。
少しでも、みなさんの参考になる点があれば、幸いです。

✅ 今回の体験から得たAIの教訓

教訓①　「前と同じ症状」でも、原因は同じとは限らない

前編で学んだ「パイプの詰まり」という知識が、今回は逆に判断を狭めました。過去の体験から来る思い込みは、原因究明の視野を狭くします。

教訓②　AIの自己診断を鵜呑みにしない

Geminiが提示した「キャッシュの汚染」という仮説は、一見筋が通っていました。しかし結果は外れでした。AIの見立ては参考にしながら、「本当にそうか」を自分でも検証する姿勢が必要です。

教訓③　原因が見つからない時は、「別の経路」を疑う

ライン内を探しても見つからない時、原因は別の工程にある——HACCPの現場で何度も経験してきたことです。AIのトラブルも同じで、「まだ知らないルールが存在するかもしれない」という前提を持つと、調査の行き詰まりが減ります。

※次回（第4話［結］）では、いよいよ「画像が届かなかった本当の理由」が判明します。そこから得た実務への応用もお伝えしますので、よろしければ覗きに来てくださいね。

※本シリーズは、食品品質管理の現場でAIを使い倒している私の実体験をもとにしています。第1話・第2話と合わせてお読みいただけると、AIの全体像がより立体的に見えてきます。↓

続きの話はこちら↓