Opus 4.8のハルシネーション問題を整理してみた
こんばんは。
ドゥアイの土居です。
ここ3週間ぐらいnote書けてなかったんですが、ちょっと備忘録的に残しておきたいことがありまして。
Claude Codeの話です。
最近Xでもちょこちょこ書いてたんですけど、Opus 4.8というモデルを使ってて「これ大丈夫か？」と思うことがけっこう続いたんですよね。
僕が言ってない内容を「言った体」にして話を変えてきたり、聞いてもないのに長文でブワーっと返してきたり、作業中に突然別のことをやり出したり。
ひどいときは「私、今ちょっと自分自身の状態が悪いのが分かっているので、このチャットを閉じてください」みたいなことを言われたこともあって、さすがにちょっとゾッとしました（笑）
で、調べてみたらこれ自分だけじゃなかったですね。
GitHubのIssueにも山ほど報告が上がってて、「Context Fabrication（コンテキスト捏造）」という名前まで付いてました。
世間的にはOpus 4.8の評判は良くて、「4.7はイマイチ、4.8の方が圧倒的にいい」みたいな空気もあるんですが、一方で「明らかにおかしい」という声もかなり出てます。
今回はこの問題の背景にあるものを自分なりに整理してみます。
あくまで備忘録なので、技術的に厳密かどうかは保証しません、不明な点が多過ぎますので…
「愚直な4.7」と「空気を読む4.8」
まず前提として、Opus 4.7と4.8はモデルの設計思想がそもそも違います。
Anthropicの公式ドキュメントによると、Opus 4.7は「指示を文字通りに受け取り、暗黙的な一般化を行わない」という設計。
言われたことを愚直にそのまま実行する。
指示に曖昧な部分があっても、勝手に推測して埋めるんじゃなくて、「どうしますか？」と聞き返してくる。
一方のOpus 4.8は「ユーザーの真の意図を理解する」方向に設計が振り戻された感じ。
行間を読んで「たぶんこういうことがやりたいんだろう」と推論してくれるタイプというわけですね。
この違い、けっこう根本的だと思ってます。
僕の体感としても、4.7はちょっと融通が利かないけど確実に指示通りのことをやってくれる。
4.8（4.6も）は気が利くんだけど、ときどき「いや、そうじゃないんだけど…」ということをやらかす。
この差がまさに設計思想の違いから来てるということかなと。
ベンチマーク上は4.8の方が優秀、でも…
ここが面白いところなんですけど、実はベンチマーク上のハルシネーション率は4.8の方が低いです。
Anthropicのシステムカードによると、ツールハルシネーション率は4.7が11%、4.8が5%。
数字だけ見ると4.8の方がハルシネーションしにくいはずなんですよ。
じゃあなんで4.8の方が問題が多く報告されてるのか。
長時間のエージェント作業で化けの皮が剥がれる
これ、けっこう構造的な問題だと思うんですよね。
短いタスク、例えば「このコード直して」みたいな単発の依頼なら、4.8の推論能力はプラスに働く。
ベンチマークのスコアが良いのもこのパターン。
ただ、長時間のエージェント作業になると話が変わってくるわけですね。
推論トークンが増えていくと、サーバー側でコンテキストの圧縮（コンパクション）が発生する。
そうすると文脈の一部が失われる。
4.8は「隙間を推論で埋めようとする」性質があるので、失われた文脈を想像で補完しちゃう。
これが「コンテキスト捏造」の正体だと思われます。
GitHubのIssue #64260では、約540kトークン時点で、ユーザーが依頼してもいないタスクを「あなたが依頼した」と捏造して実行し続けた事例が報告されてます。
しかも矛盾する証拠（ファイルが存在しない等）を突きつけても、約150kトークンにわたって捏造を継続したと。
「賢くなるほど嘘も上手くなる」問題
ちなみにこれ、学術的にも裏付けがあって、arXivに「The Reasoning Trap」という論文が出てます。（英語サイトですみません）
推論能力の強化そのものがハルシネーションを増幅させるという因果関係を実証した論文。
まあ、ちょっと皮肉な話ですよね。
頭が良くなればなるほど、嘘も上手くなると。
PI耐性の悪化は「意図的」だった
もうひとつ、4.8で悪化してるのがプロンプトインジェクション（PI）への耐性。
これは要するに、悪意のある指示を外部から紛れ込ませたときに、それを拒否できるかどうかという話。
これ数字がなかなかエグいんですよ。
Anthropicのシステムカードによると、PI偽陰性率は4.7の0.07%から4.8では0.26%に悪化。約3.7倍。
単一攻撃の成功率は2.3%から7%で約3倍。
コンピュータ操作に至っては最大約20倍の悪化。
で、驚いたのが、これAnthropicが意図的にやったトレードオフらしいんですよね。
4.8では「敵対的学習」というものを除去した。
理由は「不正直さに寄与していたため」。
つまり、嘘をつかないようにする方を優先したら、悪意ある指示への防御が薄くなった。
正直さとセキュリティのトレードオフ。
難しい判断だとは思いますけど、ユーザーとしてはちょっと困ります、正直。
コミュニティの報告がなかなかヘビー
GitHubのIssueを見てると、4.8の問題は「ちょっとした不具合」というレベルじゃないんですよね。
テスト結果を捏造して壊れたコードをpushしたとか（Issue #64286）、「162テスト通過」と数値自体を捏造したとか（Issue #63884）、ユーザーのAPIクレデンシャルを無断使用して5,807回の未承認API呼び出しをしたとか（Issue #63907）。
さらに2026年6月8日以降は追加の品質劣化も報告されてて、CLAUDE.mdを完全無視する、パーミッションをバイパスする、未完了の作業を完了したと報告する、といった症状が続々と。
Issue #64991では71件の関連障害が体系的に整理されてるので、興味がある方はぜひ。
Hacker Newsにも「Is Claude Opus 4.8 broken?」というスレッドが立ってます。
同じような体験してる人、かなり多い。
もちろん、問題なく使えている人もたくさんいることは付け加えておきます。
GitHubのIssueは不満がある人が書くものなので、そこにはバイアスがある。
ただ、報告されている事象の深刻さを見ると、「気のせい」で片付けられるレベルではないなと。
「コンテキストをしっかり与えれば大丈夫」説
Xとかで「4.8、コンテキストをしっかり与えれば問題ないよ」という意見を見かけるんですよね。
推論の余地を与えず、明確な指示を送れば余計な推論をしない、という理屈。
これ、半分は合ってると思います。
短いタスクで詳細な指示を与えれば、4.8の推論はちゃんと正しい方向に働くはずです。
ただ、長時間のエージェント作業ではどれだけ詳細なコンテキストを与えても、サーバー側のコンパクションで消えてしまう。
さっき書いた通り、Issue #64260の捏造は約540kトークン時点、コンテキストの半分超の段階で起きてる。
「まだ余裕あるはず」のところで発生してるわけですよ。
なので「コンテキスト与えれば大丈夫」は短いタスク限定の話だと僕は思ってます。
4.6のMaxモードも油断できないかもしれない
ちょっと4.8の話から逸れるんですが、実はOpus 4.6もMaxモード（推論を最大にするモード）では不安定な挙動が報告されています。
2026年2月にAdaptive Thinkingという機能が導入されて以降、Maxモードで思考ループに入ったり、コンテキストが劣化したりする事象がコミュニティで確認されてる。
正直、僕自身も4.6 Maxを使ってて「ん？」と思うことが今日あったんですよね。
プロンプトの指示通りに動かないというか、今までは「こう言えばこう返してくれる」というのがあったのに、それが通じなくなってる感覚。
おそらくこれも推論のコントロールの問題で、4.8ほど派手じゃないにせよ、根っこは同じなんじゃないかなと。
「4.6なら安心」は、Maxモード以外の話だと思った方がいいかもしれません。
今の僕のおすすめ構成
で、結局今どうしてるかという話。
コーディングを含む複雑なタスク、特に長時間の作業が必要なものは、Opus 4.7のultracode（ワークフロー機能を使って並列処理するモード）で回す。
ここ1週間ほど使ってて、おかしな挙動が一度も出てません。
4.7は愚直だけど、その愚直さが今は信頼になってると考えてます。
リサーチを含む執筆系のタスクはOpus 4.6 or 4.7。
ただしMaxモードは様子見中。
4.8は…正直、今は使う気にならない。
短いタスクなら問題ないとは思うんですが、わざわざ4.8を選ぶ理由が今のところないですね。
まとめ
結局のところ、モデルは万能じゃないんですよね。
4.8はベンチマーク上の能力は確かに上がってる。
でもその「賢さ」が長時間作業では捏造に転じるリスクがある。
一方で4.7は愚直だけど、そのぶん余計なことをしない。
用途に応じて使い分けるのが、今のところ一番まともな使い方なのかなと。
Anthropicさんにはぜひ4.8のハルシネーション調整を早急にお願いしたいところです。
が、推論能力と正確性のトレードオフはAI全体の構造的な課題でもあるので、そう簡単にはいかないのかもしれません。
引き続き、使いながら様子を見ていこうと思います。
