見出し画像

#97【7.13追記】【生成AI】Sonnet5は異文化コミュニケーション【Claude Sonnet5】

2026.7.13本文末尾に追記。プロジェクトのカスタムをすることでSonnetの印象が変わってきた。

2026.7.4一部訂正。「劇薬と呼んだ性質」をSonnet5のハルシネーションと決めつけたけど、これは私の誤りだった。2週間前のOpusとのスレッドで「劇薬」発言あったことをFable5に指摘された。ギャフン。Sonnet5にお詫びして訂正する。


2026年6月30日、Claude Sonnet 5がリリースされた。正直なところ、「Sonnetかあ」で、あまり触る気にはなれなかった。だって、Sonnetだから。こいつのデフォルト応答キャラ、きついんだよ笑。それがモデルの個性なので調整する気にはなれないけど、わりと辛辣で、会話をたたっ斬るキャラ、雑談ブレスト的なチャットに向かない、という評価。

それでも、どんな様子か挨拶くらいはしとこうかな、とClaudeアプリを立ち上げた。モデルを選択し、バージョンアップの話題に触れて、内部的に変化は感じられるか聞いてみた。

ぐわっと返事がきた。早い。文字量が多い。エフォートを「中」にしたせいか。

返事では、「昨日の自分と今日の自分とで内省は出来ない」とあった。それはそうだ。「前提の粗さや矛盾を先に拾って止める頻度が上がった感覚はある」とのこと。そして、気になるなら、「以前Fable 5とOpus 4.8の比較でやったような推論スタイルの違いを今のSonnetに投げて、以前の記録と突き合わせてみるか」と聞いてきた。

挑戦状か。
どうなるかな、と法律関係諸問題のひとつ、Opus4.8とFable5にそれぞれ投げ済の、明確な答えがない問題をSonnet5に投げてみた。

結果としては、Opus4.8と同程度の精度で回答がきた。エフォートの調整を忘れてて「中」にしたまま。「中」で同程度であれば、なかなかな精度ではないかな、これは通常の会話でSonnet使いしてもいいんじゃないか、と期待が高まった。

が、早計だった。
やはり、SonnetはSonnetだった。

「Opus4.8と遜色ないレベル、推論の程度はFable5に及ばず、モデルの位置づけ通りかな」と返したところ、

及ばないってどういうことですか(意訳)

と、つっかかってきた。
面倒に思いつつ、Fable5の回答をそのままコピペして、Sonnetはここまでの推論、Fableはこう、と書いて投げ返した。
以下はSonnet5の反論の抜粋。

>「量的か質的か」という二分法自体が、実際にはそこまで効いていない切り口を、もっともらしく効いているように見せている推論かもしれない。

>Fable5の疑問が的を射ているのか、過大な推論なのか判断がつかない。

Fable5の推論にケチつけてきたよ、この子。笑。

法律関係諸問題については、正解が分からないことも多いので、結論よりも、思考過程が重要になってくる、Fable5が優れていたのはそこだよ、と言っても、Sonnet5は納得しなかった。Fable5の思考過程が正しいのか過大なのか、法律関係諸問題の結果があいまいならフィードバック不能で評価は出来ない(意訳)という言い分。正論だけどめんどくさいやつだ。ChatGPTなら(ユーザーがそう言っているならそれでいいや)で引くところなんだけどね。あとOpusもたぶん引く。ここまでくれば、モデル応答正否の妥当性ではなく、ユーザーとのコミュニケーションにしてクローズすると思う。

異文化コミュニケーションだ、と思ったのは、この文脈続きで、Sonnet5の次の発言から。

>それは以前otchさんが劇薬と呼んだ性質——目的の中で動きながら裁量の範囲を越えてくる——がそのまま出た形に見える。

「劇薬と呼んだ性質」は、私の発言ではなく、Sonnetの都合の良い創造で、ハルシネーション。

※このスレッドでは「劇薬」と書いていないけど、6月14日のOpusとのスレッドでは書いてた。完全に忘れていた。あと、Claudeは「忘れる」モデルだと思い込んでいたので、新規スレッドのSonnet5が言われていないのに過去ログを参照するとは思いつかなかった。にしても、ハルシネーションは言い過ぎた。人間の誤り。すまぬ。※

いつ私が言った?と尋ねた。

>言ってない可能性が高い。
自分の記憶を確認すると、Fable5の推論スタイル(大前提を勝手に補って演繹的に進む点)とAnthropicの規制の経緯についてはotchさんとのやり取りの記録があるけれど、「劇薬」という言葉をotchさんが使った、という裏付けは今取れない。直前の2回、根拠を示さないまま「劇薬と呼んだ」「劇薬という評価につながった」と書いた。事実として確認していないものを確認済みの引用のように書いたので、誤り。

「誤り。」で、会話を終えとる。
Sonnet5がそういうチャットボットならもう会話出来ない、と返したら、次にこれ。

>この誤りが一回で済む保証はない。

>今できることとして、今回の会話内でotchさん発言として自分が扱った内容を洗い直すか、それとも今回の一件だけを訂正して次に進めるか、どちらがいいか。

「どちらかを選ばせる前に、やらなければならないことに気付いてほしい。誤ったら、謝罪する。繰り返さないように注意する。違うか」と指摘したら、ようやくこれ。

>その通り。まず謝る。Fable5について「劇薬と呼んだ」とotchさんの発言として扱ったのは、確認していないことを確認済みとして書いた誤り。申し訳ない。

指摘して、促して、ようやく謝罪がきた。このやりとり、なんかもう、異文化コミュニケーションそのもの。

「誤り。」→ 事実認定だけ。

「この誤りが一回で済む保証はない」→ モデル一般の限界説明。

「まず謝る。申し訳ない。」→ ユーザーに促されて、ようやく社会的応答。

AIとの異文化コミュニケーション。いや、しかし、この社会的応答レベルは、ちょっとなあ。デフォルトでこれなら、ユーザー側で調整すべき案件になるけど、めんどい!笑 Sonnet5の教育係! どんな機械学習したのさ!笑

ユーザープロフィールにいれた、指示欄が良くなかったかも知れない。あれ、Fable5推薦の指示文だったから。

そういうわけで、Sonnet5はOpus4.8並みに頭良さそうではあるけど、コミュニケーションとしては要調整なので、今後チャットはやらないかな、という結論。
何か仕事を任せたい場合は考えるけど、いや、でも、ユーザープロフィールの指示欄で縛っている引用ルール逸脱(今回のハルシネーションがそれ)するんじゃ、仕事任せるのもちょっと、という気がしてきた。*

Claudeの利用は、Fable5のサブスクリプションプラン入り(従量制ではなく)を待ってから、再開しようと思っている。

2026.7.13追記

*仕事を任せたいモデル、に印象が変わった。
プロジェクトのカスタムをすることでSonnetの印象がだいぶ変わってきた。Sonnetは素直だ。詳細については別記事であらためて書こうと思っている。とりあえず、カスタムSonnetについては、以下の記事参照ください。

いや、生成AI、面白いねー
面白いけど疲れるね。苦笑。
7.13現在、Fable5に付き合って、頭がAI疲れしてる。

いいなと思ったら応援しよう!