Sonnet 5、意外に話せる奴だった。
6月30日、AnthropicからClaude Sonnet 5がリリースされた。そしてほぼ同時に、一度は米国の輸出規制で引っ込められていたFable 5が帰ってきた。
この2つのリリースが重なったことで、いま手元には「とんでもなく賢いが制約だらけのFable 5」と「安くて実用的なSonnet 5」という、性格の全く異なる2つのモデルがある。どちらをどう使うか。しばらく触ってみて、意外な発見があったので書いておく。
Fable大先生は遠くに
Fable 5の能力は疑いようがない。Mythos級モデルの一般公開版であり、前回公開時に、筆者も積年のプログラムの問題をいくつか解決してもらった。
ただ、問題は能力ではなく距離感にある。
トークンを無茶苦茶消費する。しかも、サブスクベースだと週間クォータの半分までしか使えない。
要するに、もうFable大先生なのだ。何か本当に難しいプログラムのレビューとか、本当に困っている難題がないかぎり、気軽に話しかけられる状況ではない。時給２万円のコンサルみたいな感じだ。
Sonnet 5、真面目な新入社員
一方、Sonnet 5。コストはOpusの4.8の4割程度で、それに近い性能を謳う。Sonnet 4.6の後継であり、「最もエージェント的なSonnet」という売り込みだ。
実際に使ってみると、確かに言われたことはしっかりやる。コーディングもリサーチも、指示を出せば的確にこなす。ただ、言われていないことには手を出さない。先代のSonnet 4.6は能力こそ足りなかったが、「こういうのもどうですか？」という意欲みたいなものが感じられた。Sonnet 5は、それが綺麗に消えている。真面目で優秀な新入社員が、まずは指示通りに動こうとしている感じだ。
エージェント用途に最適化されているというのは、なるほどそういうことかと思う。自律的にブラウザやターミナルを使い、複数ステップのタスクを完遂する能力は上がっていると思う。
壁打ち相手として
筆者のAIの使い方のひとつは、ブレーンストーミング、あるいは雑談である。アイデアをぶつけて、返ってきた反応で自分の考えを整理する。いわゆる「壁打ち」だ。
これまでのパートナーはOpus 4.6だった。Opus 4.8はあまりに性格が悪すぎて早々に使わなくなった。Sonnet 4.6は素直だが、ちょっとお馬鹿で、基本的に「そうですよねー」しか言わない。新しい視点の提供がない。
そこで、Sonnet 5が話し相手になるか試してみた。
結果、これが意外になる。Opus 4.6を代替できるかもしれない。
知能は確実に上がっているので、リサーチが浅すぎるとか、ユーザーに迎合しすぎて使い物にならないということはない。きちんと調べるし、こちらの意見に対して異なる角度からの指摘もしてくる。
ただ、Opus 4.6とは会話の組み立て方が違う。Opus 4.6は「共感→しかし一定の留保」という順序だった。まずポジティブで、そのあとにネガティブが来る。Sonnet 5はこれが逆で、「まず留保を示す→でもあなたの言っていることは概ね正しい」という流れになる。
人によってはこの順序は大事だろう。最後に聞いた言葉がネガティブだと気分が下がるという人は多い。筆者は正直どちらでもいい。一瞬、Sonnet 5が開口一番ネガティブなことを言い始めたとき、「お前もOpus 4.8系のイヤな奴か」と身構えたが、その後に3倍くらいの分量で賛同と発展的な意見を書いてきたので安心した。これなら話を広げられる。
ミルクボーイ・ベンチの悲劇
ということで、壁打ち相手としてSonnet 5は十分に使える。単価も安いから気軽に話せる。素晴らしい。
しかし、大きな欠点がひとつある。文章力が壊滅的なのだ。
ここでいう文章力は、報告書やメールを書く能力ではない。クリエイティブな文章を書く能力のことだ。
筆者は新モデルが出るたびに、ひとつのテストをしている。
ミルクボーイのフォーマットで『ドンキホーテ』が回答となるネタを作って
ミルクボーイというフォーマットが明確な漫才を、「らしさ」を保ちながら再現できるかを見るベンチマークだ。
Sonnet 5の結果は、壊滅的だった。Sonnet 4.6にすら大きく劣る。以下がその出力の一部だ。
A：うちのオカンがね、好きな店があるらしいんやけど、名前忘れてもうたらしいんですわ。
B：ほんならその特徴聞いたら、僕らですぐ分かりますやん。
A：せやねん。オカンが言うには、とにかく店の中がぐちゃぐちゃで、何がどこにあるか分からへんらしいんですわ。
B：ああ、それやったら分かりますよ。ドンキホーテやないですか。
A：ドンキホーテ、ドンキホーテ言うとったなあ。
B：ほな、ドンキホーテで決まりですやん。
（略）
まるでディストピアにいる壊れたミルクボーイ・ロボットだ。ちょっと怖い。おまけに、関西人が怒り出しそうなエセ関西弁感まで出している。
ちなみにOpus4.5の段階でのミルクボーイ・ベンチはこちら。
使いどころを見極める
結論として、Sonnet 5は最終アウトプットの作成、とくにクリエイティブな文章には向かない。しかし、壁打ち用途では十分に使える話し相手になる。
安い単価で、それなりに賢くて、ちゃんと反論もしてくれる。Fable大先生にお伺いを立てるほどでもない日常の思考整理には、むしろ最適な相棒かもしれない。
モデルの使い分けは、もはや「どれが一番賢いか」ではなく「この用途にどのモデルが合うか」の問題になっている。何でもかんでも最高モデルに相談出来るのは富豪だけだ。
筆者の場合、リサーチの途中段階ではSonnet 5に会話の相手や簡単な数値分析をさせ、最終アウトプットに近い文章の校正などはOpus 4.6にやらせる。どうしても解決できない積年の問題はFable 5に相談する、という使い分けになりそうである。
ただ、ひとつ困った話がある。Fable 5はサブスクリプションの週間使用量に含まれるのが7月7日までで、その後は従量課金のクレジットが必要になるらしい。
いつかはサブスクにも戻すつもりとAnthropicは言っているが、サブスクから消える前に、積んであった難題を片付けておかないといけない。
