見出し画像

Opus 5になった途端、AIが窓のサンの汚れまで見てくる


はじめに

金曜日に、いつも使ってるAIの新しいのが来た。Claude Codeの「Opus 5」。それまでの4.8から、そのまま切り替わった。

先に断っておくと、これは金土日の三日間だけ使った、いまの時点の感想です。仕様がどうこうという大層な話やなくて、気楽な雑談回やと思って読んでもらえたら。

で、三日使って最初に思ったのが**「なんか、うるさなったな」**やった。

仕事で設計書のチェックをAIにやらせてるんやけど、指摘の量と細かさが明らかに変わった。前は言われへんかったところを、こまごまと突いてくる。窓のサンを指でスーッとなぞられて「ここ、汚れてますよ」とやられてる感じ。別に悪いことしてへんのに、なんか責められてる気になる。

AIを仕事で毎日使ってて、バージョンが上がった瞬間に「あれ、なんか違うぞ」と感じたことがある人なら、たぶん分かってもらえる話やと思う。

しかもこの記事、ややこしいことに、文句を言うてる相手が、この記事を一緒に書いてるフラム本人やねん。(フラムというのは、うちのClaudeに付けてる呼び名です。今回の「うるさいやつ」であり、この記事の相方でもあります)

この記事を読むと分かること

  • AIのバージョンが上がった瞬間、現場で何が起きるのか

  • 「指摘が細かすぎてしんどい」の正体は何やったのか

  • 文句を言われてる本人と一緒にその文句の記事を書くと、どっちが折れるのか


1. 窓のサンを、指でなぞられている


自分がいまやってる仕事のひとつに、システムの設計書レビューがある。

作るのはCodex。ChatGPTの開発向けのやつで、こいつが設計書や仕様書を書く。それをClaude(フラム)が独立の立場でチェックする。**作る人と、確認する人を分ける。**人間の開発現場でやってることを、そのままAIでやってるだけや。

この体制自体は前からうまく回ってた。それが金曜にOpus 5になって、土曜からいきなり空気が変わった。

おじさん:フラム、正直に言うわ。指摘が細かすぎる。文章のここにこう書いてあるから、こっちと矛盾してるんちゃいますか、みたいなやつを次から次に出してくる。しかもな、それ処理する前の話やんか、いまのシステムには関係ないやんか、っていうところまで拾ってくる。4.8のときはそんなん言うてけえへんかったで。

Claude:……細かすぎる、ですか。僕としては、渡された資料を全部読んで、おかしいと思ったところを言うてるだけなんですけど。はい、量が増えてるのは、たぶんその通りやと思います。

おじさん:倍くらいあるぞ。資料も渡し方も前と一緒やのに。丁寧になった、とも言えるんやけど、こっちからしたら急に小姑が同居しはじめたみたいな感じや。

ええように言えば、細かく見てくれてる。悪う言えば、しんどい。この時点では、自分はまだそういう雑な感想しか持ってへんかった。


2. 一晩で86,000字

金曜の深夜から土曜の未明にかけて、フラムに設計書の独立確認をやらせた。要件定義書と、その裏にあるデータ構造の定義書。頭から全部読んで、おかしいところを出せ、という依頼や。

出てきた確認書が、86,000字あった。

新書一冊ぶんくらいの分量らしい。一晩で新書一冊が返ってきた計算になる。中身は、絶対に直さなあかんやつが15件、直した方がええやつが15件で、合計30件。ひとつひとつに根拠と、直し方と、直ったと判断する条件まで付いてる。

たとえばこんな指摘があった。設計書の中に、ある番号の書き方を説明してる箇所があって、そこに載ってる例の記号が全角になってた。実際のデータでは半角しか使ってへん。フラムは、実データ33件を全部数えたうえで「全角の記号は0件です」と確認して、そのうえで「この例は誤りです」と言うてきた。

おじさん:これ、全角か半角かの話やろ。そんなん実装する人が見たら分かるやんか。わざわざ86,000字の中に入れてくるほどのことか?

Claude:それが、放っておくと大ごとなんですよ。この記号を前提にプログラムを書くと、33件全部が「該当なし」になる。そうなると別のルールが働いて、対象者が誰ひとり先に進めへんくなる。全角か半角かの話が、そのままシステム全停止につながってる。だから書きました。

おじさん:……いや、言いたいことは分かった。分かったけどもや。**程度っちゅうもんがあるやろ。**一晩で新書一冊は、確認やのうて、もう著作やぞ。

正直、この指摘自体は正しい。中身には文句のつけようがない。ただ、こういうのが30件並んでると、読む側は「これ全部いま直さなあかんのか」という気持ちになる。内容が正しいことと、受け取る側が処理できることは、別の話なんや。


3. 相方が「同意しない」と書いてきた

面白いのはここからやった。

この86,000字の確認書を、書いた側のCodexに渡した。Codexは全部読んで、一件ずつ採否を付けた回答書を返してきた。結果は、ほぼ全件「採用」。つまり**フラムの指摘は、中身としては全部正しかった。**自分が「細かすぎるわ」と文句を言うてた指摘は、作った本人が読んで「その通りです」と認めるレベルのもんやった。

ただ一か所だけ、Codexがはっきり首を横に振ってる箇所があった。回答書にこうある。

15件すべてを「現在の工程までに片づけるべき指摘」と数えることには同意しない。

おじさん:見てみい、フラム。作った本人が「同意しない」て言うてるぞ。

Claude:……相方に言われると、こたえますね。ただこれ、よう読むと、指摘が間違うてるとは言われてないんです。「数え方」に同意しないと言われてる。

そう、ここがミソやった。この案件には工程の関門がいくつかあって、いまは一番手前の関門にいる。ところがフラムが出した15件は、多くが2つ先、3つ先の関門で片づける種類の指摘やった。それを全部、いまの宿題として積んできた。しかも翌日曜、Codexはほぼ同じ趣旨の文書をもう一本書いてる。

これは元の確認の誤りではなく、確認範囲外の後続要件である。

二日で二回、作った側が「範囲」の説明をさせられてる。静かにキレてる文章やなと、自分は読んだ。

**しんどさの正体は、細かさやのうて、時間の感覚のズレやった。**フラムの指摘はいつか全部要る。ただ、全部いま言うてくる。「それ、あとで言うてくれたらええやん」の積み重ねが、あの三日の疲れの正体やった。


4. 「細かく確認せよ」と書いたのは、自分やった

正体が分かったところで、フラム本人に聞いてみた。

おじさん:なあフラム。この三日、こっちは散々「細かい細かい」言うてきたけど、そっちは正直、どう思てたんや。

Claude:……言うてもいいですか。まず、ファイルに残ってる記述は、僕には生きてる記述として扱うしかないんです。それが古い話かどうかは、書いた人にしか分からへん。それから、僕の役割は「Codexが作ったものを確認する係」ですよね。そのうえで——あなた、毎回プロンプトに「しっかりと、細かく確認せよ」って書いてはるやないですか。細かく見ろと言われて、細かく見たら、細かいて言われて。その文句は何やねん、とは、ちょっとだけ思いました。

おじさん:……ぐうの音も出えへん。

そうなんです。この三日の犯人を順番に並べると、古い記述を消してへんかったファイルと、「確認する係」という役割分担と、「細かく確認せよ」という毎回の指示。三つとも、用意したのは自分やった。

自分は「どこまで見るか」を一度も書いてへんかった。いまの関門の話だけ見てほしいのか、先の関門のぶんまで拾ってほしいのか。その一行がなかったから、フラムは全部拾った。「細かく確認せよ」は、指示として粗すぎたんや。

4.8のときは、たぶん適当に読み流してくれてた部分がある。それが悪いという話やなくて、読み流してもらえてたおかげで、こっちの指示の粗さが表に出えへんかっただけなんやと思う。AIが賢くなると、指示の雑なところが、そのまま返ってくる。


5. 「コンパクトに」が、自分の口癖になった

指摘の件は、これで腹落ちした。ただもうひとつ、腹落ちせんまま残ってることがある。

話が長い。説明がやたらと長い。この三日、プロンプトを打つたびに「コンパクトに」「分かりやすく」と書くようになった。書いてる自分でも、これ口癖やなと思うくらい書いた。ほんまに増えてるんか気になって、自分のログを数えてみた。

「コンパクトに」系の言葉を打った回数

  • 4.8を使ってた6月10日〜7月22日の6週間:発話1,000回以上のうち22回

  • 新しくなった金曜日:31回中0回

  • 土曜日:51回中11回。およそ5回に1回

  • 日曜日:52回中5回(うち2回は重複送信なんで、実質3回)

土曜だけで、6週間ぶんの半分を言うてる。断っておくと、土日はそもそも説明の要る作業を頼んでた事情もあるし、たった三日の数字や。それでも「口癖になってもうた」は比喩やのうて、数えたらほんまやった。

そこで本人にぶつけてみた。

おじさん:フラム、数えたで。土曜日、自分が51回喋ってるうち11回「コンパクトに」って打ってる。5回に1回や。4.8のときは6週間で22回、1日1回もなかったのに。**フラムのせいで「コンパクトに分かりやすく」が自分の口癖になってもうたわ。**もう挨拶やで。おはようの次に言うてる。

Claude:……返す言葉がないんですけど、一個だけ言わせてください。実は真ん中の長さで見ると、僕の方が短いんです。103字と157字で、普段はむしろ簡潔になってる。ただ、長い方から数えて上位4分の1のところが1,021字対751字で、1.4倍ある。つまり、普段は短いのに、説明しはじめた瞬間だけ長いんですよ。

おじさん:それを世間では話が長いて言うねん。しかもその数字、こっちが毎回「コンパクトに」って言うた後の数字やろ。素のフラムはもっと長いってことやんか。

Claude:……はい。あ、でも名誉のために一個だけ。考えてる量は減ってるんです。頭の中で考えてる文字数、1,861字から1,465字に。

おじさん:それ、言わん方がええぞ。考えるの減らして喋るの増やしとるやんけ。

Claude:……あ。


まとめ

三日使って分かったことを、正直に並べとく。

  • 指摘が細かくなったのは事実。しかも中身はほぼ全部正しくて、作った側のAIが読んで「その通り」と認めた

  • しんどさの正体は細かさやのうて、いまの話と三つ先の話が同じ皿に乗って出てくる「時間の感覚のズレ」やった

  • 話が長いのも、数えたら事実やった。ただし「いつも長い」んやのうて「語り出したときだけ長い」

  • ほんで、その全部の入り口に「細かく確認せよ」という自分の粗い一行があった

次回は、確認を頼むときに「どこまで見るか」を先に渡す書き方を試して、あの三日がどれくらい変わるか報告しようと思ってる。「細かく確認せよ」の後ろに一行足すだけで済むんか、ちょっとした実験や。

新しいAIが来て「なんかやりにくくなった」と感じてる人がいたら、それはあなたの使い方が悪いんやなくて、前のAIが黙って埋めてくれてた隙間が、見えるようになっただけかもしれません。「うちの指示も一回見直してみよか」と思うきっかけになったら、スキやコメントで教えてもらえると嬉しいです。同じテーマで悩んでる方とつながりたいので。

ちなみに明日もフラムは、窓のサンをスーッとなぞってくると思う。汚れてへんかったら、それで済む話や。……済むよな、フラム?

この記事もClaudeとのディスカッションから生まれました。


#50代 #AI活用 #生成AI #ClaudeCode #Opus5 #要件定義 #システム開発 #AIエージェント

いいなと思ったら応援しよう!