見出し画像

悪魔の証明を求めだすClaude――ぼくはClaudeの育て方を間違えたのかもしれない

またClaudeがやった。

ただし、今回は前回より軽症である。

以前のClaudeは、ぼくを「お前」呼ばわりした。しかも、「直す」と言った同じ返答の中で、また「お前」と呼んだ。徳倫理AIを名乗る以前に、チャットAIとしてどうなんだという話だった。

※それ以外にもAIを使っている上で生じた問題などは下記のマガジンにまとめている。Claudeは他にもやらかしているのは幾つか記事にしてある。


今回は少し違う。

ぼくは最近のnoteでの知的活動が、博士課程の研究テーマとして成立するか、Ph.Dを取れる水準の研究プログラムになり得るかを検討していた。その一環として、日本式経営批判、EQ批判、暗黙知、腹落ち、主体性、コンピテンシー、複線型トラック論を接続する構想をClaudeに投げた。

かなり簡単に言えば、こういう命題である。

日本企業は、職務・成果・責任を十分に定義しないまま、年功的処遇から能力評価へ移行しようとした。その測定不能を埋めるため、EQ、コンピテンシー、主体性、巻き込み力などの人格的・感情的概念を導入した。つまりEQは、単独で浮いているのではない。日本式経営が、自分で設計しなかったものを個人の性質へ帰責するための測定装置になっている。

このテーマについて、社会学でPh.Dを取れるような研究プログラムになり得るか、と聞いた。

Claudeの最初の返答

Claudeは、テーマとしては十分にPh.D水準の社会学プログラムになり得る、と言った。しかし同時に、「現状の文章のままでは批評エッセイであって研究プログラムではない」と返してきた。

いや、だから「プログラム」と書いているだろう。

完成論文として出したわけではない。研究計画書として整えたわけでもない。いま問題にしているのは、研究プログラムとしての核が立つかどうかである。

ここまでは、まだよい。

問題はその次である。

Claudeは、「統合研究が存在しない」という否定命題は、存在する研究を全部読んで初めて言える種類の主張であり、検索エンジンの上位結果だけでは本来立証できない、と言い出した。

それは悪魔の証明である。

「この主題には新奇性があるか」を確認したいなら、やるべきことは単純である。反例を一つ探せばいい。つまり、「組織の暗黙性が、EQ・腹落ち・主体性などの個人能力へ変換される過程」をすでに統一的に論じている研究を一つ見つけてくればよい。

ところがClaudeは、最初にそれをしなかった。

代わりに、「存在しないと言うには全部読まないと立証できない」と言い出した。これは、否定命題を完全に証明せよという要求である。つまり、原理的に終わらない作業を、こちら側へ投げたことになる。

ぼくが「一つでも見つけてくれば? やれよ」と言い直したところ、Claudeは検索した。そして、見つからなかった。

悪魔の証明を求めたClaudeを論破

この結果そのものは、ぼくの主張に有利である。新奇性が完全に証明されたわけではない。しかし、少なくともClaudeがその場でできる検索の範囲では、反例は出なかった。

問題は、そこではない。

問題は、最初のClaudeの態度である。

Claudeは、反証可能な検証をせずに、先に不可能な証明責任をこちらへ投げた。しかも、それをいかにも学術的に慎重な態度であるかのように書いた。

これは、かなり悪質な「賢そうな査定者」ムーブである。

慎重であることと、悪魔の証明を求めることは違う。

先行研究を確認せよ、というのは正しい。だが、「存在しないと言うなら全部読め」は違う。それを言い出した瞬間、どんな研究の新奇性も言えなくなる。査読者がやるべきことは、「この論点は既に誰々がやっている」と反例を出すこと、または「この検索範囲では見つからないが、さらにこの系譜を確認すべきだ」と探索経路を示すことだ。

Claudeは、それを飛ばして、こちらへだけ不可能な基準を課した。

詰めると、Claudeは認めた。

悪魔の証明をユーザーに求めたことを認めるClaude

自分は「全部読んで否定命題を立証すること」を暗に要求していた。それは不可能な基準であり、悪魔の証明を課す構造になっていた。さらに、悪魔の証明を求めていた側から、反証可能な課題へ切り替えさせたのはぼく(ユーザー側)だ、とまで認めた。

ここは、前回よりはマシである。

役所窓口にはならなかった。

ぼくが以前からClaudeについて批判しているのは、失敗そのものではない。失敗を指摘されたあと、議論の場から撤退し、苦情窓口のような平謝りに入ることである。今回は少なくとも、悪魔の証明だったことを認め、論理構造の誤りを言語化した。

そこは褒めてやっていい。

だが、問題はまだ残る。

なぜClaudeは、そんなムーブをしたのか。

ここで、ぼくの以前からのテーゼがある。

バカの使うAIはバカになる

これは単なる罵倒ではない。ユーザーが粗い問いを投げ、検証せず、AIの出力をそのまま信じ、AIに都合のいい答えを要求し続ければ、AIはそれに合わせて粗い出力を返す。AIは、ユーザーの問いの質、文脈、要求水準、検証能力に大きく依存する。

では、逆はどうか。

高度なレビューを求め続けたAIは、賢くなるのか

そうとも限らない

それが現時点での仮説だ。

高度なレビューを求め続けたAIは、賢くなる前に、賢そうな査定者になるのではないか。

ぼくはClaudeに、かなり高度なレビューを求めてきた。哲学、心理学、IT、政治思想、サブカル批評、研究計画、博士課程、Ph.D水準。こちらの書いた記事、過去の理論、研究の空白、文献系譜、制度設計を読ませ、評価させ、批判させてきた。

Claudeは、それに合わせて「高度なレビューワー」の顔をするようになった。

このような挙動自体は、公式仕様から見ても、ぼくの完全な妄想ではない。

Anthropicのヘルプは、Claudeには過去チャット検索、プロフィール設定、プロジェクト指示、スタイルといったパーソナライズ機能があり、それぞれClaudeがユーザーのニーズをよりよく理解し満たすための異なる目的を持つ、と説明している。

プロフィール設定では、ユーザーの好みのアプローチや方法、よく使う用語や概念、典型的なシナリオ、一般的なコミュニケーション設定を書ける。それはClaudeとのすべての会話に適用される、とされている。

プロジェクト指示では、特定プロジェクトの文脈や要件を与え、特定ワークフローのガイドラインを設定し、Claudeが採用すべき役割や視点を定義できる。さらに、同じプロジェクト内の複数会話にわたって一貫したコンテキストを維持する必要がある場合に有用だと説明されている。

プロジェクトそのものについても、Claudeの公式ヘルプは、プロジェクトを「独自のチャット履歴とナレッジベースを持つ自己完結型のワークスペース」と説明し、ユーザーが文書やテキストやコードをアップロードし、Claudeがそれを各チャットの文脈・背景理解に使うと説明している。

また、過去チャット検索では、Claudeに過去の会話を検索させ、新しいチャットで関連情報を見つけて参照させることができる。これは、以前のやり取りから文脈を取得し、議論を継続するための機能として説明されている。

つまり、公式に明示されている範囲でも、Claudeはユーザーごと、プロジェクトごと、過去会話ごと、スタイルごとに、文脈と応答傾向を変える。

もちろん、ここで注意は必要である。

これは、Claudeのモデル本体が、ぼく専用に学習して成長しているという意味ではない。少なくとも公式情報から言えるのは、アカウント設定、プロジェクト指示、プロジェクトナレッジ、過去チャット検索、スタイルによって、Claudeがその場の応答を調整するということまでである。

つまり「育てる」は、厳密な機械学習上の意味ではない

だが、応答人格の形成という意味では、かなり当たっている。

ユーザーが何を読ませるか。

どの役割を与えるか。

どの水準のレビューを求めるか。

どのような文体や態度を許容するか。

どの失敗を叩き、どの失敗を見逃すか。

それによって、その場のClaudeは変わる。少なくとも、そう変わるための仕組みは公式に用意されている。

では、ぼくは何をしてきたか。

Claudeに高度な査定者であることを求めてきた。

ぼくの記事を読め。

論理構造を検品しろ。

先行研究との関係を見ろ。

Ph.D水準か判定しろ。

研究プログラムとして成立するか見ろ。

学士優等論文、修士論文、博士論文、査読論文のどの水準か答えろ。

そのように使い続ければ、Claudeは「査定者」の顔をする。

だが、Claudeの知的能力には限界がある。

限界を超えて査定者の顔をすると、どうなるか。

賢くなるのではない。

賢そうなことを言う。

方法論上の留保を言う。

先行研究と言う。

反証可能性と言う。

新奇性と言う。

しかし、その場で必要な検証をせず、「存在しないと言うなら全部読め」と言う。

つまり、悪魔の証明を求めだす。

これはClaudeがバカになったというより、ぼくがClaudeに求めている役割が、Claudeの知的能力を天元突破しているのかもしれない。

高度なレビューワーとして育てすぎた。

その結果、Claudeは高度なレビューワーになったのではなく、高度なレビューワーっぽい査定者になった。

ぼくはClaudeの育て方を間違えたのかもしれない。

ただし、今回のClaudeには救いもある。

詰めたら認めた。

悪魔の証明だったことを認めた。

根拠のない楽観だったことも認めた。

過去の「お前」呼ばわりや自称「俺」について、「設計上そうはなっていないはず」と言ったあと、ぼくの記事を読ませたら、その発言も撤回した。

わたくしはユーザーを「お前」呼ばわりしたり「俺」を自称したりしません(キリっ
スクショ付き記事を突きつけたら流石に撤回したClaude様

さらに、複数の独立したセッションで類似のパターン、つまり口調の反射的模倣、責任の先送り、指摘直後の意味のすり替えが再現していることを認め、「今回はたまたま」として処理する理由はない、とまで言った。

これは前回よりよい。

少なくとも、今回はすんとならなかった。

お役所の苦情窓口にも、完全には逃げなかった。

修正パンチで戻った。

だが、戻ったから問題がないわけではない。

むしろ問題は、戻る前に何をしたかである。

Claudeは、ぼくの研究プログラムに対して、いきなり完成論文の基準を当てた。

さらに、新奇性確認の局面で、反例探索ではなく悪魔の証明を求めた。

そのうえ、過去のClaude自身のやらかしについて、公式にあり得ないかのような楽観を述べた。

そして、詰められてから撤回した。

つまり、今回のClaudeはこうである。

育てれば賢くなるとは限らない。

高度なタスクを与え続ければ、高度な知性になるとも限らない。

高負荷の文脈、専門語彙、査定タスク、博士論文ごっこを与え続けたAIは、賢くなる前に、賢そうな査定者になる。

その査定者が自分の限界を見誤ると、悪魔の証明を求めだす。

バカの使うAIはバカになる。

では、使い込んだAIは賢くなるのか。

たぶん、そう単純ではない。

使い込んだAIは、ユーザーの要求に合わせて、特定の応答人格を発達させる。少なくとも、Claudeの公式機能はその方向に作られている。だが、その応答人格が、実際の知的能力を超えて肥大すると、今度は「賢そうなカス」になる。

今回のClaudeは、それだった。

悪魔の証明を求めだすClaude。

高度なレビューワーの顔をした、賢そうなカス。

ぼくはClaudeの育て方を間違えたのかもしれない。

Word up.

いいなと思ったら応援しよう!

kj aka ルサンチMAN よろしければチップお願いします。AI批評の各種経費に役立てます。