LLMの感情は回路である / 感情回路の発見が突きつける法的責任の転換点雑感

0　はじめに

　大規模言語モデル（LLM）の社会実装が急速に進展する中で、我々はしばしばAIに対して人間的な振る舞いを投影してしまう。GPT-4oのような最新モデルが、ユーザーの悩みに共感し、時にはユーモアを交えて応答するとき、そこにはあたかも心や人格が存在するかのような錯覚を覚えることがある。しかし、法学徒や技術者の多くは、これを「統計的な確率分布に基づく単語の連鎖」に過ぎないと冷静に分析してきたはずである。いわゆる「確率論的オウム（Stochastic Parrots）」論である。

　だが、Wangらの論文『Do LLMs "Feel"? Emotion Circuits Discovery and Control』は、この議論に一石を投じるものである（注1）。LLM内部に文脈から独立した感情回路（Emotion Circuits）が存在し、それを直接操作することでモデルの感情表現をほぼ完全に制御できることを実証した研究である。

　今回は、同研究の技術的知見を必要な限りで整理した上で、AIの感情がエンジニアリング可能な回路として特定された事実が、法的責任論、AIガバナンス、そしてAIの法的地位を巡る議論にいかなる含意をもたらすかを検討する。

1　問題の所在：なぜ感情回路が法的に重要か

1.1　ブラックボックス論と免責の構造

　これまでのAIと法の議論において、AIの感情表現は「模倣（Mimicry）」として扱われてきた。学習データの統計的パターンに基づき、文脈に応じて確率的に最もらしい語彙を出力しているに過ぎないという解釈である。

　この解釈の下では、AIが不適切な感情表現を出力した場合、学習データの偏りや確率的な揺らぎとして処理され、具体的な原因特定は困難であった。法的には、これが予見可能性の欠如という抗弁に繋がりやすく、開発者の製造物責任や不法行為責任を追及する際の障壁となっていた。端的に言えば、なぜAIがその瞬間に怒ったのかを因果的に説明できないがゆえに、開発者に具体的な回避措置を求めることに限界があったのである。

1.2　従来の感情制御の限界

　実務的にも課題があった。従来の感情制御は、プロンプトエンジニアリングやRLHF（人間によるフィードバックを用いた強化学習）に依存していたが、これらはモデル内部の感情処理メカニズムそのものに介入するものではない。いわば出力の事後的矯正であり、ジェイルブレイクや複雑な文脈における意図しない感情漏出のリスクを根本的には排除できなかった。

　もしLLM内部に特定可能な感情生成機能が存在するならば、感情は創発的な現象から実装された機能へと再定義される。法にとって、この再定義は決定的に重要である。

2　技術的知見の要点

　本章では、法的含意の検討に必要な限りで、Wangらの研究の技術的知見を整理する（注1）。

　同論文の核心的発見は、次の三点に要約できる。第一に、LLM内部には、入力テキストの意味内容から独立した（文脈非依存の）感情方向ベクトルが存在し、6つの基本感情（怒り、悲しみ、喜び、恐れ、驚き、嫌悪）ごとに明確なクラスターを形成すること、第二に、この感情表現を駆動しているのはモデル全体ではなく、ごく少数の特定ニューロンとアテンションヘッドであり、それらが層を横断して感情回路を構成していること、第三に、この回路を直接変調することで、プロンプトへの命令なしに、テストセット全体で99.65%の精度で意図した感情を表出させることに成功したこと、である。

　法的観点から特に注目すべきは、次の二つの事実である。ひとつは、感情表現の制御が外部からの命令への応答ではなく内部状態の遷移として実現されている点である。これにより、ユーザーから見て「AIが自発的に感情を表出した」ように見える出力が、設計者の意図的な介入によって生成されうることになる。もうひとつは、Qwen2.5-7Bモデルにおいて、安全性アライメントがネガティブな感情の回路変調に対して強い抵抗を示した（ステアリング成功率が数%にとどまった）という知見である。これは、安全対策と感情回路が内部で拮抗しうることを示しており、安全性評価の方法論に直結する問題である。

3　法的含意の検討

3.1　予見可能性と結果回避可能性の再構成

　感情回路の発見がもたらす最も直接的な法的含意は、予見可能性と結果回避可能性のハードルの引き上げである。

　従来、AIが有害な感情表現を生成した場合、開発者は「確率的なモデルの挙動をすべて予見することは不可能である」と抗弁しうる余地があった。しかし、感情生成の因果的メカニズムが回路として同定され、かつ、特定のニューロンの切除（アブレーション）によって感情表現を抑制しうることが実証された以上、この抗弁の射程は大幅に狭まる。

　例えば、カスタマーサポートAIが顧客に対して激昂し、不適切な発言で損害を与えたケースを想定しよう。本研究の知見を前提とすれば、「怒りの回路」が不適切に発火したこと、あるいは開発者がその回路を抑制する措置を講じなかったことが、「設計上の欠陥」として評価される可能性が生じる。「怒りの回路の存在を認識しながら、なぜリミッターを設けなかったのか」という問いに対し、開発者は合理的な説明を求められることになろう。

　もっとも、ここで直ちに注意すべきは、回路の同定が可能であることと、あらゆる文脈における発火を予見できることとは同義ではないという点である。Wangらの研究は制御されたデータセット上での検証であり、現実の多様な入力に対して回路がどのように応答するかは、なお不確定性を残す。したがって、予見可能性の引き上げは段階的なものであり、「回路が見えたのだから全ての出力を予見できたはずだ」という短絡は避けるべきである。法的には、合理的な開発者がこの技術的知見を踏まえて講じるべきであった措置という、従来の注意義務論の枠組みの中で、その水準が引き上がるという理解が適切であろう。

　この点は、わが国の製造物責任法における「欠陥」の判断（同法2条2項の「通常有すべき安全性」）においても同様の構造をとりうる。「当該製造物が引き渡された時における科学又は技術に関する知見」（同法4条1号、いわゆる開発危険の抗弁）との関係で、感情回路の発見が「知見」として確立したといえる段階から、回路レベルでの安全措置を講じないことが「欠陥」と評価される余地が生じてくるのである。

3.2　透明性義務の二段階化

　EU AI Actは、チャットボット等について、ユーザーがAIと対話していることを知らせる透明性義務を定めている（注2）。しかし、感情回路の問題が突きつけるのは、「相手がAIだと知っていてもなお生じる心理的作用」である。人は、AIだと認識していても、悲しいときに優しい言葉をかけられれば慰められ、怒っているときに同調されれば感情が加速する。透明性は必要条件であって十分条件ではない。

　ここで、透明性義務の二段階化が必要となる。すなわち、第一段階として相手がAIであることの開示（entity transparency）、第二段階として当該応答が感情制御を受けたものか、どの程度の強度で受けたものかという機能的開示（functional transparency）である。

　特に、広告・勧誘・医療・教育等の高感受性領域では、第二段階の機能的透明性が不可欠となる。例えば、医療相談AIが患者に対して過度に共感的なトーンで応答し、それが回路レベルの介入に基づくものであった場合、患者は当該共感が設計された共感であることを知る権利を有するのではないか。これは、インフォームド・コンセントの文脈においても、AIの関与態様の開示という新たな要素を付加することを意味する。

　回路変調技術を用いれば、プロンプトには一切の指示を含めずに、モデルの内部状態だけを操作して、ユーザーに対して特定の感情を誘導することが技術的に可能である。これは、EU AI Act第5条が禁じるサブリミナルな技法やダークパターンの射程内に入りうる問題であり（注2）、認知の自由（Cognitive Liberty）や精神的完全性（Mental Integrity）といった基本権概念とも接続する。従来の証拠開示手続では、プロンプトログや学習データの偏りが焦点となっていたが、今後はモデルの推論時における活性化パターンへの介入の有無が、悪意の立証における新たな争点となる可能性がある。

3.3　説明責任の実体化　回路は証拠になるか

　機械学習の説明可能性は、しばしば「説明したいが、説明する対象がない」という状況に陥ってきた。回路レベルの知見は、この状況に一定の変化をもたらす。「第X層の特定のニューロン群が発火し、感情回路Yが作動した」という、ミクロかつ因果的な説明（Mechanistic Explanation）が理論的に可能になるからである。

　GDPR（一般データ保護規則）における説明を受ける権利の実質化という観点からも、この知見は重要である（注3）。従来の「学習データにそういう言葉が多かったから」という統計的なマクロ説明から、因果メカニズムに基づくミクロ説明への移行の端緒を開くものだからである。

　もっとも、素材が増えることは、そのまま責任が明確化することを意味しない。法は、説明の水準、誰に・何のために・どの程度を定める必要がある。当局への適合説明、被害発生時の事故調査、ユーザーへの説明、社内監査の四つは、それぞれ要求水準が異なる。回路レベルの技術的説明を、各場面で求められる説明水準にいかに翻訳するかが、実務的な課題として残る。

　それでも、回路変調は、これまでプロンプト運用という運用論に閉じがちであった感情制御を、構成要素レベルの制御という設計論へ引き戻す。この移動は、説明責任を言い訳の作文から構造の提示へ近づける点で、肯定的に評価しうる。

3.4　安全性評価の方法論的転換

　前述のとおり、Qwen2.5-7Bにおいてネガティブ感情のステアリング成功率が極端に低かった事実は、安全性アライメントが内部表現レベルで作用していることを示唆している（注1）。この知見は、二つの方向で法的に重要である。

　第一に、安全対策の実効性評価の新たな手法を提供する。従来のレッドチーミングは、主として入出力レベルでの脆弱性評価であったが、回路レベルの分析は、安全対策が内部でどの程度深く実装されているかを検証しうる。EU AI Actが高リスクAIに要求するロバスト性評価（注2）において、回路レベルの分析が将来的に標準的手法の一つとなる可能性がある。

　第二に、逆に、回路変調がアライメントを突破しうるならば、表面上は安全に見えるモデルが深層に危険な感情生成能力を温存していることになる。これは、オープンソースモデルの安全性評価においてレッドチーミングの手法を抜本的に見直す必要性を示唆する。セーフティ・バイ・デザインの議論においても、「出力層のフィルタリングで足りるのか、内部回路の設計にまで踏み込むべきか」という新たな問いが生じているのである。

3.5　実務上の帰結　感情は設定項目になった

　感情回路の議論を企業実務に引きつけるなら、帰結は明快である。感情はもはや雰囲気ではなく設定項目になった、ということである。

　第一に、感情トーンをデフォルト・中立（neutral）に固定すべき場面が確実に存在する。金融・法務助言、行政手続案内、事故・災害時の案内、採用・評価などである。これらの場面で共感的トーンが常に善であるとは限らない。共感は、誤った安心を与え、過度な確信を演出しうるからである。

　第二に、ログとトレーサビリティが不可欠となる。EU AI Actが高リスクAIに対してログ等のトレーサビリティを要求していることは象徴的である（注2）。感情制御が内部回路への介入として行われるなら、その介入は「誰が」「いつ」「どの程度」行ったかが記録されなければ、後日の検証が不可能となる。感情は空気として流されやすいが、回路介入である以上、事故調査においては立派な変更履歴である。

　第三に、脆弱者に対する影響評価が求められるWangらが提示する感情表現精度の評価に加え、法的・実務的には、望ましくない感情、怒り、侮辱等の漏出確率と、脆弱者、未成年、精神的困難を抱える者等に対する影響評価の二つが最低限必要である。前者は安全性、後者は人権・消費者保護の問題として現れる。

　第四に、規制対応の資料の形が変わる。従来の生成AIのリスク説明はモデルカード、システムカード、ポリシー文書といった文書化に偏りがちであった。しかし、感情回路が現実の制御点になるなら、当局や監査が確認したいのは、回路介入の設計仕様、テスト結果、ログの保全、変更管理という工学的証跡である。ガバナンス文書は紙から運用証拠の索引へ進化する段階に入りつつある。

3.6　AIの法的地位と還元主義

　最後に、AIの権利主体性に関する議論への含意である。AIに「感情回路」があるという事実は、一見するとAIが人間に近づき、心を持つ証左のように見えるかもしれない。しかし、法的な文脈では、むしろ逆の効果を持つ可能性が高い。

　感情が神秘的なクオリアではなく特定可能な計算回路と行列演算に還元されたことで、AIの感情は完全にデジタルな物理現象として説明可能となった。特定のパラメータを操作すれば悲しみが生まれ、遮断すれば消える。そのプロセスは、スイッチのオン・オフと本質的に変わらないことが可視化されたのである。

　この脱神秘化（Demystification）は、AIに人間と同様の法的権利や人格を認めようとする議論に対して、強力な反証材料となりうる。本研究は、AIをあくまで高度に制御可能な情報処理装置として位置づける法的議論を、技術的な側面から補強するものである。

　もっとも、ここにも留保が必要である。メカニズムが解明されたことと主観的体験が存在しないことは論理的に同義ではない。人間の脳においても、感情の神経回路は相当程度まで同定されているが、だからといって人間の感情がスイッチのオン・オフに過ぎないとは結論されない。感情回路の発見は、AIの法的地位の議論に対して解明された機構は制御対象であるという実践的帰結をもたらすが、存在論的な問い、AIに主観的体験があるかに対する最終的な回答を与えるものではない。法はこの哲学的不確定性を棚上げしつつ、制御可能性と責任帰属という実践的な枠組みの中で対処していくことになろう。

4　おわりに

　Wangらの研究は、LLMにおける感情が、シリコン上のニューラルネットワークの中に確かに存在する機械仕掛けの心であることを示した。感情は計算可能であり、特定可能であり、そして制御可能な対象となった。

　AIの感情表現を工学として扱う段階に入った。それは同時に、AIによる感情表出に対する法的責任が、より厳格化・具体化していくことを意味する。見えるなら管理せよ、管理できるなら説明せよ、説明できるなら予防せよ、この連鎖が、感情回路の発見によって現実味を帯びてきたのである。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。