Human-in-the-loop / ヒューマンインザループ / 意味のある人間の関与（Meaningful Human Oversight）のデザイン / CSIRO論文を読む雑感

0　はじめに

 「Human-in-the-loop（人間がループに入ること）」という概念は、近年のAIガバナンスや法規制の議論において、ある種の免罪符、あるいは思考停止の合言葉のように使われていないだろうか。

　EU AI法（EU AI Act）第14条が人間による監督（Human Oversight）を求めていることは周知の通りである。また、ISO/IEC 42001（AIマネジメントシステム）やG7広島AIプロセスにおいても、人間による監督は信頼できるAIの根幹をなす要件とされている。しかし、実務の現場において「意味のある」監視とは具体的に何を指すのか、その解像度は驚くほど低い。

（参考）

　単にAIの出力画面の前に人間を座らせ、承認ボタンを押させるだけの儀式を「監視」と呼んでよいのか。あるいは逆に、AIのリスクを恐れるあまり、人間が全ての工程に介入し、AIを単なる「自動化されたタイプライター」へと劣化させてしまうことが正解なのか。

　先日、MinterEllisonのAIリードであるSam Burrett氏が紹介していたCSIRO（オーストラリア連邦科学産業研究機構）Data61チームの論文『Designing Meaningful Human Oversight in AI』は、この問いに対して、工学的かつ哲学的なアプローチで一つの解を示している。同論文は、16ページにわたり「監視」をシステム設計論として再構築しており、その内容は法学研究者や実務家にとっても極めて示唆に富むものである。今回は、同論文が提示する「エージェンシー（主体性）の二層構造」と「解決と検証の非対称性」という概念を手掛かりに、法とAIの協働における人間の役割を再考してみたい。

　今回の内容が、産業界のリアルに実際に役立つことを期待する。AIと法はどの領域よりも速度が早く、アカデミアと産業界の接合が何より重要であると考える。この「AIと法雑感」はその役割を担いたい。

（参考）

1　問題の所在　監視のパラドックスとゼロサム・ゲームの罠

　AIシステム、特に生成AIが社会実装される際、その出力に対する責任の所在は常に議論の的となる。規制当局や企業のコンプライアンス部門は、リスクヘッジのために「人間の監視」を義務付ける。しかし、論文が鋭く指摘するように、現在の監視アプローチは二つの極端な失敗（Failure modes）に陥りやすい。

　第一に、ラバースタンプ（ゴム印）化である。AIの内部動作がブラックボックスであり、かつその出力が「もっともらしく」見える場合、人間は批判的な検証を行うための情報を持ち得ない。結果として、人間はAIの出力を追認するだけの存在となり、形式的に人間が関与していても、実質的なガバナンスは機能不全に陥る。これは「自動化バイアス」の問題としても知られているが、システム設計の問題として捉え直せば、人間に検証不可能なタスクを押し付けていることと同義である。法的な文脈において、これは「過失」の構成要件に関わる重大な問題である。人間が実質的な審査を行わずにAIの判断を鵜呑みにし、結果として損害が生じた場合、その監視は法的な注意義務を果たしたと言えるのか。

　第二に、「AIのエージェンシーの剥奪」である。人間が完全に理解・制御できる範囲にのみAIの動作を制限しようとすれば、AIは自律的な探索や推論を行うことができず、単なるルールベースの自動化システムへと退行する。ハルシネーションを恐れるあまり、AIの探索範囲を極端に狭め、逐一確認を求めるような設計にすれば、安全性は高まるかもしれない。しかし、それではAIが持つ適応性や創造性といった有用性は失われ、イノベーションの果実を得ることはできない。

　これまでの議論は、しばしば「AIの自律性」と「人間の主体性」をゼロサム・ゲームとして捉えてきた。AIが賢くなれば人間は制御を失い、人間が制御しようとすればAIは愚かになる、という二項対立である。しかし、CSIROの論文はこの前提を否定する。適切なデザインを行えば、AIのエージェンシーを維持しつつ、人間のエージェンシーを強化することは可能であるとする。

2　エージェンシーの再構成　作動と評価の分離

　このパラドックスを解消するための鍵概念として、論文はエージェンシーを「作動」と「評価」に分離することを提唱している。

（1）作動的エージェンシー（Operative Agency）

　これはAIシステムが担う能力である。タスクを遂行し、解決策を生成する能力を指す。AIは、与えられた境界の中で膨大なデータを処理し、確率的な探索を行い、自律的に解を導き出す。いわば実務を行う（Doing the work）主体であり、生成や探索という実行プロセスにおいてはAIの自律性を認めるべきである。

（2）評価的エージェンシー（Evaluative Agency）

　これは人間が担う能力である。AIが生成した解決策を理解し、検証し、必要に応じて介入や代替を行う能力を指す。ここでの役割は、自ら解を生成することではなく、その解が文脈や規範に照らして妥当かを判断することにある。

　この分離は、法務実務におけるパートナー弁護士とアソシエイト（あるいはパラリーガル）の関係に似ているかもしれない。アソシエイト（AI）が判例調査やドラフト作成という「作動」を担い、パートナー（人間）がその法的妥当性を「評価」する。パートナーは、アソシエイトがどのような思考プロセス（内部的なニューロン発火）を経てその判例を見つけたかを逐一トレースする必要はない。提出された成果物が法的基準や依頼者の利益に合致しているかという外部的な整合性を判断すること、これが肝要である。

　論文では、AIのブラックボックス性に対する解として、モデル内部の数理的な挙動を解明する内部的推論の忠実性（Internal reasoning faithfulness）よりも、出力が外部基準や専門家の知見と整合しているかを確認する外部的推論の忠実性（External reasoning faithfulness）を重視すべきだと説く。法学徒である我々が求めているのは、アルゴリズムのパラメータそのものではなく、その結論に至った「理由」の正当性であることと通底する。

3　解決と検証の非対称性

　では、人間はいかにしてAIの高度な「作動」を効率的に「評価」するのか。ここで導入されるのが「解決と検証の非対称性（Solve-Verify Asymmetry）」という概念である。

　計算機科学におけるP対NP問題のメタファーのように、多くのタスクにおいて「解を導き出すこと（Solve）」と「解が正しいか検証すること（Verify）」の難易度は一致しない。例えば、複雑な数学の証明問題を解くこと（Solve）は困難だが、提示された証明の各ステップが論理的に正しいかを確認すること（Verify）は、解くことよりは容易である。この場合、AIに解かせ、人間が検証するという分担はうまく機能する。

　一方で、現在の生成AIが抱える課題は、この非対称性が逆転するケースにある。例えば、もっともらしい判決文や小論文を作成すること（Solve）は今のAIにとって容易だが、その内容が事実に基づき、かつ規範的に正しいかを検証すること（Verify）には、人間側の多大な労力と専門知識を要する。この「Solve＜Verify」の状態を放置したまま人間をループに入れると、人間は検証コストに圧倒され、結果としてラバースタンプを押すことになる。

　産業界のリアルは今まさにこれだろう。それがリアルであり、把握すべき実態であるように思う。

　論文は、この非対称性をデザイン段階（Design-time）と実行段階（Run-time）で意図的に操作することを提案する。検証が困難なタスクにおいては、AIシステム自体に「検証を容易にするための機構（メカニズム）」を組み込む必要がある。例えば、生成された回答の根拠となる引用元（Provenance）を必ず提示させる、あるいは自信度（Confidence）が低い場合は人間に判断を委ねる（Abstain）といった設計である。

　これは、法的なデュー・デリジェンスの設計思想にも通じる。リスクが高く検証が難しい領域では、あらかじめ厳格なチェックリストやエスカレーションフロー（デザイン時の担保）を用意し、個別の事案（実行時）における判断ミスを防ぐ構造を作る。AIガバナンスにおいても同様に、人間が「検証可能な状態」を作出することが、システム提供者の義務となるべきであろう。

4　監視のための4つの条件とメカニズム

　では、具体的にどのような観点で監視システムを設計すべきか。論文では、エージェンシーを構成する4つの条件（個体性、行為の源泉、目標指向性、適応性）に基づき、監視の在り方を整理している。

　第一に「個体性（Individuality）」である。これはシステム境界の明確化を意味する。どこまでがAIの自律動作で、どこからが人間の介入が必要なハンドオーバー・ポイントなのか。法的には「委任の範囲」の明確化である。これを担保するためには、APIコントラクトやユーザーインターフェースにおいて、責任の所在が切り替わる瞬間を明示的に設計しなければならない。具体的には境界レジストリ（Boundary Registry）を定義し、いつ制御が人間に移ったかを記録することが求められる。

　第二に「行為の源泉（Source of action）」である。AIの出力がどのようなプロセスを経て生成されたかの因果的追跡可能性（Provenance）を確保することだ。プロンプト、使用ツール、参照データなどのログを保持することは、説明責任の基礎となる。人間がAIの生成プロセス全体を再現する必要はなく、決定的な判断が行われたポイント（Causal trace）を事後的に確認できることが肝要である。

　第三に「目標指向性（Goal-directedness）」である。AIが生成するサブゴール（手段）が、人間が設定した上位目標（規範、法律、倫理）と整合しているかを確認することだ。ここでは構造化された根拠（Structured rationale）の提示が有効となる。AIに対し、単に回答を出させるのではなく、「判断、根拠となる証拠、適用したルール」をセットで出力させることで、人間はポリシーとの整合性を容易に検証できる。また、「ゴール台帳（Goals Ledger）」を整備し、出力がどのポリシーに準拠しているかを紐付けることも推奨される。

　第四に「適応性（Adaptivity）」である。AIの学習や適応による挙動変化を監視することだ。ドリフト検知やバージョン管理により、AIが当初の意図から外れた振る舞いをすることを防ぐ。未知の事象に遭遇した際に、AIが「分からない」と言える（Abstainできる）能力を持たせることもここに含まれる。また、緊急時にAIの自律動作を強制停止させるサーキットブレーカーの実装も、適応性の管理の一環である。

5　実務的適用　4つのパターン

　論文では、これらの理論を実装するための具体的な「監視パターン」が提示されている。これらは法務テックやリーガルAIの設計において即座に応用可能なものである。

（1）基準適合性評価パターン（Criteria-aligned assessment）

　例えば、契約書のレビューや補助金の審査など、提出物（A）を基準（B）に照らして評価する業務である。従来型のAIは「適合/不適合」の判定のみを出力しがちだが、これでは人間は検証できない。本論文の提案するパターンでは、AIは「構造化された根拠スキーマ」を出力する。基準Bの各条項に対し、提出物Aのどの部分が該当するか（引用）、なぜ適合・不適合なのか（理由）、そしてその判定の確信度を一覧化する。人間はこの「根拠のリンク」を検証すればよいため、AIと同じ分量の文書を読み込む必要がなくなる。これはまさに「検証の容易化」の実践である。

（2）コンフォーマンス・チェックパターン（Conformance checking）

　文書が特定のスタイルや規定に準拠しているかを確認し、修正する業務である。ここでは、AIが勝手に文章を書き換えるのではなく、最小限の変更差分（Minimal-change diffs）とその変更理由（ポリシーへのリンク）を提示することが求められる。著者の意図（Voice）を損なわず、かつ規定違反のみを修正するために、人間はAIが提案した「差分」のみを承認・拒否する権限を持つ。

（3）証拠に基づく統合パターン（Evidence-grounded synthesis）

　大量の文献調査や判例のリサーチにおいて、ハルシネーションを防ぐための設計である。全ての主張（Claim）に対して、原典のページ数レベルでのアンカー（Permalink）を付与させる。また、あえて対立する見解（Counterfactuals）や少数意見が含まれているかをチェックするプローブ（探針）を埋め込むことで、AIによる過度な一般化やバイアスを防ぐ。人間は引用の束（Quote bundles）を確認することで、効率的に事実確認を行える。

（4）シグナル検知・優先順位付けパターン（Signal detection/prioritization）

　ニュースモニタリングやリスク検知など、絶え間ない情報ストリームから重要な事象をピックアップする業務である。ここでは、AIによるスコアリングの内訳（重要度、新規性、信頼性など）を可視化し、信頼度が低い場合や前例のないケース（Novelty）では自動的に人間にエスカレーションする信頼度に応じたルーティングが有効である。人間は、AIが見逃したシグナルや誤検知（False Positive）を監査することに集中する。

6　法的ガバナンスへの示唆

　本論文が提示するフレームワークは、AIを利用する企業や個人の法的責任を考える上でも示唆を与える。

　第一に、法的責任の分界点に関する示唆である。過失責任の判断において、予見可能性や結果回避義務の履行有無は中心的な争点となる。もし企業が、本論文で示されたような「検証可能性を高めるメカニズム」を実装せず、ブラックボックスなAIを漫然と使用して損害を生じさせた場合、それは「監視義務違反」あるいは「体制構築義務違反」と評価されるリスクが高まるのではないか。逆に、システムが「人間が容易に検証できるだけの情報」を提示していたにもかかわらず、人間がそれを見落としたのであれば、それは人間の監視不履行として責任を問われることになる。

　第二に、AI規制の解釈論における有用性である。EU AI法等が求める「人間による監視」を、精神論ではなくシステム設計論として落とし込むための共通言語を提供している。「人間をループに入れる」とは、単に人を配置することではなく、今回述べたような「検証容易性」と「明確な権限委譲」をアーキテクチャとして実装することと同義であると解釈すべきである。第14条が求める監視者の要件（システム能力の限界を理解していること、自動化バイアスを回避できること等）は、個人の資質の問題ではなく、そのような監視を可能にするシステム環境の提供義務として読み替える必要があるだろう。

　第三に、専門職の役割の変化である。弁護士や裁判官といった法律家の役割は、判例を探し出す「作動」から、提示された情報が正義や衡平にかなうかを判断する「評価」へと、より純化されていくだろう。AIに「解かせる」ことは恥ずべきことではなく、むしろAIに適切に解かせ、それを人間が適切に「疑う」技術こそが、これからの専門職には求められる。

7　おわりに

　CSIROの論文は、AI時代における人間の役割を「監視者（Overseer）」から「評価者（Evaluator）」へと再定義することを求めている。

　AIが高い処理能力（作動的エージェンシー）を持つからこそ、人間にはより高度な判断能力（評価的エージェンシー）が求められる。それは、AIの出力を漫然と承認することでも、AIと競って同じ作業をすることでもない。AIが提示した根拠を批判的に検討し、規範や文脈に照らして最終的な価値判断を下すことである。

　専門家や実務家にとって、この「評価的エージェンシー」こそが、AIと共存する未来における職能の本質となるのではないだろうか。条文や判例の検索・要約といった「作動」はAIに任せられるかもしれない。しかし、その結果が正義や衡平の観点から妥当か、あるいは依頼者の真の利益にかなうかという「評価」は、依然として人間に残された、そして人間こそが担うべき領域である。

　「人間がループにいる」だけでは不十分だ。人間がそのループの中で、主体的に、かつ意味のある判断を下せるようにシステムとプロセスをデザインすること。それが、法的思考とエンジニアリングが交差すべき喫緊の課題である。これからのAIガバナンスは、人間がAIのベビーシッターをするのではなく、AIを使いこなす指揮者あるいは裁判官としての役割を確立するための、技術と法の協働作業となるであろう。

（参考）

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。