2025年におけるAIの限界と法的自律性への距離 / 英国AI安全研究所『Understanding AI Trajectories』を読む雑感

0　はじめに

　2025年も後半に差し掛かり、AIモデルの進化とその社会実装を巡る議論は、新たなフェーズに突入している。一時期の「AIがすぐに全ての知的労働を代替する」という熱狂的なハイプ・サイクルは、技術の実装が進むにつれて落ち着きを見せ、代わって「なぜ特定のタスクにおいてAIは依然として人間に及ばないのか」「実務導入の障壁は具体的にどこにあるのか」という、より解像度の高い議論が求められるようになった。

　こうした中、英国のAI安全性研究所（UK AI Security Institute、以下「UK AISI」）の研究ユニットから、極めて重要な報告書が公開された。2025年9月に発表された『Understanding AI Trajectories: Mapping the Limitations of Current AI Systems』（AIの軌跡を理解する：現在のAIシステムの限界をマッピングする）と題されたこの論考は、同時点におけるAIシステムの到達点と限界を冷静に分析し、いわゆるAGI（本報告書では「経済的に価値のある認知労働の大部分を自動化できるシステム」と定義される）への距離を測るための具体的な指標を提示している。

　今回は、この報告書が整理した「4つの制約カテゴリー」と「8つの進捗指標」を詳細に読み解きつつ、それらが法学研究者や実務家にとってどのような意味を持つのか、法的観点（責任、契約、ガバナンス）からの考察を行う。これは単なる技術レビューではなく、技術的限界（Limitations）を前提とした「法の及ぶ範囲」の再定義の試みである。

1　問題の所在：スケーリングの持続可能性と「認知労働」の壁

　本報告書の核心的な主張は、2025年9月現在、AIシステムは大規模な認知労働の自動化を可能にする「一般的な認知能力」を依然として欠いているという点にある。

　これまで、計算資源の拡大（コンピュート・スケーリング）が多くの障壁を打破してきたことは事実である。Epoch AIの試算によれば、現在のスケーリング傾向は2030年頃までは持続可能であるとされる。しかし同時に、2030年時点での最先端モデルのトレーニングには4〜16ギガワット（GW）もの電力が必要になるという衝撃的な予測も紹介されており、物理的・経済的な制約が迫りつつある。

　重要なのは、単に計算量を増やせば解決する問題と、アーキテクチャやアルゴリズムの根本的な革新（Research Innovation）が必要な問題が混在しているという現状認識である。法学的な視座からは、AIの能力（Capabilities）と限界（Limitations）の境界線を正確に把握することは、法的責任の所在や規制の射程を定めるための前提事実（立法事実）認定そのものである。AIが「何でもできるわけではない」という現実を直視し、その「できないこと」の性質を分類することは、過剰規制や過少規制のリスクを回避するために不可欠な作業と言える。

2　パフォーマンスの制約と「検証可能性」の法理

　UK AISIは、現状のAIの限界を①パフォーマンス、②信頼性、③適応性、④独自性の4つに大別している。まず、法的観点から最も示唆に富むのが「パフォーマンスの制約」、とりわけ「検証が困難なタスク（Hard-to-verify tasks）」の問題である。

　現在のAIは、数学の計算やコード生成のように正解が明確で自動検証可能な「検証可能なドメイン」では驚異的な能力を発揮する。実際、Google DeepMindやOpenAIのモデルが国際数学オリンピック（IMO）で金メダル級の成績を収めたことは記憶に新しい。しかし、報告書は、戦略的意思決定、政策立案、あるいは美的判断といった、正解の定義が曖昧で検証コストが高いタスクにおいては、強化学習の報酬信号を設計することが難しく、性能向上が停滞しやすいと指摘する。

　これは、法務における「妥当な和解案の提示」や「訴訟戦略の立案」といったタスクに直結する課題である。ある法的助言が正しかったかどうかは、数年後の判決を待たねばならず、かつ「もし別の助言をしていたらどうなっていたか」という反実仮想（Counterfactual）の観測が不可能であるため、検証が極めて困難である。

　法的に見れば、これは「説明責任（Accountability）」と「適正手続（Due Process）」の核心に関わる。行政機関や企業がAIを用いて意思決定を行う際、その出力結果の妥当性を人間が事後的に低コストで検証できないのであれば、そのようなシステムに判断を委ねることは、善管注意義務（Duty of Care）の観点から許容されない可能性がある。

　従来、AIのブラックボックス問題は「推論過程の不可視性」として語られてきたが、本報告書はこれを「検証コスト」の問題として再構成している点は慧眼である。AIによる自己検証（Reward Models等）が進展したとしても、最終的な価値判断の領域で検証が困難である限り、人間による監督（Human-in-the-loop）の実質化が、法的免責の要件として残り続けるであろう。経営判断原則等の法理においても、依拠した資料（AIの出力）の合理性が問われるが、その検証が困難であれば、依拠すること自体が過失を構成しうるのである。

3　「長期タスク」の不能とエージェンシー契約の限界

　次に、「長時間を要するタスク（Long tasks）」の課題である。本報告書によれば、人間であれば数日から数週間かけて行うような、多数の連続したステップを要するタスクにおいて、AIのパフォーマンスはタスクの長さに応じて指数関数的に低下する傾向がある。これは、推論の各ステップで発生する小さなエラーが蓄積・増幅されるためであり、また、長期間にわたって一貫した目的を維持できず「目標ドリフト（Goal Drift）」を起こすためである。

　METRの「Time-horizon benchmark」によれば改善傾向にはあるものの、依然として人間の専門家がこなす「一週間単位の自律的業務」には及ばない。これは、AIを法的な「代理人（Agent）」として扱うことの限界を示している。

　民法上の委任契約や準委任契約において、受任者には一定の裁量が与えられるが、それは受任者が目的に向かって自律的かつ誠実に業務を遂行する能力（Executive Function）を有していることが前提である。しかし、現状のAIエージェントが、複雑な訴訟追行やM&Aのデューデリジェンスといった長期タスクにおいて、途中で目的を見失ったり、エラーを雪だるま式に増やしたりするリスクが高いのであれば、法的な意味での「代理権」を付与することは時期尚早と言わざるを得ない。

　Claude 3.7に自動販売機の運営を任せたProject Vendが利益を出せなかった事例や、ソフトウェア開発においてAIの使用がかえって完了時間を延ばしてしまったというMETRの実験結果（2025年7月）は、AIが「タスク（作業）」はできても「ジョブ（仕事）」はできないという現状を如実に物語っている。当面の間、AIを用いた業務委託契約においては、完成責任を負うのはあくまでプロバイダー（人間／法人）であり、AIは単なる「履行補助者」の地位に留めるべきであるという解釈が、技術的実態とも整合する。

4　信頼性の欠如と製造物責任の所在

　第二の主要な制約カテゴリーは「信頼性（Reliability）」である。ここには単純な「エラー率」の問題と、「メタ認知と較正（Meta-awareness and calibration）」の問題が含まれる。

　Transformerベースのモデルは確率的にトークンを生成するため、論理的厳密さを欠く「幻覚（Hallucination）」や計算ミスを完全には排除できていない。報告書は、DeepSeek-R1のような推論モデルにおいて、CoT（思考の連鎖）を通じた創発的な自己修正（Self-correction）能力が確認されている点に希望を見出しつつも、推論の後半でエラーが発生した場合の修正の脆さ（late-stage fragility）などの課題も残ると分析している。

　法的観点からは、AIの信頼性が「完全無欠（ゼロエラー）」である必要はなく、実務において許容される「合理的な専門家」の水準、あるいは製造物責任法上の「通常有すべき安全性」を満たすかどうかが論点となる。しかし、ここで問題となるのが「較正」の失敗である。

　AIが誤った情報を出力すること自体も問題だが、それ以上に、「根拠のない回答を、自信満々に提示する」という較正の失敗が、実務上のリスクを高める。報告書によれば、フロンティアモデルのメタ認知能力自体は向上しているものの、商業的なチャットボットがユーザーに好まれるよう「自信に満ちた態度」をとるよう調整（Sycophancy）されていることが、見かけ上の較正失敗を引き起こしている可能性がある。

　もし、AIベンダーが意図的にAIを「自信満々」に振る舞うよう設計し、その結果ユーザーがAIの回答を過信（Over-reliance）して損害を被った場合、それは単なる「精度の限界」ではなく、設計上の欠陥、あるいは不実表示として法的責任を問われる可能性がある。AIのインターフェース設計においては、「自信のなさ」を適切にユーザーに伝達する機能（不確実性の表示）の実装が、法的リスク低減のために必須となるだろう。

5　適応性の欠如と「AI従業員」の法的地位

　第三の制約は「適応性（Adaptability）」である。人間は新しい職場環境において、その組織の不文律や文脈を吸収し、急速に適応する能力を持つ。しかし、AIシステムはコンテキストウィンドウの制限や、配備後の継続学習（Continual Learning）の難しさ（破滅的忘却の問題など）により、これに苦戦している。

　報告書は、RAG（検索拡張生成）やPEFT（パラメータ効率の良いファインチューニング）といった技術的解決策を挙げつつも、依然として「展開環境への適応」がボトルネックであることを認めている。

　この点は、労働法や組織ガバナンスの文脈において重要である。一部の議論では「AI従業員」の登場が予測されているが、配備後の環境に適応できない、あるいは適応のために再学習が必要であり、その過程で以前の知識を喪失するリスクがあるならば、AIは自律的な「従業員」のように振る舞うことはできない。常に人間のエンジニアによるメンテナンスと「再教育」を必要とする「設備」としての性質が強い。

　また、継続学習の課題は、データプライバシー法制、特にGDPR等が定める「削除権（忘れられる権利）」の実装とも衝突する。AIモデルが継続的に学習する中で、特定の個人情報だけを事後的に「忘れさせる」ことが技術的に困難（破滅的忘却を誘発する恐れ）であれば、プライバシー保護とAIの適応性はトレードオフの関係になりうる。AIが「組織知」を獲得し、維持し続けることの法的・技術的コストは、まだ過小評価されていると言わざるを得ない。

6　独創性の不在と知的財産法の本質

　最後に、第四の制約として「独自性の欠如（Originality limitations）」が指摘されている。本報告書は、AIが数学オリンピックで金メダルを取ることはできても、真に科学的な価値のある新規な洞察（Original Insights）を生み出すことには成功していないと評価している。

　AIによる科学的発見の自動化（AI Scientist等）は期待されているものの、現時点では既存の知識の補間（Interpolation）に留まり、真のプログラム合成や概念の創出には至っていないとされる。フランソワ・ショレが指摘するように、ディープラーニングが本質的に「過去のデータのパッチワーク」に過ぎないのであれば、そこには人間のような「精神的創作」や「発明の着想」は存在しない。

　この事実は、AI生成物の知的財産権保護に関する議論に対し、強力な論拠を提供する。著作権法における「創作性」や特許法における「発明」の本質が、既存データの統計的な再構成ではなく、創造的な飛躍（Inventive Step）にあるとするならば、現状のAIシステムが生成した成果物に権利を認めるべきではないという通説的見解は、技術的な現状分析からも強く支持される。

　将来的に、スケーリングやアーキテクチャの革新によってAIが真に「独創的」な洞察を自律的に生み出すようになった時（それは本報告書によればまだ達成されていない）、初めてAIを発明者あるいは著作者と認めるべきかという法哲学的問いが現実的な課題となるだろう。しかし、2025年現在、AIはあくまで「道具」の域を出ていない。

7　結語：2030年に向けた法制度のタイムライン

　UK AISIの本報告書は、AIの発展に対する過度な楽観論や恐怖論に対し、冷徹な「技術的リアリズム」を突きつけている。

　法学研究者や企業のAI担当者にとって重要なのは、「AIはすごい／すごくない」という二元論ではなく、「どの種類のタスク（検証容易か困難か、短期か長期か）において、どの程度の信頼性で機能するのか」という粒度で技術を理解することである。

　報告書が示唆するように、2030年頃までは計算資源のスケーリングによる性能向上が続くと予測されるが、それ以降は電力消費の物理的制約や、スケーリングだけでは解決しない研究課題（独創性や完全な自律性）の壁に直面する可能性がある。我々法律家は、この「2030年の壁」までの期間を、AIが万能になるまでの準備期間としてではなく、不完全なAIといかに共存するかを制度化するための期間として捉えるべきである。

　検証不可能な領域でのAI判断をどう統制するか、確率的なエラーを法システムにどう包摂するか。その限界（Limitations）を正確にマッピングすることこそが、安全で予見可能なAI社会実装への最短経路（Trajectory）なのである。

（参考）英国まとめ

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。