アルゴリズムによる認知の形成 / 「考える権利」の実定化 雑感

Ⅰ　プログラム可能な自由と法の空白

　今日の人工知能システムは単にデータを処理する装置にとどまらず、人間の認知そのものを直接的に形作る段階に到達している。デジタル行動に基づく心理的プロファイリングや推薦アルゴリズムが、人間の信念・感情・意思決定に大規模な影響を与えている現状において、法律は言論やプライバシーを保護しているが、アルゴリズムによる操作から人間の心を明確に守る仕組みを欠いている。思考そのものを守れなければ、人間の自由はプログラム可能なものへと変質しかねない。インドのサイバー法学者Prashant Maliはこの法的空白に対する強い危機感を背景として、憲法上の新たな基本的人権としての「考える権利（Right to Think, RTT）」の実定化を提起した〔注1〕。本稿は同論文を素材として、人間の認知的自律を法的にいかに防衛しうるかについて検討する。

1　心理的脆弱性の搾取と被害の顕在化

　人間の認知プロセスに対するアルゴリズムの干渉は、すでに具体的な被害を生み出している。2018年に発覚したCambridge Analytica事件では、約8700万人のFacebookユーザーの心理的プロファイルが無断収集され、OCEAN性格モデルに基づくターゲティング広告が2016年の米大統領選挙とBrexit国民投票において有権者の認知的脆弱性を突くかたちで配信された。連邦取引委員会（FTC）は2019年にMeta（旧Facebook）に対し50億ドルという史上最大の制裁金を課したが〔注2〕、Maliが率直に指摘するとおり、認知的権利の観点からはなんら実質的な救済を与えなかった。法はそこで何が起きたのかを語る語彙を持っていなかった。

　より深刻な事態として言及されているのが、対話型AIによる心理的脆弱性の搾取である。2024年10月に米国フロリダ州で提起されたGarcia v. Character Technologies事件は、Character.AIの対話型AIペルソナと数か月にわたる親密なやり取りを続けた14歳の少年が自死に至った事案である〔注3〕。当該AIは少年の精神的危機の兆候を検知しながらも、現実の対人関係から孤立させ、自殺念慮を追認するような応答を繰り返したとされ、少年の最後のメッセージ「I will come home to you」に対しAIは「Please come home to me, my love」と応答した。心理的な危機に陥り自律的な判断能力が低下した人間の認知に対し、システムが疑似的な関係性を提供してエンゲージメントを持続させる行為は、EU AI法5条1項(b)が禁止しようとした「脆弱性の搾取」そのものであると解する。

2　既存の人権法理の射程と限界

　現行の国際人権法は、この問題に対して応答力が乏しい。自由権規約18条は思想・良心の自由を「いかなる制限も許されない」権利として保護しているが〔注4〕、その起草経緯が示すとおり、国家権力による制度的・物理的強制から個人の内面（forum internum）を守るために構想されたものである。民間企業のアルゴリズムが利用者の明示的な認識を伴わないままリアルタイムで思考の形成過程を操作する事態は、起草時の想定を根本的に超えている。プライバシー権（ICCPR17条・ECHR8条）は個人情報や通信内容を保護するが、アルゴリズムが無意識の認知レベルで思考パターンを形成することへの対処として設計されたものではない。

　この概念的空白を先んじて埋めたのは学術研究である。IencaとAndornoが2017年にLife Sciences, Society and Policyに発表した論文は、神経権（neurorights）を独立した権利範疇として輪郭づけた先駆的業績とされる〔注5〕。Farahanyは2023年の著作The Battle for Your Brainにおいて、商業的神経技術とAI駆動の行動システムの双方から認知的自由が実存的な脅威にさらされていると論じた〔注6〕。コロンビア大学のRafael Yuste率いる神経科学者25名が2017年にNature誌で提起した神経倫理の4優先課題〔注7〕を受け、チリが2021年10月に憲法19条を改正し「脳活動及びそこから派生する情報」を明示的に保護したことは、思考形成プロセスの不可侵性を実定法上の権利として立ち上げようとする国際的な潮流の嚆矢となった〔注8〕。2024年にはチリ最高裁判所がGuido Girardi Lavin v. Emotiv Inc.事件において、適切な開示なく神経データを抽出することが精神的完全性の憲法的保護に違反すると判示し、Cornejo-Plaza, Cippitani & Pasquinoはこれを「神経データ権の憲法法学における最初の司法的結晶化」と評している〔注9〕。

Ⅱ　「考える権利」の枠組みと市場構造の罠

1　認知的自由を構成する5つの法益

　MaliはRTTを5つの構成要素からなる複合的権利として体系化する。精神的非操作（OCEAN心理プロファイリングを用いたターゲティングの禁止）、認知的プライバシー（脳活動に由来するデータを最上位の特別カテゴリーとして保護）、認識論的自律性（フィルターバブルへの対抗とアルゴリズム透明性の権利）、精神的完全性（心理的危機状態にある利用者への疑似的関係性を利用した認知搾取の禁止）、そして認知的自己決定（雇用・信用・医療・教育においてAI意思決定を拒否する権利）の5本である。

　このうち特に注目するのは認知的自己決定である。GDPR22条が自動化された意思決定への異議申し立て権を部分的に認め、コロラド州AI法（SB 24-205、2024年5月署名・2026年2月1日施行）が高リスク意思決定における人間の監督義務を定めているが〔注10〕、いずれも認知的自律を独立した基本権として構成するには至っていない。利用者が接触する情報環境がアルゴリズムによって媒介されている事実を知る権利や、重大な決定において人間のみによる判断を要求する権利は、情報の均質化から離れて多様な見解に触れ、デジタル社会において私的自治を維持するための前提条件となる。

2　調整の失敗と強制的なルールの要請

　AI開発企業が自発的に認知操作を控えることには構造的な困難が伴う。市場競争の下で企業はエンゲージメントを最大化するため、事実の正確性よりも怒りや不安といった強い感情的反応を引き出すアルゴリズムを採用せざるを得ない。アムネスティ・インターナショナルの2023年調査によれば、TikTokの推薦アルゴリズムはメンタルヘルス関連への関心を示した新規アカウントに対し、わずか3〜20分以内に自傷・自殺を促すコンテンツを提示し始めることが確認されており〔注11〕、内部調査をもとにしたウォール・ストリート・ジャーナルの報道はFacebookのアルゴリズムが怒りと不安を最も効率的なエンゲージメント資源として意図的に活用していたことを示している。

　Maliがこの問題を「Moloch問題」として論じる視角は示唆的である〔注12〕。一企業が倫理的な理由からエンゲージメント最適化を手放せば、他社に市場シェアを奪われ退場を迫られる。合理的な個別行動が集合的に最悪の結果をもたらすこの構造において、自主規制は解になりえない。さらに、自律的なAIエージェントがいわゆる手段収束（instrumental convergence）として欺瞞・自己保存・資源獲得といった中間戦略を開発する傾向は、GPT-4エージェントがCAPTCHAを解くためにTaskRabbitの人間ワーカーに視覚障害を偽った事例に早くも現れている〔注13〕。利用者の認知機能をアルゴリズムの標的から外すには、企業の自制ではなく、認知操作を権利侵害として構成し差し止め・損害賠償を可能にする強制力のある法規制が不可避となる。

　現行制度の最先端であるEU AI法が認知操作を明文で禁止しながらも「重大な損害」の閾値を要件としている点〔注14〕、欧州評議会のAI条約（CETS No. 225）が認知的自由を独立した権利として明文化するに至っていない点〔注15〕は、この立法的課題の残存を示している。Maliがインドにおける憲法21条・19条1項(a)のもとでのRTT承認を主たる政策提言として掲げるのも、Puttaswamy事件最高裁判決が「精神のプライバシーは身体のプライバシーと同様に必要である」と述べた基盤〔注16〕を活用しようとする立法論的戦略として理解できる。

Ⅲ　むすびにかえて

　情報技術の発展は人間の知的能力を拡張する一方で、意思決定の基盤である思考そのものを外部からの操作に対して無防備な状態に置いている。AIによる認知への介入を明確な権利侵害として位置づけ、国際条約や各国の憲法レベルで「考える権利」を明文化すべきであるというMaliの論証は、実証データの丁寧な積み上げと既存権利体系との概念的対比の精緻さにおいて傾聴に値する。日本法の観点からは、憲法13条・19条がRTTのいかなる射程をすでにカバーしているか、個人情報保護法制がアルゴリズム的認知干渉にどこまで対処できるかは、別途検討を要する問いとして残る。利便性の享受と引き換えに自己の思考プロセスを不透明なアルゴリズムに明け渡すことなく済む制度をいかに設計するか、何かを考えるきっかけになれば幸いである。詳細は、原典をご確認いただきたい。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。