AIモデルの処理と法的推論（legal reasoning）のアナロジー②:拡散モデル

［20240611改訂］
事実の認知、理解、判断主体である「人」も、例えば民事法では、超合理的、超自制的、超合理的な「合理的経済人」が想定されます。詐欺師が消費者を騙しまくって被害を与えても、最終段階で、裁判所は、「いや、うまい話なんてあるわけないんよ。契約の前にちゃんと調べておけば、騙されない可能性もあったんじゃない？」とし、被害者にも落ち度があるとして相当の過失相殺をし、請求額を減額することが少なくありません。事実認定までは、さんざん詐欺師の非道を断罪しておきながら、です。ただ、これは、法的推論を終えた後の、民事であれば損害賠償額の算定のフェーズの問題です。
本稿では、事実が確定した後、賠償額を定める前の、法的推論の部分を扱います。また、AIには、大きく分けて、識別モデルと、生成モデルがあります。識別型AIの処理は、適用される法令や判例の解釈が定まっている場合の法的推論に類比できることは、下記のブログで説明しました。

法の推論にも、私の勝手な分類ですが、識別型と生成型があるように思います。本稿では、生成型の法的推論と、生成AI（拡散モデル等）の推論モデルのアナロジーについて考えます。
数理議論学（Mathematical Argumentation）とは、議論や論証を数学的にモデル化し、分析・計算するための理論体系です。これは、従来の論理学（特に形式論理学）を拡張し、より現実的な議論の構造やプロセスを捉えようとする学問分野です。主にAIや計算機科学の分野で発展してきました。わが国でも、これに関し、意思決定や裁判支援、マルチエージェントシステムやAI分野による推論や交渉などに応用可能だとするものに [新田克己, 2017]などがあります。

事実に適用する法令が明確ではない場合、あるいは法令の解釈に問題がありパラダイム転換が求められる場合の対処が求められる場合に、生成型の法的推論と、AIの生成モデルの推論モデルのanalogyを考えることで、法的推論を分析的に検討できるかが問題となります。

1        生成モデルって？

1.1        何や！
生成モデルは、データの背後にある確率分布、P(X) (データの同時分布) や、P(X|Y) (特定のクラス Y が与えられたときのデータ X の条件付き確率) をモデル化することを目指すものです。これにより、既存のデータに似た新しいデータを「生成」することが可能になります。また、ベイズの定理を用いて、P(Y|X) を間接的に導出することで、分類タスクにも利用できます。
多くの生成モデル（VAE・拡散モデル・GANなど）は、元データを低次元の「意味空間」（潜在空間）に変換し、この空間内で補間や操作を行います。いわゆる「潜在空間の操作（latent space）」です。この空間内で「猫」と「犬」の中間のような存在や、「これまで存在しなかった構図や配色の花」など、意味的に新しい構成を生成が可能となります。
また、生成にはノイズや乱数が使われるため、完全に同じものが出力されるとは限りません。同じ条件でも毎回微妙に異なるデータを生み出すため、パターンの多様性と創発性が生じます。これは確率的生成（stochastic generation）と呼ばれます。
さらに、単なる「記憶」ではなく、データの統計的構造・傾向を学習し、その分布に基づいて「合理的な新パターン」を合成します。これは「分布全体の学習」と呼ばれます。以下では、生成モデル中のGAN、VAE、拡散モデルについて説明します。

1.2        GAＮって？
2014年（Goodfellowら）に登場した生成ＡＩです。代表的なモデルに、StyleGAN, BigGANなどがあります。GANは、2つのニューラルネットワークを競わせて学習させます。Generator（生成器）偽のデータを生成し、Discriminator（識別器）がデータが本物か偽物かを見分ける役割を果たします。この2つが「敵対的に」学習し合うことで、生成器は徐々に本物そっくりのデータを作れるようになる、という仕組みです。
Generator がランダムなノイズ（例えば z）を入力として、偽の画像を生成します。次にDiscriminator は「本物の画像」と「偽の画像」を見て、本物かどうかを判定します。Generator は「Discriminatorを騙す」ことを目指して改良され、Discriminator は「Generatorに騙されない」ように改良されます。この対決を繰り返して、お互いが進化していきます。

1.3        VAEって？
VAE（変分オートエンコーダ、Variational Autoencoder）とは、データの生成や次元圧縮に使われる確率的な生成モデルです。VAEは，Encoder（エンコーダ）とDecoder（デコーダ）の2つのコンポーネントを兼ね備えたモデルです。Encoderは入力画像などのデータを*潜在変数（latent variable）に圧縮し、Decoder潜在変数から元のデータを再構成（再生成）する役割を果たします。普通のオートエンコーダ（AE）と違って、VAEは潜在変数を確率分布として扱う点が特徴です。

1.4        拡散モデルって？
2015年に（Sohl-Dicksteinらが初期モデル）が登場し、2020年代に大規模化（DDPMなど）しま代表的なモデルに、DDPM, Imagen, Stable Diffusion などがあります。
拡散モデルは、結果を「ノイズから生成する」というプロセスを取ります。最初の値は完全にランダムなガウスノイズ（たとえば標準正規分布）から始めます。このノイズは標準正規分布などからサンプリングされたもので、ランダムなノイズを出発点として、逆拡散プロセスを通じて、このノイズが段階的に意味ある画像に変化します。すなわち、学習済みモデルが少しずつ「意味のある画像」へと変換（復元）していきます。拡散モデルは「純粋なランダムノイズ」から始めて生成を行うわけです。この意味では、ノイズは「潜在変数」の代わりと見なすことができます。

2    生成モデルでの特徴量、重み付けって何？

機械学習モデルは、与えられたデータから学習し、予測や分類などのタスクを実行します。その際、データの特徴を捉え、それぞれの特徴が予測にどれくらい影響を与えるかを学習する必要があります。この「特徴」と「影響度」を表すのが、特徴量と重み付けです。

2.1.  何が問題？
これらは、生成モデルと非生成モデルで意味や役割に違いがあるのでしょうか。これは、法的推論を行う際の特徴量と重み付けが、生成型と識別型で異なるか、という問題に関連します。

2.1特徴量
特徴量 (Feature)は、データの特徴を表す数値化された変数をいいます。モデルが学習するための入力データであり、予測や分類の根拠となる情報です。適切な特徴量を選択することで、モデルはより正確な予測を行うことができます。
また、大量のデータから重要な特徴量のみを抽出することで、計算コストを削減し、モデルの汎化性能を向上させることができます。

2.2 重み付け (Weight)
各特徴量が予測に与える影響の大きさ**を表す数値です。モデルが学習を通じて獲得するパラメータであり、特徴量と組み合わせて予測値を計算します。重みが大きい特徴量は、予測に大きな影響を与え、重みが小さい特徴量は、予測への影響が小さいことを意味します。

重み付けの役割は、まず、特徴量の重要度をモデルに学習させることにあります。モデルは、学習データに基づいて、各特徴量の重みを調整し、予測精度を最大化するように学習します。
次に、予測の根拠を説明にあります。重みの大きさを見ることで、どの特徴量が予測に大きく貢献しているかを理解することができます。
そして、モデルの汎化性能を向上させます。正則化などの手法を用いて、重みの大きさを制限することで、過学習を防ぎ、未知のデータに対する予測精度を向上させることができます。

2.3. 特徴量と重み付けの関係
特徴量はデータの特徴を表す数値化された変数であり、モデルの入力データです。重み付けは、各特徴量が予測に与える影響の大きさを表す数値で、モデルが学習を通じて獲得するパラメータです。適切な特徴量を選択し、モデルがそれらの特徴量の重みを適切に学習することで、高精度な予測モデルを構築することができます。

2.4.   生成モデルの特徴量と重み付け
生成モデルと識別モデルでは、特徴量の扱い方や学習の目的が異なるため、特徴量の重要性や選択において違いが生じることがあります。

2.3.1. 学習の目的と特徴量の役割の違い
識別モデルの目的は、特徴量に基づいて、データがどのクラスに属するかを予測することにあります。これに対して生成モデルは、例えば顔画像を生成する場合、顔の輪郭、目、鼻、口などの位置や形状が特徴量となり、これらの特徴量の組み合わせを学習して新しい顔画像を生成します。

2.3.2. 特徴量の選択
識別モデルでは、識別性能を最大化するために、特徴量選択が重要になります。    不要な特徴量（ノイズとなる特徴量）は、識別性能を低下させる可能性があるため、取り除く必要があります。これに対して生成モデルは、データ全体の構造を捉える必要があるため、識別モデルほど厳密な特徴量選択は行われない場合があります。生成されるデータの品質を向上させるために、適切な特徴量を選択することが重要となります。例えば、VAE（変分自己符号化器）などの生成モデルでは、潜在空間と呼ばれる低次元の特徴空間にデータを圧縮し、そこからデータを生成します。この潜在空間の表現が、生成されるデータの品質に大きく影響します。

2.5.  法的推論では？
法的推論でも、識別系は既存の法令、判例が挙げる特徴量、特徴量の重要性である重みを前提にして判断がなされます。これに対して生成系の法的推論は、法律や先例がなくても、商慣習や自主規制、条例や政令などから抽出された規範を特徴量を取り込みます。重み付けも、立法の動向を織り込み、それを先取りした認定や判断がなされることがあります。

テレビからの発火が製造物の欠陥に当たるとして損害賠償請求がなされた事件に大阪地判平6・3・29（平2（ワ）4761号、判時 1493号29頁）があります。判決は、テレビの欠陥を認め、過失の推認などの法理によつて家電メーカーの製造物責任を認めました。不法行為責任では、請求者側がメーカーの過失の立証責任を負います。これは請求者側が発火の危険があるテレビを製造したこと落ち度があったことの証明ができなければ敗訴するという理屈です。同年に成立した製造物責任法は、過失に代えて欠陥があったこと、テレビが通常備えるべき安全性を欠いたことの立証で足りるとします。
EUは既に1985に製造物責任指令を出し、英国が最初に国内法化に踏み切りました。日本の立法化は1994年ですがテレビ発火訴訟判決の後のことです。大阪地裁の判断は、この製造物責任の法理を先取りしたものと評価できます。特徴量選択、重み付けのおいて、それ以前の識別系裁判例とは異なるといえるのではないでしょうか。

3　 GANと拡散モデル

3.1        概要

GANも最初のデータは乱数です。GANの「乱数」と拡散モデルの「ノイズ」は基本的には同じ概念（＝ランダムな入力）です。どちらも「無から始める」ための乱数です。しかし、使い方と意味づけが異なります。拡散モデルはGANの発展系というわけではありません。全く異なる理論的枠組みと動作原理に基づいています。

3.2        対応関係

（1）     GAN

基本構造は、生成器（Generator）と識別器（Discriminator）の対戦にあります。生成の仕組みは、ノイズから画像を生成し、識別器に「本物」と思わせるよう学習するものです。学習の特徴は、敵対的学習です。訓練が不安定になりやすい（モード崩壊など）欠点があります。生成画像の品質は高精細だが不安定とされます。

（2）     拡散モデル

基本構造は、ノイズから徐々に画像を復元する過程（反拡散）にあります。生成の仕組みは、ノイズに変換してから段階的に元画像を再構築（スコアベースまたは条件付きモデリング）にあります。学習の特徴は、対数尤度に基づく最適化にありますが、特徴として、安定的ですが計算コストが高いという難点があります。生成画像の品質は、高精細かつ安定（特に大型モデルではSOTA）とされます。

（3）     理論的には別物

GANは、敵対的学習（min-max最適化）に基づき、データ分布と生成分布の差を縮めることを目的とします。これに対して拡散モデルは、ガウスノイズを加えていく「前向きプロセス（forward process）」（拡散プロセス）と、それを元に戻す「逆プロセス（reverse process）」（生成プロセス）をモデル化するものです。これには、確率的微分方程式（SDE）や変分推論の技法が使われます。
.
3.2    拡散モデルはGANの「発展系」？

3.2.1       概要

拡散モデルはGANの発展系ではありません。ただし、拡散モデルはGANが抱えていた多くの課題（学習の不安定性、モード崩壊など）を克服する可能性があるため、GANに代わる強力な生成モデルとして注目されているという意味で、「後継的」な位置づけを持ちます。「発展系」というよりは、「別系列の第2世代」と捉える方が正確です。

3.2.2       共通点

（1）GAN

入力は、潜在変数 （z∼N(0,I)z \sim \mathcal{N}(0, I)z∼N(0,I) など）となります。分布は一般に正規分布や一様分布です。目的は、潜在空間から意味のあるデータの合成にあります。

（2）拡散モデル

入力は、ノイズ画像（xT∼N(0,I)x_T \sim \mathcal{N}(0, I)xT∼N(0,I)）です。分布は、通常、標準正規分布（ガウスノイズ）となります。目的は、ノイズから意味ある画像への復元過程の学習にあります。

3.2.3        違い_乱数とノイズ

GANでも拡散モデルでも、入力は「ランダムなベクトル」から始まる点で共通しています。どちらも「何もないところからデータを生成する」ための種を使います。これが。GANでは「乱数」、拡散モデルでは「ノイズ」となります。しかし、その位置づけと生成戦略は異なります。

（1）     GANの乱数（潜在変数 z）

乱数は、潜在空間（latent space）上の点であり、抽象的な「意味の種」です。生成器（G）はこの潜在変数を受け取って、画像を一発で生成します［x=G(z)x = G(z)x=G(z)］この潜在空間が学習されるわけではなく、生成器がマッピングを学ぶわけです。

乱数は、比喩的に言えば「何かを作るレシピのID」で、生成器はそのIDに対応するレシピで即座に料理を作ります。ランダム性の本質は潜在変数（意味の種）です。生成方法は、一発生成です。意味論的には、潜在空間からの変換となります。

（2）     拡散モデルのノイズ（画像としてのノイズ）

元の画像にガウスノイズを段階的に加えたもので、最終段階はほぼ純粋なノイズです。学習中には、「ノイズから元画像を復元するプロセス」を段階的に学習します。生成時にはこのノイズ画像（完全な白色ガウスノイズ）を出発点にして、逆拡散を行います。

ノイズは比喩的に説明すると、最初は「めちゃくちゃにかき混ぜられた材料（ノイズ画像）」です。モデルは、この材料を少しずつ分離し、本来の料理の姿に戻していく過程となります。ランダム性の本質は、ノイズ画像（画像としての出発点）です。生成方法は、ステップを経て復元にあります。意味論的には、ノイズ除去プロセスの学習となります。

4        拡散モデルの処理プロセス

4.1        拡散プロセスと生成プロセス

生成モデルでは、「何もない状態（=純粋なランダムノイズ）から意味のあるデータを生み出せるか」が重要となります。拡散モデルでは、このノイズを出発点に、「本物っぽい画像への変換の道筋」を学習します。

4.2        ノイズから始める意味

前向き過程（拡散プロセス）では、元の画像 x0x_0x0​ に対して、段階的にノイズを加えていきます。そして、最終的に、完全にランダムなノイズ xTx_TxT​ になります。

これに対し逆過程（生成プロセス）の学習では、ノイズ xTx_TxT​ から段階的にノイズを除去して、元画像に近づけていく「復元プロセス」を学習します。生成時は、完全にランダムなノイズ（例：標準正規分布）を初期値とし、それを少しずつ変形させていくことで画像を生成するわけです。

4.3        条件付き生成も可能

ノイズから生成する際に、「テキスト」や「画像の一部」などの条件を与えることで、より制御された生成が可能です。たとえば「a cat sitting on a bench」というテキスト条件とすれば、それに合致する画像をノイズから生成できます。画像の塗り絵や修復なども、元画像を条件として与えてノイズ除去を制御するわけです。

5        拡散モデルとオートエンコーダは似てる？

5.1        概要

拡散モデルは「エンコード → デコード」という構造をある意味で一般化・確率的に拡張したものと捉えることができます。ただし、通常のオートエンコーダ（Autoencoder）とは構造も意図も異なります。

5.2        拡散モデルと「エンコード／デコード」の対応関係

（1）エンコード

オートエンコーダでは、入力データ x を低次元の潜在変数 zに変換することを言います。これに対し拡散モデルでは、エンコードは前向きプロセス（ノイズを段階的に加える）ことにあたります。

（2）デコード

オートエンコーダでは潜在変数 zzz から元の入力を再構成することをいいます。これに対し拡散モデルでは、ノイズから画像を段階的に復元する逆プロセスとなります。

（3）目的

オートエンコーダではデータの圧縮と再構成（情報抽出）にありますが、拡散モデルでは、確率的プロセスを通じて元データの分布をモデル化することにあります。

（4）復元方法

オートエンコーダは決定論的で、確率的マッピングを学習します。これに対し拡散モデルは、ノイズ除去を統計的に学習（条件付き分布を推定）します。

（5）情報表現の場所

オートエンコーダは潜在変数 zとなりますが、拡散モデルは、時刻 t ごとの中間表現（ノイズとデータの混合）となります。

5.3        違い_圧縮？摂動か？

オートエンコーダは、入力を圧縮（encode）して再構成（decode）することで、意味のある低次元表現を学びます。Variational Autoencoder（VAE）はこれを確率的に行い、生成モデルにもなります。

これに対し拡散モデルでは、圧縮ではなく「摂動（ノイズの注入）」によって情報を散らし、それを逆に学習するという思想です。圧縮ではなく「破壊と復元」です。

つまり、構造的には「エンコーダ／デコーダ」と似ているけれども、意図と数理的背景が違うというのがポイントとなります。

5.4        関係性は？

拡散モデルは「ノイズベースの確率的オートエンコーダ的構造」といえます。拡散モデルの前向き・後向きプロセスを、確率的なエンコード／デコードと見なすことは可能です。ただし、その潜在変数は圧縮された意味空間ではなく、ガウスノイズ空間です。従って、拡散モデルは「VAE的発想をさらにステップ構造で細分化し、より詳細なデータ生成プロセスを学ぶモデル」とも解釈できます。

6        拡散モデルにおける情報の不可逆性

6.1        問題の所在

拡散モデルは、「加えるノイズが強すぎたり、過程に破壊的な要素があると、元に戻せなくなる（情報が不可逆に失われる）」という可能性があります。これは、拡散モデルの根幹に関わる重要な論点となります。

6.2        拡散モデルは可逆性を前提としていない

拡散モデルの「前向きプロセス」（ノイズを加える過程）は、段階的にガウスノイズを加え、徐々に情報を破壊していく操作となります。最終的に得られる値（xTx_TxT）​ は、ほぼ純粋なガウスノイズになり、元画像（x0x_0x0​） の情報は直接的には残っていません。つまり、拡散モデルの前向きプロセスは可逆ではない（＝元には戻らない）ことが前提となりますです。

6.3        じゃあどうやって復元する？

拡散モデルは、「前向きプロセスの逆」は直接的に求められない（破壊された情報は元に戻らない）ことを前提にしながらも、大量の学習データを用いて「統計的に逆過程を学習」します。例えば、ノイズ状態 xtx_txt​ を入力として、「もとの画像（またはノイズ量）」を予測するニューラルネットワークを学習します。

つまり、「どんなノイズ状態でも、たぶんこのくらいの画像が潜んでいたはずだな」という条件付き分布の学習です。このようにして、失われた情報を統計的に「埋める」ことで、生成が可能になっています。

6.4        例えば…

薬品と化学変化に例えれば、次のようなプロセスになります。

• 薬品を加える＝ノイズを加える

• 化学変化＝情報が構造的に変質する

• 元に戻らない＝不可逆変化

これはまさに拡散モデルの前向きプロセスで起きていることに他なりません。そしてその「不可逆な化学変化」を統計的なパターンから逆推定する、というのが拡散モデルの逆過程です。

ただし、次のような違いがある点に留意する必要があります。

• 物理的・化学的な不可逆変化は「絶対に元に戻らない」

• 拡散モデルは「元に戻るとは限らないが、たぶんこうだっただろうという予測を高精度で可能にする」

これをまとめると、

• 拡散モデルは、情報を破壊する不可逆な前向きプロセスを使っています。

• それを統計的に近似可能な逆過程として再構築しているのが革新点です。

• ノイズによる「化学変化」は、拡散モデルでは不可逆性を前提にしたうえで、その帰納的な反転を行っています。

7        おわりに

生成AIの出力が法的に意味を持つためには、どのような規範体系の中で「承認」されるかが重要となります [ヴォルフガング・シルト／本田稔(訳), 2022]。
拡散モデルは、入力は「ランダムなベクトル」から始まり、何もないところからデータ、新たなパターンの生成」をおこないます。拡散モデルは、「どんなノイズ状態でも、このくらいの画像が潜んでいたはずだ」という条件付き分布を学習し、失われた情報を統計的に「埋める」ことで生成を実現します。生成AIモデルのメカニズムは、ノイズ・乱数から新たなデータ、パターンを創出します。法の周辺科学の発展や社会、経済状況の変化を「ノイズ」と呼ぶと怒られそうですが、法的推論に際して新たな推論ルールを創出・生成する場合、法律領域からすればゴミに見えなくもない周辺科学の知見の取り込みは不可欠となります。サラ金過払事案での裁判所の判断の変化は、一般庶民の借入れについては、借り手の「借り過ぎ」から、サラ金側の「貸し過ぎ」へと社会の認識が変化したことに伴います。最初は小さな雪玉も、崖を転がるうちに雪崩れになることがあります。「社会の認識」は、過払いの任意性判断の特徴量です。ささやかな「ゴミ」も言えるような社会認識であっても、それが化学変化を伴い大きくなれば、裁判所も無視できなくなります。このような不可逆的な化学変化である特徴量の重み変化となり、出力である裁判所の判断の変更をもたらしたと言えるんじゃないでしょうか。

生成AI、とりわけ拡散モデルの事実・ルール創出プロセスは、法的推論ルールの検討に際して。新たな視座を提供するように思えます。いかがでしょうか。

参照文献

ヴォルフガング・シルト／本田稔(訳). (2022年2月). 純粋法学と刑法学. 参照先: 立命館法学 2022年2号（402号): https://www.ritsumei.ac.jp/acd/cg/law/lex/22-2/012honda.pdf

角田篤泰. (2023年10月27日). AI 法律分野における 利用の技術的課題と展望. 参照先: デジタル法制ワーキンググループ会合#1＠オンライン: https://www.digital.go.jp/assets/contents/node/basic_page/field_ref_resources/76a86fd3-eec1-42c5-bf42-6cc3fe32e9da/046f02da/20231027_meeting_digital-system-reform-wg-legal-practice_outline_05.pdf

新田克己若木利子・. (2017). 数理議論学. 東京電機大学出版会.

太田勝造. (2010年6月2日). 特集　法廷における科学　法適用と事実認定. 参照先: https://web.tohoku.ac.jp/hondou/files/kagaku2010-6-2.pdf

渡辺千原. (2010). 法を支える事実ー科学的根拠付けに向けての一考察ー. 参照先: 立命館法学 2010年5・6号（333・334号）: https://www.ritsumei.ac.jp/acd/cg/law/lex/10-56/watanabe.pdf