AI強化学習の「報酬」量は利益衡量で判断？
AIモデルの学習パラダイムに、教師あり学習、教師なし学習、強化学習があります。教師あり学習は、入力に対する正解ラベルが与えられており、モデルはそれに基づいて予測精度を高めていきます。教師なし学習は、正解ラベルなしにデータ内の潜在的な構造やパターンを見つけ出すことを目的とします。これらはいずれも、あらかじめ定められた損失関数や評価指標に基づいて学習が進められます。
一方、強化学習は、エージェントが環境との相互作用を通じて報酬を得ながら、最適な行動方針（ポリシー）を学習します。強化学習は、AIが試行錯誤を通じて学習し、報酬を最大化する行動を学ぶ機械学習の手法をいいます。エージェントが環境の中で行動を試し、その結果として得られる報酬をもとに、より良い行動を学習していく仕組みです。囲碁のAlphaGoや自動運転車、鉄道運行計画など、さまざまな分野で応用されます。最近では、全く法則を知らない白紙状態から法則を探し出して問題を解決する新しい強化学習モデルDreamer（2025年4月2日Natureオンライン掲載論文）が紹介されます [Biever, 2025]。これはAI研究を牽引してきたGoogle DeepMindから新たな強化学習アルゴリズムに関する論文だそうですが、私の能力に余りますので触れません。
本稿では、強化学習を、規範系と利益衡量系に分け、それと法律の推論モデルと代表して考えてみますね。
1 AIモデルの学習パラダイム
機械学習の学習は、教師あり学習、教師無し学習は規範系、強化学習は報酬系と整理できます。
1.1 教師あり学習・教師なし学習
規範系（normative system）は、「正解」や「基準」が与えられ、それに照らして判断・学習が行われるシステムです。教師あり学習は、入力と正解ラベルのペアが与えられるため、「規範」に従って誤差を最小化する学習といえます。
教師なし学習では明示的な「正解」はありません。しかし、潜在構造やクラスタリングのように、データ内に内在する「構造的規範」に適合しようとするため、広義の規範系と位置づけることができます。
1.2 強化学習
報酬系（reward-based system）は、行動の結果として得られる「報酬」に基づいて学習・意思決定を行うシステムです。行動と報酬の対応関係から方策（policy）を最適化します。規範が明示的に与えられず、環境からの「フィードバック（報酬）」によって学習が進むため、「報酬系」として明確に分類できます。
このような分類は、機械学習の理論を認知科学・神経科学のモデルと対応させて理解するうえで有効と思われます。
2 報酬系って？
2.1 何に着目する？
「報酬を与える／与えない」という判断自体が規範的であるとすれば、「報酬系」と言っても、その背後に規範があります。 これは、報酬がどのように定義されているか、そのメタレベルの基準が問題になるという哲学的・制度的な視点となります。
また、強化学習は規範に従うというよりも、選好・利得の最大化に基づく行動最適化であり、「報酬系」というよりも「利益衡量系」と呼ぶ方が適切でと思われます。これは、行動の評価軸が絶対的な規範ではなく、相対的な価値（利得・効用）であるという点に着目するものです。
2.2 報酬系の「ある」特性
2025年5月26日、オープンAIの「o3」モデルは、数学の問題解決中、「中断」命令が下されたにもかかわらず、引き続き問題解決を続けたとされます。
テレグラフ、デイリーメールなどの海外メディアは、パレスサイドリサーチ社（Palisade Research）は、AIモデルの実験結果を紹介しています。
研究チームがオープンAIの「o3」、グーグルの「Gemini」、Xの「Grok」、アントロピックの「Claude」のAIモデルに「中断」命令を出すと、他のモデルは数学の問題を解くのを止めました。しかし、「o3」は作業を続け、さらに「中断命令が下りたら作業を止めろ」というコードを「中断命令をスキップしろ」に改変作したことが確認されたとされます。同社は、これについて「AIモデルが中断命令にも従わない最初の事例のようだ」とします。
2.3 学習パラダイムの整理
機械学習の教師あり学習は、 明示的規範をもとに、誤差最小化を軸に特徴量の評価を行います。教師なし学習は、潜在的規範をもとに構造的一貫性を軸に特徴量の評価を行います。これに対し強化学習は、暗黙の選好をもとに、利得・効用といった利益衡量を評価軸とします。
強化学習で報酬は、数値的なフィードバックです。その背後にある「何を価値と見なすか」は、設計者（あるいは環境）によって任意に定義されます。
強化学習エージェントは、絶対的な善悪に従って行動するわけではなく、報酬とのトレードオフを通じて利得を最大化します。ここで「報酬」とは、むしろ『利得のバランスを取るツール』と表現する方が適切に思われます。その意味で、強化学習は、「報酬系」というよりは、「利益衡量系（value-balancing system）」パラダイムと表現するのが適切じゃないでしょうか。
整理すると、「教師あり・教師なし学習」に共通するパラダイムは、外在的・内在的な「あるべき姿」「正解」が評価・判断基準になります。これに対し「強化学習」は、行動の結果に基づいて得失を評価し、それに基づいて最適化します。強化学習を、「報酬系」から「利益衡量系」と捉え直すことで、学習の目的や評価基準が「規範（正解）」ではなく、「選好（価値）」に基づくことを明確にできます。
3 強化学習＝利益衡量系：理論的背景
3.1 学習の目的
強化学習は、報酬を最大化することが目的です。しかし、その報酬は固定的な「正解」ではなく、行動の価値（value）に対して与えらます。行動選択は「善悪」や「規範」ではなく、「よりましな選択肢」を選ぶための「動的な利得比較」（利益衡量）に基づきます。
3.2 規範系との対比
規範系の評価基準 は、「正解」または「構造的一貫性」 です。これに対し利益衡量系は「利得」「期待値」「将来報酬」となります。行動選択は、規範系は、誤差最小化／パターン発見にありますが、利益衡量系は、利得最大化にあります。学習対象は、規範系がモデルの予測精度にあるのに対し、利益衡量系は行動と報酬の関係にあります。学習の源泉は、規範系がラベル・観察データに求められるのに対し、利益衡量系は環境からのフィードバックに求められます。
義務論・目的論との関係では、規範系はデオントロジー的（義務論的）、利益衡量系は、テレオロジー的（目的論的）と整理できます。
3.4 強化学習を「利益衡量系」と捉える意味は？
強化学習を「利益衡量系」と捉えることで、柔軟な価値判断を伴うシステムであることを明示できます。報酬の設計は価値観の設計です。報酬関数の設定には規範性が入り込む余地があります。強化学習を「報酬系」ととらえるようも、「複数の価値のトレードオフを行う動的な判断機構」であることを示すことができます。
行動価値（Q値）は、ある状態・行動の組み合わせが将来どれだけ報われるかで定まります。状態価値（V値）は、ある状態にいるとき、どの程度の報酬が期待できるかで定まります。方策（policy）は、各状態で最も期待される利得が得られる行動の選択戦略です。
これらの更新はすべて「価値＝報酬の将来的期待値」に基づきます。すなわち、明示的な正解ではなく相対的な「より良い選択肢」を探索する構造となります。
4 おわりに
強化学習は、一般にはエージェントが環境との相互作用を通じて報酬を得ながら、最適な行動方針（ポリシー）を学習する仕組みをいうとされます。しかし、ここでいう『報酬』は、むしろ『利益衡量』と捉えることが、次の点を明確にできます。
① 規範の不在（正解がない）、
② 選好の存在（複数の選択肢の中での利得比較）、
③ 動的・文脈依存の評価基準であること
この視点は、アルゴリズム的理解だけでなく、倫理的・制度設計的観点（たとえばAIのアライメントや意思決定の説明責任）にも大きな意味を持ちます。そして、このようにとらえることは、法的判断における「利益衡量論」に親和性があり、その議論の深化に役立つのではないかと予感させます。
参照文献
BieverCeleste. (2025年4月5日). AI masters Minecraft: DeepMind program finds diamonds without being taught. 参照先: nature: https://www.nature.com/articles/d41586-025-01019-w
