【自動運転】なぜその運転？を可視化する——生成AIが変える方策学習と説明可能性
はじめに──「うまく走る」と「なぜ走れたか」を同時に満たすには？
自動運転のAIにおいて、方策学習（Policy Learning）は「どう動けば良いか」を学ぶ心臓部です。一方で、説明可能性（Explainability, XAI）は「その動きをなぜ選んだのか」を人間に分かる形で示すための鍵。生成AIの台頭により、この二つは急速に接近しています。たとえば、軌跡（走行計画）そのものを拡散モデルやトランスフォーマで生成し、同時に自然言語で理由を語る──そんな未来像が、研究と実装の両面で現実味を帯びています。
本稿では、方策学習×説明可能性の最新交差点を、具体例と設計指針、評価方法まで一気に見通します。
1. 方策学習のキホンをやさしく
1-1. 「方策」とは？
方策（ポリシー）とは、状態（見えている状況）→行動（ハンドルやアクセルの操作）の対応表のこと。強化学習（RL）は「報酬」を最大化するように、この対応表を経験から更新します。代表的な方法には、PPO（Proximal Policy Optimization）やSAC（Soft Actor-Critic）などがあります。PPOは学習を安定させる工夫を入れた“慎重な更新”、SACは“うまさ＋行動の多様性”を両立させるのが特色です。
1-2. オフラインRLと模倣学習
自動運転では、リアル車両で失敗を繰り返すのは危険。そこで、過去ログだけで学ぶオフラインRLや、人間の運転を真似る模倣学習（Behavior Cloning: BC）、失敗しやすい局面のデータを集め直すDAggerなどが使われます。BCは手軽ですが「訓練と本番で状況分布がズレる」弱点があり、DAggerはその弱点を補うために自分の走りで遭遇した状態を専門家に再ラベルさせて学び直します。
1-3. 生成AIが方策学習に入ってきた理由
言語モデルのトランスフォーマを方策にしたDecision Transformerは、「報酬も含めた過去の軌跡を一連のトークン列としてモデリングし、次の行動を生成する」発想で注目を集めました。さらに、拡散モデルで「ノイズから良い軌跡を段階的に生成」する枠組みも登場。長期的な計画やタスク合成、制約のかけやすさなどが利点です。
2. 生成AI×方策学習──軌跡そのものを“つくる”
2-1. Diffuserとリアルタイム化の潮流
Diffuserは、拡散確率モデルで行動の連なり（軌跡）を直接生成し、サンプリングの過程で報酬や制約でガイドできます。最近はDiffuserLiteなど、リアルタイム性を意識した軽量化・粗密二段階生成（粗い計画→細かな計画）も報告されています。
2-2. 世界モデル：GAIA-1のインパクト
WayveのGAIA-1は、動画・テキスト・行動を統合する生成“世界”モデル。現実に近い交通シーンを生成でき、学習・検証用データの拡充や将来の展開予測に活用できます。これにより「まれな危険シナリオ」を合成しやすい環境が近づいています。
2-3. トランスフォーマによる軌跡生成
Decision Transformer以降、オフライン軌跡から“言語のように”計画を生成する研究が活発です。オンライン微調整やプロンプト活用、長期軌跡のつぎはぎ（Stitching）など、拡張手法も増えています。
3. 説明可能性が必須な理由──安全・法規・社会受容
自動車は安全規格や規制の網の目の中にあります。
ISO 26262（機能安全）は故障起因の危険を扱うフレームワーク、
ISO 21448（SOTIF）は“意図した機能の限界”が招く危険も射程に入れます。
EU AI Act（2024年採択）では、走行安全に関わるAIは高リスクに分類され、透明性・文書化・監査が求められます。
実際の運用でも、米NHTSAによるAutopilot/FSDの安全対応・調査は「設計上の監視・抑止の不足が事故につながり得る」ことを示しました。ソフトウェア改修（リコール）の妥当性再評価も進み、説明可能な安全策と人間の監督の重要性が再確認されています。
結論：自動運転の方策は「うまく走る」だけでは不十分。「なぜそれが安全と言えるのか」を文書化・検証可能にすることが必須です。
4. 説明手法の道具箱──画像の“どこを見た”から“概念で語る”まで
4-1. 可視化の基本：Grad-CAMとサリエンシー
Grad-CAMは、CNNが注目した画像領域をヒートマップで見せます。自動運転のハンドル角を出すネットでも、信号や横断者へ本当に注意が向いているかを定性的に確認できます。ただし、注意重み＝説明とは限らない点に注意が必要です。
4-2. 特徴量の貢献度：SHAP
SHAPは、入力特徴が予測にどれだけ寄与したかをゲーム理論的に割り当てる枠組み。センサーフュージョンやルール機能とのハイブリッドでも、どの要素が危険評価を押し上げたかを説明できます。
4-3. 概念で語る：TCAV
TCAVは「“横断歩道の白線”という概念が出力にどれだけ効いたか？」のように、人間が理解しやすい概念の影響度を測れる手法。“黒いつや”など誤った概念に依存していないかの健全性テストにも使えます。
4-4. “説明の信ぴょう性”という落とし穴
説明っぽく見えることと、本当にその理由で決めたことは別物です。とくに注意重みや自由記述の説明文は非忠実（ポストホック）になりがち、という反省的研究が蓄積しています。説明は“人に分かる”だけでなく、“モデル内部に忠実”であることが大切です。
5. 生成AI×説明──「しゃべれる運転AI」はどこまで本当？
5-1. 言語で自己説明する運転AI
WayveのLINGO-1は、映像と言語を統合し、走行中に「いま右折する理由」のような実況的な説明を生成します。さらに、LingoQAのような質問応答ベンチマークで、モデルの説明・理解能力を測る動きも広がっています。
DriveGPT4やLMDriveは、視覚と言語を組み合わせ、行動予測と説明を同時に出すE2E（End-to-End）アプローチを提案。インストラクション（口頭の指示）に従って運転するデモも報告されています。
5-2. とはいえ「言葉の説明＝本心」とは限らない
LLMの自由記述の根拠は、もっともらしいけれど不忠実な場合があることがNLPの実験で示されています。自動運転でも、説明の検証（faithfulness test）が必要です。説明の裏どりとして、視覚的根拠（Grad-CAM/TCAV/SHAP）や形式的制約（後述）と整合しているかを自動チェックしましょう。
6. 「交差点」の設計図──方策学習と説明可能性を“同じ土俵”で
ここからは、実装可能な設計パターンを紹介します。
6-1. 形式的な安全を“前提”にして説明する（CBF＋RL）
Control Barrier Function（CBF）は、「この集合から出ない」という安全条件を数学的に保証する道具です。学習方策の出力をCBF層で修正すれば、方策がどんなに攻めても法則的に危険側へ行き過ぎない。このときの“なぜ安全か”は不等式制約として明示化でき、説明が安全証明と直結します。
実装の流れ（ざっくり）
報酬：効率・快適・交通ルール順守などをまとめる。
制約：CBFで追突回避・車線逸脱防止など最低限の安全集合を定義。
方策：PPO/SACや拡散方策で“自由に”計画。
投影：最終行動はCBFで安全集合へ投影。
説明：「CBF制約C1とC2が有効化→代替軌跡に変更」のように、どの制約が効いたかを言語化。
6-2. 生成×カウンターファクト：「もし〇〇だったら？」で説明を強化
拡散計画や世界モデル（GAIA-1）を用いて、“別の選択肢”の軌跡を条件付きで生成できます。
例：「速度10%速い」「歩行者が一歩前へ出た」条件でカウンターファクト軌跡を生成→衝突確率やCBF違反率を比較→“だから減速した”を定量的に説明。
最近は反実仮想（カウンターファクト）説明の研究も加速中。少ない変更で意思決定が逆転する条件を明らかにし、安全マージンの可視化に役立ちます。
6-3. 不確かさも一緒に説明する（適応度・信頼区間）
共形予測（Conformal Prediction）を使えば、「この軌跡が安全である確率95%」のような有限サンプル保証付きの不確かさ表示が可能。“安全マージンの可視化”は乗員にも監督者にも有益です。
6-4. 方策を解釈可能な形に蒸留（VIPER）
高性能なディープ方策を決定木など検証可能なモデルに蒸留することで、論理ルールに近い説明と形式検証が可能になります。VIPERはその代表例です。
7. データと評価──“走れる”だけでは評価は終わらない
7-1. ベンチマーク・シミュレータ
CARLA：オープンな都市走行シミュレータ。閉ループで本当に曲がれたかを試せる。
nuPlan：プランニングに特化した大規模ベンチマーク。長期の安全・効率を評価。
nuScenes / Waymo Open Dataset：認識・予測の定番データ。派生のVQA/言語ベンチも登場。
7-2. 説明の評価指標
忠実性（faithfulness）：説明が本当に決定に効いたか。対抗基準・介入で検証。
妥当性（plausibility）：人が読んで納得できるか（ただしこれだけでは不十分）。
一貫性：似た状況で説明がブレないか。
安全整合性：CBF違反が0か、共形予測のカバー率は規定値か。
7-3. 評価の落とし穴
オープンループ（ログ再生評価）で高得点でも、実車の閉ループで破綻することがあります。CARLA/nuPlanのような閉ループ評価を必ず入れ、説明の忠実性検定（説明を消す・入れ替える介入で性能差を見る）をセットで行いましょう。
8. 最小構成レシピ──「動く・安全・説明できる」を同時に
データ：実走ログ＋CARLA合成。レア事例はGAIA-1などで補完。
方策：オフラインでDecision Transformerまたは拡散方策を学習。オンラインはPPO/SACで微調整（必要なら）。
安全層：CBFで衝突・逸脱の制約を定義し、行動を安全集合へ投影。
説明：
視覚根拠：Grad-CAM/TCAV/SHAPで見た場所・概念・特徴寄与を提示。
言語：LMで自然言語説明を生成。ただし忠実性チェックを必須化。
形式：「CBF制約Xが発動→代替軌跡に切替」を機械可読ログに残す。
不確かさ：共形予測でカバー率つき安全マージンを表示。
蒸留：VIPER等で決定木方策を併設し、法務・監査向けにコンパクトな説明を準備。
評価：閉ループで走行KPI＋説明KPI（忠実性・安全整合）をダブルで計測。EU AI Act/ISO文書化に沿って記録。
9. よくある質問
Q. LLMで説明させれば十分？
A. 不十分。見かけ上もっともらしくても不忠実の場合がある。視覚根拠・形式制約・実験的介入で裏どりすること。Q. まず何から？
A. 既存ログでDecision Transformerか拡散方策を作り、CBF安全層を前提化。次にGrad-CAM/TCAV/SHAP＋共形予測で説明と不確かさを整備。最後にVIPER蒸留で監査対応を固める。
10. 未来予想図──「説明が設計になる」時代
かつては「まず性能、あとから説明」でしたが、これからは「説明（制約・根拠）を最初に設計」し、その説明に沿う形で方策を生成するのが主流になるはずです。
生成計画（拡散/トランスフォーマ）は制約条件やテキスト指令を自然に受け入れられます。
CBF・共形予測のような形式的・統計的保証は、説明テキストの“裏書き”そのもの。
世界モデルはカウンターファクトを多数生成し、「なぜ、それ以外ではダメか」を示す資料になります。
まとめ──あなたは「どんな説明をするクルマ」に乗りたい？
生成AIは、方策学習に柔軟な計画生成を、説明可能性に人間らしい言語と反事実の比較をもたらしました。
そしてCBFや共形予測のような保証ツールと組み合わせることで、説明＝安全証明の一部という、より強い世界が見えてきます。
あなたなら、どんな説明（例：根拠画像、制約ログ、信頼区間、自然言語の実況）があれば安心して乗れると思いますか？
「性能」と「説明」のどちらを優先し、どこで折り合いをつけたいですか？
参考文献
Chen et al., Decision Transformer (2021), https://arxiv.org/abs/2106.01345
Janner et al., Diffuser (2022), https://arxiv.org/abs/2205.09991
https://diffusion-planning.github.io/diffuser_icml2022.pdfWayve, GAIA-1（Tech Report/Blog） (2023), https://arxiv.org/abs/2309.17080
https://wayve.ai/thinking/introducing-gaia1/Schulman et al., PPO (2017), https://arxiv.org/abs/1707.06347
Haarnoja et al., SAC (2018), https://arxiv.org/abs/1801.01290
Bojarski et al., End to End Learning for Self-Driving Cars (2016, NVIDIA), https://images.nvidia.com/content/tegra/automotive/images/2016/solutions/pdf/end-to-end-dl-using-px.pdf
Ross et al., DAgger (2011), https://arxiv.org/pdf/1011.0686
Selvaraju et al., Grad-CAM (2016/2017), https://arxiv.org/abs/1610.02391
https://openaccess.thecvf.com/content_ICCV_2017/papers/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.pdfLundberg & Lee, SHAP (2017), https://arxiv.org/abs/1705.07874 （NeurIPS版PDF: https://proceedings.neurips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf）
Kim et al., TCAV (2018), https://arxiv.org/abs/1711.11279 （ICML版PDF: https://proceedings.mlr.press/v80/kim18d/kim18d.pdf）
Wayve, LINGO-1（Blog） & LingoQA（Dataset） (2023/2024), https://wayve.ai/thinking/lingo-natural-language-autonomous-driving/ , https://wayve.ai/wp-content/uploads/2024/04/2312.14115.pdf
Xu et al., DriveGPT4 (2023/2024), https://arxiv.org/abs/2310.01412 （PDF: https://tonyxuqaq.github.io/assets/pdf/DriveGPT4.pdf）
Shao et al., LMDrive (2023/2024), https://arxiv.org/abs/2312.07488 （GitHub: https://github.com/opendilab/LMDrive）
CARLA (2017), https://arxiv.org/abs/1711.03938 , https://carla.org/
nuPlan (2024/2021), https://arxiv.org/abs/2403.04133 , https://www.nuplan.org/nuplan
nuScenes (2019), https://arxiv.org/abs/1903.11027
Waymo Open Dataset (2019), https://arxiv.org/abs/1912.04838
ISO 26262（機能安全）, https://www.iso.org/standard/68383.html
ISO 21448/SOTIF (2022), https://www.iso.org/standard/77490.html
EU AI Act（官報PDF）, https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ%3AL_202401689
NHTSA Autopilot調査ドキュメント (2024),
https://static.nhtsa.gov/odi/inv/2022/INCR-EA22002-14496.pdfReuters: Teslaリコール対応の適否を追加調査 (2024), https://www.reuters.com/business/autos-transportation/us-probes-tesla-recall-2-million-vehicles-over-autopilot-citing-concerns-2024-04-26/
Ames et al., Control Barrier Functions: Theory and Applications (2019), https://coogan.ece.gatech.edu/papers/pdf/amesecc19.pdf
Emam et al., Safe RL using Robust CBFs (2021), https://arxiv.org/abs/2110.05415
Bastani et al., VIPER（方策の決定木蒸留） (2018), https://arxiv.org/abs/1805.08328 （PDF: https://people.csail.mit.edu/asolar/papers/BastaniPS18.pdf）
Conformal Prediction in AD（例：Doula et al., 2025）, https://raw.githubusercontent.com/mlresearch/v270/main/assets/doula25a/doula25a.pdf
ここから先は
自動運転ニュース&解説マガジン
自動運転の「いま」を、最新ニュースと多角的な視点から深掘りする記事をお届け。週3回程度更新。主な読者は、自動運転・ADASのエンジニア、研…
自動運転解説マガジン(バックナンバー2025年8月)
自動運転ニュース&解説マガジンのバックナンバー2025年8月版
この記事が気に入ったらチップで応援してみませんか？
