AIで進化する統計検定：学習するカーネルが差を見抜く
論文：Learning Deep Kernels for Non-Parametric Two-Sample Tests（ICML 2020）
概要：二標本検定（MMDなど）にディープに学習されたカーネルを導入し、検出力（パワー）最大化を目標に最適化する手法を提案。画像や高次元データでも微妙な分布差を確実に見抜くことを理論・実験の両面から示します。
注意（重要）：本記事はChatGPTによる要約です。正確性には留意していますが、誤りや省略が含まれる可能性があります。必ず原論文をご確認ください。
そもそも何をしたいの？
例：古い画像データセットAと、新しく集めた画像データセットB。本当に同じ傾向？ 学習モデルを流用して大丈夫？
こういうとき使うのが二標本検定（Two-Sample Test）。代表例が MMD というカーネルを使う方法です。
どこが困っていた？
従来のカーネル（RBF など）は**どの場所でも同じ“目の細かさ”**でデータを見るので、
ある所は差がクッキリ、別の所は差がボンヤリ…みたいなムラのある違いを見逃しがち。
結果として、検出力（パワー）が足りない場面が出ていました。
この論文のアイデア
カーネル自体をディープネットで学習して、
差が出やすいところは拡大して見る、
差が出にくいところはざっくり見る、
という**“場所ごとに目の細かさを変える”賢いカーネル**を作ります。
どうやって学習するの？
データを学習用と検定用に分ける（過学習を防ぐため）。
学習側では、**「差をどれだけハッキリ見せられるか」**という指標が大きくなるようにカーネルのパラメータ（ネットの重み）を更新。
最後に、固定したカーネルで置換検定（データのラベルをシャッフルして基準を作る実直な方法）を行い、p値を出します。
この流れのおかげで、学習で欲張りすぎても検定は公平になります。
何が新しくて嬉しい？
**深いカーネルの学習に“理論の裏づけ”**がある（ちゃんと良いカーネルに近づく、という話）。
画像・高次元・混合分布などややこしい差にも強く、検出力が高い。
よく使われる分類器ベースの検定（C2ST）も、この手法の特別な場合として理解できる、という位置づけ。
どんなデータで効いた？
画像（MNIST、CIFAR-10 vs CIFAR-10.1 の“微妙な違い”も検出）
物理データ（Higgs）
高次元の混合データ など
幅広いケースで、深いカーネル版MMDが高い検出力と適切な誤判定率を示しました。
使う側のメリット（実務目線）
“違いの出方が場所で変わる”ような難しいデータに強い
検定の目的（差を見抜く力）を直接高める学習になっている
手順はシンプル：学習でカーネル最適化 → 置換検定でp値、という二段構え
まとめ
カーネルを“固定”ではなく“学習”する時代へ。
データのクセに合わせて拡大・縮小しながら見ることで、これまで見落としがちな違いも見抜く二標本検定を実現します。
（論文には実験・理論・実装の詳細がまとまっています。コードの所在も記載あり。）
