アセットマネージャーのためのファイナンス機械学習：特徴量の重要度分析　アンサンブルMDA

MDIはインサンプルで計算され、アウトオブサンプルで同じく有意であると推定される保証はない。これを補うのがMDA法で、モデルを交差検証法でフィットさせスコアを出す。次に、特徴量を一つ選び、シャッフルして再び交差検証を行いスコアを比較する。
　特徴量が重要であり、他の特徴量とは独立な場合、シャッフルによってスコアは減少するはずである。
　重要度は全ての交差検証から得られた値の平均値である。
　ただし、特徴量が互いに相関している場合、シャッフルされた特徴量のスコア減少を、相関している特徴量が補うことができる。よって、相関のある特徴量は双方とも、重要でないと判断されることもある。
　この比較するスコアに、確率を考慮されない正解率を選ぶのは良い選択とはいえない。正解率は正しい予測の割合で分類器を評価する。ゆえに、低い確信度で良い予測をし、高い確信度で悪い予測をしても、正解率スコアが高くなることもある。
　ゆえに、正解率に変わる選択として、対数損失がよく使われる。しかし対数損失はクロスエントロピーの損失であり、実際の解釈と比較が単純ではない。
　真のラベルの負の平均尤度（negative average liklihood）で、この欠点を補える。予測$${n}$$がラベル$${k}$$となる確率を$${P_{n,k}}$$、$${n}$$が実際にラベル$${k}$$となった時に１、そうでない場合に０を返すインディケータ関数を$${y_{n,k}\in \{0,1\}}$$として、
$${NegAVL= -N^{-1}\sum^{N-1}_{n=0}\sum^{K-1}_{k=1}y_{n,k}P_{n,k} }$$
と、定義する。$${0 < NegAVL < 1}$$である。
または、$${P_n=max\{P_{n,k}\}}$$、予測nの結果が正しかった場合のみ１、以外は0を返すインディケータ関数を$${y_n}$$に、確率を重みにして足し上げる確率荷重正解率PWAを導入する。
$${PWA=\displaystyle{ \frac{\sum^{N-1}_{n=0}y_n(p_n-K^{-1})}{\sum^{N-1}_{n=0}(p_n-K^{-1})} }}$$
このPWAは、高い確信度で行われた悪い予測には、正解率よりも高いペナルティを課すが、log-lossよりは厳しくない。