一个二分类下没有免费午餐定理的题

一个证明题

周志华《机器学习》第一章中，有一个关于“没有免费的午餐”定理的题目，题目是这样的：

假设样本空间$\mathcal{X}$和假设空间$\mathcal{H}$都是离散的，令$P(h|X,{\mathcal{L}}_a)$为算法${\mathcal{L}}_a$基于训练数据$X$产生假设$h$的概率，令$f$代表真实目标函数。考查二分类问题，$f$可以是任何函数X↦{ 0,1}\mathcal{X} \mapsto \{0,1\}X↦{ 0,1}，函数空间为{ 0,1}∣X∣\{0,1\}^{\vert \mathcal{X} \vert}{ 0,1}∣X∣，假设$f$是均匀分布（即不管$h(x)$是什么，都有一半的$f$对$x$的预测与$h(x)$不一致）。现在采用$\ell (h(x),f(x))$作为分类器的性能度量，考虑${\mathcal{L}}_a$的“训练集外误差”：
$$E_{ote}({\mathcal{L}}_a|X,f)=\sum _h\sum _{x\in \mathcal{X}-X}P(x)\ell (h(x),f(x))P(h|X,{\mathcal{L}}_a)$$
试证明“没有免费午餐定理”成立。

分析与解答

题目未给定$\ell (h(x),f(x))$的具体形式，但在二分类问题中，无非就4种情况。记$\ell (1,1)={\ell }_1$，$\ell (0,1)={\ell }_2$，$\ell (1,0)={\ell }_3$，$\ell (0,0)={\ell }_4$，它们都是常数。将${\mathcal{L}}_a$的训练集外误差对所有$f$按均匀分布求和为：

∑fEote(La∣X,f)=∑f∑h∑x∈X−XP(x)ℓ(h(x),f(x))P(h∣X,La)=∑x∈X−XP(x)∑hP(h∣X,La)∑fℓ(h(x),f(x))=∑x∈X−XP(x)∑hP(h∣X,La)(2∣X∣I(h(x)=1)(12ℓ1+12ℓ3))+∑x∈X−XP(x)∑hP(h∣X,La)(2∣X∣I(h(x)=0)(12ℓ2+12ℓ4)) \begin{aligned} &\sum_f E_{ote}(\mathcal{L}_a | X,f) \\ =& \sum_f \sum_h \sum_{x\in \mathcal{X}-X} P(x)\ell({h(x),f(x)}) P(h|X, \mathcal{L}_a) \\ =& \sum_{x\in \mathcal{X}-X} P(x) \sum_h P(h|X, \mathcal{L}_a) \sum_f \ell({h(x),f(x)})\\ =& \sum_{x\in \mathcal{X}-X} P(x) \sum_h P(h|X, \mathcal{L}_a) \left( 2^{\vert\mathcal{X}\vert}\mathbb{I}(h(x)=1) (\dfrac{1}{2} \ell_1+\dfrac{1}{2} \ell_3) \right)\\ +& \sum_{x\in \mathcal{X}-X} P(x) \sum_h P(h|X, \mathcal{L}_a) \left( 2^{\vert\mathcal{X}\vert}\mathbb{I}(h(x)=0) (\dfrac{1}{2} \ell_2+\dfrac{1}{2} \ell_4) \right)\\ \end{aligned}