9、机器学习中的平均依赖估计与平均奖励强化学习

机器学习中的平均依赖估计与平均奖励强化学习

1. 平均依赖估计器（AODE）

1.1 定义与原理

平均依赖估计器（Averaged One-Dependence Estimators，AODE）是一种半朴素贝叶斯学习方法。它通过聚合多个单依赖分类器的预测结果来进行分类，在这些单依赖分类器中，所有属性除了依赖于类别外，还依赖于同一个父属性。

1.2 分类过程

为了适应朴素贝叶斯属性独立性假设的违反情况，允许一个属性依赖于其他非类别属性是一种有效的方法。为了保持效率，可以使用单依赖分类器，如树增强朴素贝叶斯（Tree Augmented Naive Bayes，TAN），其中每个属性最多依赖于类别和另一个属性。

然而，大多数使用单依赖分类器的学习方法需要进行模型选择，这个过程通常会带来大量的计算开销，并且相对于朴素贝叶斯会显著增加方差。

AODE 通过对多个单依赖分类器的预测结果进行平均来避免模型选择。在每个单依赖分类器中，选择一个属性作为所有其他属性的父属性，这个属性被称为超级父属性（SuperParent），这种类型的单依赖分类器被称为超级父单依赖估计器（SuperParent One-Dependence Estimator，SPODE）。只有那些超级父属性 $x_i$ 的值在训练样本中至少出现 $m$ 次的 SPODE 才用于预测测试实例 $x = \langle x_1, \cdots, x_n \rangle$ 的类别标签 $y$。

对于任何属性值 $x_i$，有 $P(y, x) = P(y, x_i)P(x|y, x_i)$。因此，

[P(y, x) = \fr