Python实现朴素贝叶斯分类器

朴素贝叶斯分类器

一、贝叶斯分类器是什么？

贝叶斯分类器是以贝叶斯决策论为基础的一类分类器。和频率决策论不同，贝叶斯决策论使用后验概率来计算将某个数据data分类为某一类c的风险概率。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

贝叶斯判定准则

假设对于数据集D，有N种可能的类别标记，即 Y = { c 1 , c 2 . . . c n , } Y=\{c_{1},c_{2}...c_{n},\} Y={ c1​,c2​...cn​,},${\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$的损失，基于后验概率$$P(c_i|x)$$可获得将样本x分类为$c_i$所产生的期望损失，即在样本x上的“条件概率”。$$R(c_i|x)=\sum _{j=i}^N{\lambda }_{ij}P(c_j|x)$$
我们的任务就是寻找一个判定标准$h:X\to Y$以最小化总体风险。
$$R(h)=E_x[R(h(x)|x)]$$
对于每个样本x，若h能以最小化条件风险R(h(x)|x),则总体风险R（h）也将被最小化。这就产生了贝叶斯判定准则（Bayes decision rule）:为最小化总体风险，只需在每个样本上选择那个能使条件风险R（c|x）最小的类别标记，即$$h^{\ast }(x)=argmi{n}_{c\in Y}R(c|x)$$此时，$h^{\ast }$称为贝叶斯最优分类器，与之对应的总体风险R(h*)称为在贝叶斯风险。
具体来说，若目标是最小化分类风险，那么 $${\lambda }_{ij}=\{\begin{array}{ll}0& ifi=j\\ 1& otherwise\end{array}$$
此时条件风险$$R(c|x)=1-P(c|x)$$于是，最小化分类错误率的贝叶斯最优分类器为$$h^{\ast }(x)=argma{x}_{c\in Y}P(c|x)(1.1)$$