评价指标总结

本篇博文主要总结下机器学习，深度学习，自然语言处理里面的一些的评价指标及其背后的原理。

机器学习

分类问题

记 $Positive$ 为正， $Negative$ 为负

精确率 (Precision)

$$\frac{TP}{TP+FP}$$
可以这样理解准确率：分母是我们这边所有预测为真的数量，包括正确预测为真的和错误预测为真的。

召回率 （recall）

$$\frac{TP}{TP+FN}$$
分母为$true\_data$ 那边所有为真的样本数量，包括我们预测为真的和我们错误的预测为负的。

故：精确率和召回率的区别在于分母，是我们所有预测为真的数量，还是真实为真的样本数量。

PRC

就是精确率，召回率图像

在机器学习中，通常我们可以设置阈值（threshhold，分类模型判别正负样本的阈值）来提高精确率或召回率。通过PRC能更好的调节阈值。

准确率（accuarcy）

$$\frac{TP+TN}{ALL}$$
注：在样本类别不平衡时，一般不用准确率作为评价标准。

混淆矩阵

F1值

当精确率和召回率都很高时，F1值就会变的很高，但是在通常情况下，两者不会同时变得很高，当精确率变高了，则召回率就会降低，反之亦然，这就涉及到一个$precision/recalltradeoff$。

ROC-AUC

首先了解两个概念

• TPR：True Positive Rate(真正率)
  $$\frac{TP}{TP+FN}$$

• FPR: False Postive Rate(假正率)
  $$\frac{FP}{FP+TF}$$
  我们通过调节和尝试分类模型不同的 $threshold\_value$, 可以得到不同的$TPR,FPR$。
  

其$ROC$ 曲线下方的面积构成的 $AUC$。通常越好的模型，其$AUC$ 越大。

from sklearn import metrics
def aucfun(act,pred):
  fpr, tpr, thresholds = metrics.roc_curve(act, pred, pos_label=1)
  return metrics.auc(fpr, tpr)

ROC曲线缺点：

• $ROC$ 曲线的优点是不会随着类别分布的改变而改变，但这在某种程度上也是其缺点。因为负例$N$ 增加了很多，而曲线却没变，这等于产生了大量$FP$ 。像信息检索中如果主要关心正例的预测准确性的话，这就不可接受了。
• 在类别不平衡的背景下，负例的数目众多致使$FPR$ 的增长不明显，导致$ROC$ 曲线呈现一个过分乐观的效果估计。$ROC$ 曲线的横轴采用$FPR$ ，根据$FPR=\frac{FP}{FP+TN}$,当负例$N$ 的数量远超正例$P$ 时，$FP$ 的大幅增长只能换来$FPR$ 的微小改变。结果是虽然大量负例被错判成正例，在$ROC$ 曲线上却无法直观地看出来。当然也可以只分析$ROC$ 曲线左边一小段, 而在$PR$ 曲线上将会是一个大幅下降。

ROC与PR曲线比较：

1. $ROC$ 曲线由于兼顾正例与负例，所以适用于评估分类器的整体性能，相比而言**$PR$ 曲线完全聚焦于正例。**
2. 如果有多份数据且存在不同的类别分布，比如信用卡欺诈问题中每个月正例和负例的比例可能都不相同，这时候如果只想单纯地比较分类器的性能且剔除类别分布改变的影响，则$ROC$ 曲线比较适合，因为类别分布改变可能使得$PR$ 曲线发生变化时好时坏，这种时候难以进行模型比较；反之，如果想测试不同类别分布下对分类器的性能的影响，则PR曲线比较适合。
3. 如果想要评估在相同的类别分布下正例的预测情况，则宜选PR曲线。
4. 类别不平衡问题中，$ROC$ 曲线通常会给出一个乐观的效果估计，所以大部分时候还是$PR$ 曲线更好。

回归

RMSE(平方根误差)

MSE就是除去上面的更号。

MAE（平均绝对误差）

由上面的公式可知：

• RMSE类似于欧式距离和 $l_2$ 范数。
• MAE类似于曼哈顿距离和 $l_1$ 范数。
• 由此，我们可推得
  
  显然，k越大，其越侧重于$max(v_0,v_1,...,)$，越忽略较小值，故相对于MAE，RMSE 对离群点更加敏感。对于有许多离群点的样本，一般采用MAE 的评价标准。

以上部分内容参考自$handsonmachinelearningsklearnandtensorflow$。

自然语言处理

BLEU指标

在机器翻译领域，神经网络翻译出的句子，我们需要对他进行一个定量的评价，也就是给其打分，以判断模型生成的句子好坏，下面举个例子来说明。

$NMToutput：thethethethethethethe$

人类翻译的结果：

• $reference1：Thecatisonthemat$
• $reference2：Thereisacatonthemat$

如果以$unigram$ 来计算$NMToutput$ 的精确度$p_1$，则$NMToutput$ 中的7个词全出现在$reference$ 中，那$p_1=7/7=1$。很完美？等等，貌似哪里不对。

很明显，这个$NMToutput$ 很不好，我们如果按照上面简单的计算精确度，就会导致生成的句子中会出现大量重复的$token$ 。由此产生了改良的版本，我们计算$NMToutput$ 中每个不同的$token$ 在$reference$ 中出现的次数，例如$the$ 在$reference1$ 中出现2次，在$reference2$ 中出现1次，那么我们认为$the$ 这个$token$ 在$reference$ 中出现次数为2（选取最高的那个），称作为截断次数。那么$NMToutput$ 中$p_1=2/7$。

假设这次的 $NMToutput$ 为$Thecatthecatonthemat$，我们来计算下$bigram$ 的次数和截断次数。

上面表格中的$count$ 表示该$bigramtoken$ 在$NMToutput$ 中出现的次数，$clipcount$ 表示该$bigramtoken$ 在$reference$ 中的截断次数。

故其$p_1=clip\_count/count$

公式化的结果：
$$p_n=\frac{{\sum }_{ngram\in \hat{y}}coun{t}_{clip}(ngram)}{{\sum }_{ngram\in \hat{y}}count(ngram)}$$

其中$\hat{y}$ 即为上面的$NMToutput$。
但是上面的评价还是有一个缺点，当我们的$NMToutput$ 很简短时，$p_n$ 可能变得很大，显然这是不合理的，于是我们加上一个$BP$：
$$BP=\{\begin{array}{cc}1& ifNMT\_output\_len>referen\_len\\ exp(1-NMT\_output\_len/reference\_len)& otherwise\end{array}$$

综上所述：
$$Bleu=BP\ast exp\left(\sum _{n=1}^N\ast (1/n)\ast log(p_n)\right)$$

这样我们就能计算$Bleu1、Bleu2、Bleu3....$

Rouge指标

Rouge-N

分母表示所有 $reference$ 中所有出现的$ngram$ 个数。分子表示所有 $reference$ 与$NMTouput$ 共现 $ngram$ 个数。嗯这是基于召回率的方式计算。就这么简单。

Rouge-L

$X$ 是参考译文，$Y$ 是待评测译文，$m,n$ 表示$X,Y$ 序列长度。$LCS(X,Y)$ 表示最长公共子序列长度。