21、机器学习模型评估：分类与回归

机器学习模型评估：分类与回归

1. 分类评估技术总结

我们已经掌握了多种分类评估技术，这些技术能帮助我们更好地评估分类模型的性能。
- 处理不平衡类别 ：可以应对目标类别数量不平衡的情况。
- 多维度评估 ：能够分别和联合评估模型的实际表现与预测结果，还能深入分析每个类别的预测失败情况。
- 评估整体效益 ：确定分类系统相较于随机猜测的优势。

1.1 相关指标与技术细节

• AUC 与其他统计指标的关系 ：AUC 与一些知名统计指标有直接关联。例如，Gini 指数与 AUC 的关系为 Gini + 1 = 2 × AUC；Mann - Whitney U 统计量与 AUC 的关系为 U / (n1 * n2) = AUC，其中 ni 是第 i 类的元素数量。
• Fβ 指标 ：F1 是一种平衡精度和召回率的方法，而 Fβ 则可以根据我们对实际表现和预测表现的侧重，对精度进行不同程度的加权。
• Boosting 技术 ：一种学习方法，只要有足够的优质数据，它可以将任何比随机猜测略好的学习器提升到任意好的程度。如果一个布尔问题的学习器表现始终比随机猜测差，我们可以通过翻转其预测结果来使其表现变好。
• 多类别分类问题 ：一些分类器方法在处理多目标类别时表现不佳，此时需要采用一对一或一对其余的策略来包装预测结果，支持向量