26、机器学习在安全领域的应用与生产系统考量

机器学习在安全领域的应用与生产系统考量

1. 聚类分析中的精度与召回率

在对聚类进行分析时，通过计算和精度 - 召回率曲线可知，当阈值为 0.75（即森林中 20 棵树里有 15 棵将聚类判定为不良）时，聚类的召回率可达 61%，精度为 95%。但这是在聚类层面的结果，在单个域名层面的精度和召回率又如何呢？若误报的聚类平均规模大于真实的聚类，那么单个域名的精度会低于聚类层面的精度。

计算单个项目层面的精度和召回率的代码如下：

# Compute item-level precision/recall
pos = (test.score * test['count'])
neg = (1 - test.score) * (test['count'])
tp = sum(pos[test.label >= t])
fp = sum(neg[test.label >= t])
tn = sum(neg[test.label < t])
fn = sum(pos[test.label < t])
item_precision = 1.0 * tp / (tp + fp)
item_recall = 1.0 * tp / (tp + fn)

在这个例子中，精度略微下降到 92%，而召回率大幅降至 21%。这是因为数据集中许多不良域名并非聚类的一部分，需要通过其他方式检测。

2. 聚类的进一步探索方向

在实现自己的聚类系统时，可以从以下几个方向扩展：
- 尝试不同的聚类方法。
- 试验不同的分类器和分类器参