Focal loss简易版理解与实现

最新推荐文章于 2023-07-15 11:04:31 发布

原创最新推荐文章于 2023-07-15 11:04:31 发布 · 907 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#深度学习 #算法

DeepLearning 专栏收录该内容

69 篇文章

订阅专栏

本文探讨了Focal Loss在密集对象检测中的应用，它通过调整交叉熵，降低易分类样本的权重，有效应对类别不平衡问题，尤其在两阶段检测器和一阶段检测器面临的背景噪声中。Focal Loss通过α系数和γ参数优化，使得训练集中在难以区分的类别上，提升模型性能。

paper: Focal Loss for Dense Object Detection
主要是解决class imbalance
two stage的detector，会有候选的region，而one stage的detector会存在大量的容易分类的背景，这些很容易分类的背景会造成一定程度的训练浪费。

focal loss解决class imbalance，同时降低容易分类的weight，使训练更集中到难分类的上面

把cross entropy的概率化简成pt
在这里插入图片描述

解决class imbalance

In practice alpha may be set by inverse class frequency
or treated as a hyperparameter to set by cross validation.

在这里插入图片描述
降低容易分类的weight，可以看出pt越大，比如0.9，说明很容易区分了，gamma=2时，它的weight就会缩小100倍

将两者结合，既解决class imbalance，又降低容易区分的weight

实现中每个class定义一个alpha

logpt = F.log_softmax(inputs,dim=1)
logpt = logpt.gather(1, target)
logpt = logpt.view(-1)

pt = logpt.exp()
at = alpha.gather(0, target.view(-1))
logpt = logpt * at

loss = -1 * (1-pt) ** gamma * logpt
#return loss.sum() or loss.mean()