admin 管理员组

文章数量: 1184232

摘要

在分类问题中，常使用Cross-entropy loss和Focal loss。通过泰勒展开来逼近函数，作者提出了一个简单的框架，称为PolyLoss，将损失函数设计为多项式函数的线性组合。PolyLoss可以让Polynomial bases（多项式基）根据目标任务和数据集进行调整，同时也可以将上述Cross-entropy loss和Focal loss作为PolyLoss的特殊情况。PolyLoss在二维图像分类、实例分割、目标检测和三维目标检测任务上都明显优于Cross-entropy loss和Focal loss。

主要贡献

本文主要是提出了一个新的框架来理解和设计损失函数。
思路为常用的分类损失函数，如Cross-entropy loss和Focal loss，分解为一系列加权多项式基，多项式系数为标类标签的预测概率。每个多项式基由相应的多项式系数进行加权。
Cross-entropy loss和Focal loss是PolyLoss的两种常用情况。
在不同的任务和数据集需要调整多项式系数，只需调整单多项式系数，即可实现比Cross-entropy loss和Focal loss的更好的性能。

公式

Cross-entropy loss和Focal loss的泰勒展开式如下，式中为模型对目标类的预测概率。

在PolyLoss框架中，使用梯度下降法来优化交叉熵损失需要对Pt进行梯度求导，系数1/j1/j1/j可与指数jjj抵消。
可得公式3。

因此Cross-entropy loss的梯度变成了多项式的和。
在PolyLoss框架中，Focal loss通过调制因子γ简单地将移动。这相当于水平移动所有的多项式系数的γ。
Focal loss梯度如下。

对于正的γ，Focal loss的梯度降低了Cross-entropy loss中恒定的梯度项1。
通过将所有多项式项的幂移动γ，第1项就变成(1−Pt)γ(1-P_t)^γ(1−

本文标签： Expansion Polynomial PolyLoss perspective Functions

版权声明：本文标题：PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1766494830a3463699.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。