admin 管理员组

文章数量: 1184232

Circle Loss: A Unified Perspective of Pair Similarity Optimization

旷世cvpr2020的一篇文章，站在更高的视角，统一了deep feature learning的两大基础loss：基于class-level label的loss（如softmax + cross entropy）和基于pair-wise label的loss（如triplet loss），指出了这二者没有本质差异，都是在最小化类间相似度（记为Sn），最大化类内相似度（记为Sp）。

文章认为这两大基础loss，都可以归纳为一种unified loss的特殊形式：

这种loss形式试图最小化（Sn-Sp），这看似很合理，但其实存在如下问题：

 1. Lack of flexibility for optimization：我们的目标是使Sn接近0，Sp接近1。注意Sn-Sp传给Sn和Sp的梯度是严格相等的，当Sn已经接近0但Sp并没有很接近1的时候，传给Sn的梯度理应很小才对，可是它却会因为另一方的“不给力”而仍然收到一个很大的梯度。反之亦然。

2. Ambiguous convergence status：直接优化Sn-Sp会导致整个网络收敛到这样一个decision boundary：Sn-Sp=margin，但是这其实也不完全是我们想要的结果，因为它存在一定的歧义。举个例子：第一组数据{Sn=0.2，Sp=0.

本文标签： 简介 论文 loss circle Unified

版权声明：本文标题：【论文简介】Circle Loss: A Unified Perspective of Pair Similarity Optimization 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1766495438a3463760.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。