白菜网送体验金网站大全白菜网送体验金网站大全

这是一篇来自卡耐基梅隆大学和加州伯克利大学 Eric Xing 和 Trevor Darrell 团队谐和出品的论文，探究如安在自监督双子结构中通过图像混杂学习愈加细粒度的特征示意，并入选 AAAI 2022。

著作中枢想想卓越直不雅易懂：但愿去探究在自监督学习常用的双子结构网罗中，通过在输入空间作念图像和会来学习愈加细粒度的特征示意。中枢实质考虑了若何来贪图数据采样和构建对应的亏蚀函数，从而去匹配图像和会之后新的输入空间。

如下图所示，最初形象地解说这一基于图像和会在自监督学习中终了愈加细粒度的距离度量的机制：

左边示例示意一般常用的双子自监督网罗结构的责任旨趣，它的两个分支的距离等于默许的距离度量，比如使用 InfoNCE 去分类输入的图片对是正对 (positive) 如故负对 (negative)。

右边是本文 Un-Mix 提议的探究想路，即通过在一个分支上作念图像和会，使得临了的距离度量变为一个 [0，1] 之间的软化系数的倍数，从而使两个分支之间的距离变得愈加轻细和敏锐（该责任是首个在自监督双子模子中引入了软距离意见的著作），进而让模子学习到愈加细粒度的输入信息的隐空间抒发。

终了计谋白菜网送体验金网站大全

具体若何来便捷简便地终了这一机制呢？本文作家提议了如下一种计谋：通过在一个 mini-batch 里面通过某种法规作念样本和会，从而得到固定的距离度量，如下图所示：

具体地，作家将一个批量（mini-batch）中的样本作念一个倒序，然后跟原本的样本们作念加权和会，关于白菜网送体验金网站大全两张原图的距离鉴别酿成为λ和1-λ ，因此一个批量样本伙同之间相互的语义距离矩阵变为如下表情：

应用这一新的距离度量，咱们不错使用新的亏蚀函数来磨练模子，如下所示：

底下是 Un-Mix 算法终了的伪代码：

执行恶果

作家在多个数据集上进行了多数的执行。

最初口舌 ImageNet 数据集上的磨练和测试弧线：

不错发现一个相比趣味的气候：在加入了 Un-Mix 之后，磨练的亏蚀值（training loss）变得卓越不踏实，波动很大，这是因为在输入空间进行图像和会操作之后导致两个分支的距离度量变得愈加轻细各种和敏锐。可是这对模子泛化智商是有匡助的，在作念模子测试的时辰照旧不错得回更好的测试性能。

具体的数值恶果对比如下，不错看到在不同数据集和对照花样上恶果齐有卓越明显的擢升。

接下来是在 ImageNet 上的恶果，著作提议的花样在 200 和 800 epoch 两种不同的的磨练参数诞生下齐有相比踏实的擢升：

临了是鄙人游任务主见检测上的挪动恶果，该花样照旧有踏实的擢升：

此外，作家还考虑了若何经管含有 memory bank 的框架以及若何进行多法式（multi-scale）磨练（如上图 11 所示），有趣味的同学不错去阅读原论文。

• 白菜
• 新的
• 之后
• 儿去
• 输入