最近邻基方法已经被证明是最成功的自监督学习（SSL）方法之一，因为它们具有很高的泛化能力。然而，当使用多个近邻时，它们的计算效率会降低。在本文中，我们提出了一种新的对比性SSL方法，称为All4One，通过自注意机制创建的“质心”来减少邻居表示之间的距离。我们使用质心对比目标，以及单个邻居对比和特征对比目标。质心有助于从多个邻居中学习上下文信息，而邻居对比则使得可以直接从邻居中学习表示，而特征对比则允许学习独特特征的表示。这种组合使得All4One在流行的基准数据集的线性分类评估中比流行的实例区分方法更胜一筹，获得了最先进的结果。最后，我们展示了All4One对于嵌入维度和数据增强的稳健性，在低维度和弱数据增强设置下， All4One的表现优于NNCLR和Barlow Twins超过5％。源代码即将提供。
论文链接：http://arxiv.org/pdf/2303.09417v1
更多计算机论文：http://cspaper.cn/