Motivation
- constract learning常见方法多使用memory bank，large batch与moco
- 需要组成positive pair & negative pair，计算力消耗巨大
Contribution
- directly bootstrap the representations
- 仅针对positive pair，去掉负样本
- SOTA
Compare with SimCLR
SimCLR通过在representation后添加一层映射层，将原有图片特征打乱，相当于给特征增加噪音，增加识别挑战性，因此能够提高模型提取特征的能力。
这一点从下图的t-SNE视觉化也可以看到，各个类别的图片本了各自占据一个地方，经过映射之后，各个类别都混在一起，难以分辨。
最初设想如下图所示，仅通过transform构成的positive pair来进行训练，通过添加predict来学习positive之间映射，但由于缺少负样本导致效果较差。
因此通过延迟更新来增加噪音，与MOCO中的Momentum update想法相似。同样的想法也出现在DQN网络的Q估计与Q现实网络中。
对比DQN网络，online类似Q估计，target类似Q现实，后二者为预测/优化目标，为了保证模型训练的稳定性，因此延迟更新，避免训练陷入恶性循环或者发散。
Method
整体结构
伪代码
参考资料：
[https://blog.voidful.tech/paper%20reading/2020/06/28/paper-notes-simclr/](https://blog.voidful.tech/paper reading/2020/06/28/paper-notes-simclr/)
