对比学习是一种自监督学习技术，通过从数据本身的结构中学习来提升机器学习模型的性能，而无需标注的示例。其核心思想是教会模型区分相似和不相似的数据点。通常是通过创建数据实例对，然后训练模型使相似实例在学习的嵌入空间中更靠近，同时使不相似实例远离。例如，在图像处理中，可以获取同一对象的两个不同视图，将其视为“正对”，并与不同对象的图像进行对比，这些图像被视为“负对”。
为了实现对比学习，一种常见的方法是使用一种称为“数据增强”的技术。这涉及到获取原始图像并应用各种变换，如裁剪、颜色变化或添加噪声，以创建该图像的增强版本。这些增强版本作为正对，而不同类别的图像则作为负对。模型使用损失函数进行训练，通常是对比损失或三元组损失，确保正对之间的距离最小化，而负对之间的距离最大化。通过这种方式，模型学习到使图像不同的潜在特征。
一个利用对比学习的显著框架是SimCLR。在SimCLR中，一个神经网络处理增强图像的对，并使用对比损失函数比较它们的表示。在训练过程中，模型学习使相似图像的表示紧密相连，而确保不同图像在特征空间中的表示距离较远。这种方法在各种任务上显示出令人印象深刻的结果，表明在足够的数据和适当的增强下，模型能够在不需要显式标签的情况下学习到强大的表示。这表明对比学习作为自监督任务方法的有效性。