对比预测编码（CPC）是一种自监督学习（SSL）技术，用于通过根据过去的上下文预测未来的数据点来训练模型。本质上，CPC通过将原始数据与其增强或扰动版本进行比较，识别出有利的表征。这种方法鼓励模型区分不同的数据实例，从而有效地从输入中学习有意义的特征，而不需要标记数据。
在实际应用中，CPC通过获取一段数据，例如一段音频或图像，并利用其上下文来预测随后的片段。例如，在音频处理中，给定一段短暂的声波序列，模型会尝试预测接下来会出现什么。通过对比真实的延续和与之不匹配的数据样本，CPC学习捕捉音频的基本结构。这产生的表征强调了输入的相关特征，使其在分类或生成等各种任务中非常有用。
此外，CPC可以与其他机器学习框架结合使用，以增强性能。例如，将CPC作为预训练步骤，开发者可以获得高质量的特征表征，这些表征可以针对特定的监督任务进行微调。这种方法在计算机视觉等领域已取得成功，在这些领域中，使用CPC在大型图像数据集上进行预训练的模型在较小的标记数据集上显示出更好的性能。通过让模型学习数据中的固有关系，CPC为SSL场景中的更有效和更高效的学习提供了基础。