自监督学习（SSL）是无监督学习的一个子集，它利用大量可用的未标记数据来教机器在没有明确监督的情况下提取有意义的特征。这种方法涉及设计任务，使得模型能够从输入数据中生成自己的标签。通过这样做，模型学会捕捉数据的潜在结构，这对于分类、分割或检测等各种下游任务是非常有用的。
自监督学习在无监督特征学习中的一个常见应用方式是对比学习。在对比学习中，模型学习区分相似和不相似的数据点。例如，给定一个物体的照片，模型可能会收到该照片的多个增强版本（如不同的颜色饱和度或旋转），并被训练识别这些版本为相似，同时将不同的物体视为不相似。这个过程帮助模型构建一个丰富的特征空间，强调数据的重要特性，从而更容易捕捉输入的本质，而不需要标签。
自监督学习中的另一种技术是掩码预测，这在像掩码语言模型（MLMs）这样的模型中有所体现。在图像数据的上下文中，类似的原理也适用，其中输入的部分（如图像的区域）被掩盖，模型必须预测缺失的部分。这促使模型理解图像不同部分之间的上下文和关系，从而实现有效的特征表示。总之，自监督学习通过使用创新的训练策略，从大量未标记数据中提取有用特征，作为一种强大的无监督特征学习方法。