自监督学习是一种机器学习方法，该方法使模型能够从未标记的数据中学习，而不依赖于外部注解。它不依赖于手动标记的数据集，而是根据数据本身的结构或模式生成自己的标签。这一方法特别有价值，因为标记大型数据集可能是耗时且昂贵的。通过使用自监督方法，开发人员可以利用大量可用的未标记数据来有效地训练模型。
自监督学习中的一种常见做法是创建任务，使模型能够学习有用的表示。例如，在图像处理领域，一个模型可以被训练去预测给定其他部分的图像的局部部分。这可以涉及到遮住图像的一部分，并要求模型预测缺失的内容。另一个例子是对比学习，模型在其中学习区分相似和不同的示例，帮助它理解定义类别的基本特征，而不需要明确标记这些特征。
自监督学习的优势扩展到多个领域，包括自然语言处理、计算机视觉和语音识别。例如，在自然语言任务中，像BERT这样的模型使用自监督目标通过预测句子中缺失的单词来理解上下文。在计算机视觉中，像SimCLR这样的技术利用增强的图像对来训练模型识别物体的身份。通过采用自监督学习，开发人员可以构建更具普遍性的模型，使其在未专门训练过的任务上表现良好，同时显著减少对标记数据的依赖。