“自监督学习是一种利用未标记数据训练机器学习模型的方法，使模型能够在无需手动标记的情况下学习有用的表征。这种方法通常涉及从数据本身创建学习任务。流行的自监督学习方法包括对比学习、掩码语言模型和图像着色等。
对比学习侧重于通过对比相似和不相似的实例来学习表征。例如，在图像处理领域，模型可能会使用同一图像的两个增强版本，并学习将它们识别为相似，同时将它们与无关的图像区分开。像SimCLR和MoCo这样的知名框架有效地应用了这一原理，在各种图像分类任务中取得了令人印象深刻的结果，而无需大量标记数据集。
另一种广泛使用的方法是掩码语言模型（MLM），尤其在自然语言处理领域具有重要意义。在这种方法中，句子中的随机单词被掩盖，模型学习根据周围单词提供的上下文来预测这些被掩盖的词元。BERT（双向编码器表示从变换器）是该技术应用的一个突出例子，并在提高各种自然语言处理任务的性能方面发挥了重要作用，例如情感分析和问题回答。总体而言，自监督学习方法是开发者希望充分利用数据而不需要大量标记工作的宝贵工具。”