“自我监督学习通过使模型能够利用未标记数据进行学习，从而增强数据效率，未标记数据通常比标记数据更为丰富。在传统的监督学习中，模型需要大量的标记样本以实现良好的泛化，这往往需要耗费昂贵的成本和时间。自我监督学习通过利用未标记数据本身的内在结构来解决这个挑战。通过创建辅助任务——让模型根据输入的其他部分预测部分输入——模型可以在不需要人工标注的情况下学习有用的表示。
例如，考虑在图像上训练模型。在自我监督的设置下，模型可能会被教导预测图像的旋转角度。模型以不同方式旋转图像，然后其任务是识别图像被旋转的角度。通过这个过程，模型学习到了有关图像中对象的重要特征。这些知识随后可以转移到其他任务中，例如在标记数据较少的图像分类中。通过在这些辅助任务上进行训练，模型能够更好地理解数据，从而在面临下游任务时更加数据高效。
此外，自我监督学习还可以帮助多个领域，如自然语言处理和语音识别。例如，在语言处理中，模型可以通过预测句子中缺失的词来学习词的表示。通过这样做，它能够从大量未标记文本中捕捉上下文和语义。因此，在处理特定任务时，如情感分析或翻译，模型可以以更少的标记示例获得更好的表现。总体而言，自我监督学习提供了一种框架，使模型能够最大化可用数据的价值，减少对昂贵标注的依赖，同时在各类任务中提高性能。”