“自监督学习中的无监督前提任务是指一种旨在帮助模型从数据中学习有用特征的任务，而不需要标签样本。在这些任务中，模型被训练去解决一个不需要外部监督的问题，从而使其能够从数据本身固有的结构和模式中学习。其关键理念是创造一个情境，在这个情境中，模型必须预测数据的某些属性，从而使其能够更深入地理解潜在的表征。
例如，一个常见的前提任务是图像修复，其中图像的部分区域被遮盖，模型被训练去根据周围的上下文预测缺失的部分。这促使模型学习关于形状、颜色和图像内空间关系的知识。另一个例子是对比学习，模型被提供一对对相似和不相似的样本，必须学习辨别哪些对是相似的。这帮助模型区分各种数据点，有效地内化将它们区分开来的特征。
这些无监督前提任务已被证明是有益的，因为它们允许模型从大量未标注的数据中学习。一旦模型在这些任务上进行过训练，所学习到的表征可以转移到具体的下游任务中，例如图像分类或自然语言处理，这些任务有标签数据可用。这个过程通过让模型具备对其将在实际应用中遇到的数据的更丰富理解，从而提高了模型的性能。”