自监督学习是一种机器学习类型，它利用数据本身来生成标签，从而减轻对人工标注数据集的需求。自监督学习框架的主要组件通常包括输入数据集、代理任务、模型架构和损失函数。这些组件共同作用，帮助模型从未标记的数据中学习有用的表示。
首先，输入数据集是至关重要的，因为它提供了模型学习的原始数据。这些数据可以是多种形式，例如图像、文本或音频。例如，如果任务与图像分类相关，一大批图像将作为输入。下一个组件，即代理任务，是从输入数据生成的，用于创建伪标签。图像数据中常见的代理任务示例是预测随机旋转的图像的旋转角度。通过这样做，模型学习到的特征有助于它理解图像的结构和内容，而无需显式标签。
最后，模型架构在学习的有效性上至关重要。卷积神经网络（CNN）用于图像任务，而变换器（Transformers）则是文本任务的热门选择。最后，损失函数量化了模型在代理任务上的表现，并驱动学习过程。例如，如果任务涉及对预测标签的分类，可以使用交叉熵损失。随着训练的进行，模型不断调整其参数以最小化该损失，最终导致一个更好地理解底层数据结构的模型，并能够适应各种下游任务。