视觉语言模型（VLMs）通过不同的方法处理有标签和无标签数据，这些方法根据数据的性质进行调整。有标签的数据由配有描述性文本的图像组成，这有助于模型学习视觉内容与语言之间的关系。例如，一个有标签的实例可能包括一张猫的图片以及标题“在沙发上坐着的猫”。通过在这些数据集上进行训练，模型发展出理解和生成与新图像上下文相关描述的能力。
另一方面，无标签数据缺乏明确的注释，但仍然可以提供有价值的信息。VLMs通常使用自监督学习等技术，从这种类型的数据中创建有用的表示。例如，一个模型可能被训练来根据伴随的文本预测图像的一部分，反之亦然。这种预测任务可以帮助模型从更广泛的图像和文本集中学习到普遍特征，从而提高其在面临新的有标签数据或现实场景时的表现。
此外，结合有标签和无标签数据可以增强训练过程。许多VLMs利用迁移学习，模型首先使用大量的无标签数据学习一般特征，然后在较小的有标签样本集上进行微调。这种方法使开发者能够利用大量的在线图像和描述，简化模型的训练过程，同时在特定任务上仍能达到高表现。总之，VLMs通过监督学习、自监督任务和迁移学习策略的结合，有效利用了有标签和无标签数据。