“视觉-语言模型（VLMs）可以通过有效地弥合视觉和文本信息之间的差距，显著增强跨模态迁移学习。这些模型在配对的图像-文本数据集上进行训练，使其能够理解和生成描述，回答有关图像的问题，并执行视觉推理。例如，一个在图像及其对应标题上训练的模型可以学习识别照片中的物体并用自然语言进行描述。当应用于迁移学习时，这些模型能够轻松适应需要理解图像和文本的新任务，例如为新图像生成标题或回答有关视觉内容的查询。
VLMs在跨模态迁移学习中帮助的一个具体方式是利用一种模态中的知识来改善另一种模态的性能。例如，如果一个VLM在一个大型标记的图像和描述数据集上训练，则可以在一个没有标题的小型图像数据集上进行微调。通过利用从图像-文本配对中学习到的模式，模型能够推断出有关图像的有用信息并生成有意义的描述，即使在有限的训练数据下。该方法在医学成像等领域尤其有价值，因为获取标注数据可能具有挑战性，但存在大量未标记的视觉数据。
此外，VLMs可以促进零-shot或少-shot学习任务。当面对新类型的图像或文本时，模型可以利用在训练过程中学到的关系，在未见过的任务上表现出色，而无需进行广泛的重新训练。例如，如果一个VLM已经在动物图像及其描述上进行训练，它可以通过理解新引入的动物类别的视觉特征，并将其与相关的文本描述联系起来，推断出该动物类别的特征。这种能力使VLMs高度适应，允许开发人员创建能够处理多样化数据集和任务的应用，而无需额外的重大工作。”