“视觉-语言模型（VLM）通过两个步骤学习图像和文本之间的关联：特征提取和对齐。最初，模型分别处理图像和文本，以提取有意义的特征。对于图像，通常使用卷积神经网络（CNN）来识别各种模式、形状和物体，将视觉数据转换为数值格式。对于文本，可以利用递归神经网络（RNN）或变压器将句子转换为捕捉单词语义的数值表示。这为两种模态创造了丰富的特征集，使模型能够理解每种输入类型的上下文和组成部分。
一旦特征被提取，模型将进入对齐阶段。在这里，关键任务是建立视觉特征与文本特征之间的联系。这通常通过交叉模态对比学习等训练技术来实现，模型学习尽量最小化对应图像-文本对之间的距离，同时最大化非配对示例之间的距离。例如，如果一幅图像展示了一只狗，而相应的文本是“在公园里玩耍的狗”，那么模型学习将图像中狗的视觉特征与句子中的特定单词关联起来。随着时间的推移，模型接触到具有多个配对图像和文本的多样化数据集，它在识别和关联每种模态的相关方面上越来越擅长。
除了监督学习，VLM 还可以利用允许关注机制的变压器架构。这使得模型在处理相应文本时能够集中关注图像的特定部分，从而有助于学习过程。例如，当模型看到一张汽车的图像，配上标题“红色跑车”时，它可以在处理“红色”和“跑车”这两个词时，专注于图像中描绘汽车的特定区域。这种机制增强了模型在图像和文本之间建立有意义联系的能力，使其在图像标注、视觉问答以及其他需要理解视觉内容与语言之间关系的应用任务中更加高效。”