“视觉语言模型（VLMs）通过利用能够同时理解这两种数据类型的深度学习架构，处理和整合视觉和文本输入之间的复杂关系。通常，这些模型使用卷积神经网络（CNN）进行视觉处理，结合自然语言处理技术，如转换器，来分析和生成文本。这种整合通常通过将视觉特征和文本数据嵌入到共享空间的技术来实现，使模型能够在它们之间建立联系。
例如，在处理一张图片及其相应标题时，VLM 首先使用 CNN 从图像中提取特征。这些特征捕捉了诸如物体、颜色和空间关系等基本元素。同时，文本也会被处理，以创建表示相关单词的意义和上下文的嵌入。通过将这两种不同类型的数据映射到一个共同的向量空间，VLM 可以识别单词与视觉组件之间的关系。如果模型看到一张猫坐在垫子上的图片，它可以将“猫”这个词与图像中表示猫的视觉特征相连接。
在获得这些嵌入后，VLM 进行交叉模态检索等任务，其中模型为给定的图像检索相关文本，反之亦然。例如，当提供一张图片时，模型可以通过检查综合表示并选择准确描述视觉内容的单词来生成合适的标题。此外，VLM 还可以回答有关图像的问题，通过解释组合的视觉和文本线索提供具体细节。总体而言，有效处理和关联视觉与文本数据的能力使 VLM 能够执行广泛的任务，这些任务需要同时理解这两种模式。”