视觉-语言模型（VLMs）旨在处理和理解多模态数据，这包括来自图像或视频的视觉信息以及诸如描述或标题等文本数据。为了实现这一目标，VLMs通常使用双编码系统。模型的一部分专注于处理图像，通常使用卷积神经网络（CNNs）或视觉变换器（vision transformers）。另一部分使用递归神经网络（RNNs）或为语言量身定制的变换器处理文本。通过整合两个编码器的输出，VLMs能够创建一个统一的表征，捕捉视觉信息和文本信息之间的关系。
例如，当VLM被要求理解一张狗在公园玩耍的图片时，它首先会分析图像，以识别狗的外观、公园环境和背景中的物体等特征。同时，文本输入如标题或一系列相关短语也会被分析，以理解所描述的上下文、动作和属性。模型随后将这些洞察结合起来，以生成对图像中发生的事情及其与文本的关系的整体理解。这使VLM能够回答有关内容的问题，生成相关标题或执行图像-文本对齐任务。
VLMs依赖于包含图像及其相应文本注释的大型数据集来有效训练。这一训练不仅仅是教会模型独立识别物体或单词，还要理解它们在特定上下文中的互动。例如，像COCO（上下文中的常见物体）这样的数据集包含大量图像及其描述性文本，使得模型能够有效学习各种视觉概念及其定义。因此，一旦训练完毕，VLMs可以提供有用的应用，例如基于内容的图像检索，用户输入文本以查找相关图像，或者辅助技术为视觉障碍用户描述场景。