“在视觉-语言模型（VLMs）中，视觉主干通常由卷积神经网络（CNNs）或视觉变换器（ViTs）组成，作为处理视觉信息的主要组件。这些模型从图像中提取特征，将原始像素数据转化为更易于理解的结构化格式。例如，CNN可能识别图像中的边缘、纹理和物体，而ViT则将图像分解为多个块，并利用自注意力机制把握视觉输入不同部分之间的关系。提取的特征随后被转换为可以与语言数据一起使用的表示。
一旦视觉主干处理了图像，它就通过创建视觉和文本元素的联合表示与语言模型进行交互。例如，当VLM接收到关于图像的标题或问题时，语言模型需要理解视觉主干提取的特征与文本之间的关系。这需要有效的对齐和整合策略。一种常见的方法是使用多模态注意机制，允许模型在生成相关文本输出时关注视觉输入的特定方面。这样的例子可以在CLIP等模型中看到，这些模型将图像和文本配对，以学习将视觉内容与其语言描述关联起来。
最后，视觉和语言组件之间的交互对于图像标题生成、视觉问答和跨模态检索等任务至关重要。在这些场景中，模型利用两种模态的综合理解生成连贯且符合上下文的响应。例如，在图像标题生成中，模型利用主干的视觉特征来指导语言生成过程，确保输出的描述准确反映图像的内容。总之，视觉主干与语言模型的无缝结合使得VLM能够分析和生成具有上下文意识的内容，从而在计算机视觉和自然语言处理的多种应用中展现出高效性。”