“视觉语言模型（VLM）通过利用在包含多样视觉和文本信息的大型数据集上的训练，处理图像中稀有或未见过的物体。当这些模型遇到在训练过程中未见过的物体时，它们通常会利用对相关物体的理解和图像中的上下文来对未见物体进行合理推测。例如，如果一个模型在多种水果上进行了训练，但遇到了一个它从未明确见过的水果，它可能会依赖于与苹果或香蕉等相似水果的知识来识别特征或适当的分类，如颜色和形状。
此外，VLM通常结合了零样本学习等技术。这意味着模型不必识别每一个可能的物体，而是可以根据训练阶段编码的描述或属性来解释新物体。例如，如果一个模型已经学习了动物的常见特征，它可能会通过与已知动物的描述符（如“有四条腿”或“毛茸茸的”）建立联系，推断关于它未见过的某种不寻常动物的细节。使用文本提示或描述可以指导模型的预测，使其能够根据相似性以一定程度的准确性识别或分类未见过的物体。
最后，图像中周围元素的上下文线索也起着重要作用。VLM可以分析物体之间的关系和场景的设置。例如，如果它在海滩上看到一个奇特的物体，它可能会考虑上下文 —— 其他与海滩相关的物品，如阳伞或冲浪板 —— 以推测这个未知物体可能是什么。将视觉线索和语言理解相结合的能力，使得VLM即使面对稀有或不熟悉的物体时也能表现良好，增强了它们在各种应用中的实用性和可用性。”