"当前的视觉-语言模型（VLMs）在为复杂场景生成描述时面临多个限制。一个主要挑战是准确理解多个对象之间的空间关系和相互作用的困难。例如，在描绘繁忙街道的场景中，有行人在走动，停车的汽车和一只狗在追逐一个球，VLM可能会很难识别哪个对象与哪个对象互动。这可能导致生成一些笼统或模糊的描述，比如“发生了很多事情”，而不是更精确地传达场景动态的描述。
另一个限制是模型倾向于关注主要对象，而忽视那些有助于场景含义的细微细节。例如，如果图像捕捉到一个包括各种食物、饮料和人的野餐场景，VLM可能主要提到“人”和“食物”等主要元素，但未能突出特定上下文的细节，如“红格子桌布”或“柠檬水壶”。这些细节可以显著丰富描述并增强用户对场景的理解，但模型常常因为缺乏细致的上下文意识而错过这些细节。
最后，VLM在生成融入文化背景或场景中细微情感的描述时可能会面临困难。例如，一幅展示庆祝活动的图片在不同文化背景下的情感基调可能大相径庭——在一种背景下显得节日气氛十足的场景，在另一种背景下可能会被不同解读。如果模型生成类似“人们很快乐”的描述，它可能无法捕捉到潜在的文化意义或图像中具体表现的情感。这一差距突显了VLM需要具备更深厚的文化知识和情感智慧，以便为复杂场景创造真正深刻和准确的描述。"