“视觉-语言模型（VLMs）在增强现实（AR）和虚拟现实（VR）应用中增强用户体验方面发挥着至关重要的作用。这些模型结合了视觉数据和自然语言理解，以根据用户所见和所说的信息解释和生成上下文信息。这种集成使得用户能够在虚拟空间内进行无缝交互，用户可以依赖视觉线索和口语语言更直观地导航和操控他们的环境。
从实际操作的角度来看，VLMs 使各种功能得以实现，从而提高了 AR 和 VR 中的可用性。例如，在 AR 应用中，用户可以将设备指向实物并问“这是什么？”或“它是如何运作的？”VLM 可以通过其视觉识别能力识别物体，并根据其数据库提供信息性回复。这种交互使得该技术变得更加易于接触，特别是在教育环境中，学习者可以与互动内容进行交流，同时获得有关周围环境的实时信息。
此外，VLMs 对于在 VR 中创建沉浸式故事体验至关重要。通过理解场景的视觉元素和通过口语或书面语言表达的叙事上下文，这些模型能够推动环境中的动态变化。例如，如果用户输入或说“给我展示一个暴风雨之夜”，系统可以调整虚拟环境，以反映请求的场景，包括改变灯光、声音和视觉效果。这种能力使开发者能够创造更加互动和个性化的体验，使用户感到与他们所探索的虚拟世界更加紧密相连。”