“视觉语言模型（VLMs）在增强现实和虚拟现实（AR/VR）中具有重要潜力，通过增强用户互动、改善内容创作以及实现高级功能来提升体验。通过将视觉输入与自然语言理解相结合，这些模型能够以更直观和可接近的方式解释和响应现实环境，从而使AR/VR体验更加流畅。例如，用户可以将设备指向一个物体，VLM可以识别它，提供相关信息，或通过文本或语音建议与该物体相关的操作。
VLM在AR中的一个实际应用是培训模拟。考虑一个技术人员在学习修理机械的场景。借助配备VLM的AR眼镜，用户能够收到覆盖在实体设备上的逐步指南。在用户执行任务时，模型可以根据其解读的视觉线索提供实时反馈，有助于减少错误并改善学习效果。在虚拟现实中，VLM可以通过允许用户使用自然语言与环境互动来增强叙事效果。这可以带来更身临其境的体验，用户可以询问周围环境的问题，并获得连贯的答案，或根据他们的输入找到叙事元素。
此外，VLM还可以促进AR/VR环境中的内容创作。开发人员可以利用这些模型生成基于视觉场景的描述性文本，从而更轻松地在环境中填充交互元素，而无需 extensive 手动输入。这种能力可以简化工作流程，并能够根据实时数据实现更动态的内容更新。总而言之，将VLM集成到AR和VR中不仅提升了用户参与度，还使开发人员能够以更快的速度创建更丰富、更具互动性的体验。”