“多模态人工智能结合来自不同类型的数据的信息，如文本、图像、音频和视频，以增强自然语言生成（NLG）。这种整合使开发者能够创建更加具有上下文意识和吸引力的语言输出。例如，当用户输入一张图片并请求生成文本时，多模态人工智能可以分析该图片的视觉元素，生成与视觉上下文相关且量身定制的描述或故事。这使得生成的文本不仅更加准确，而且在上下文中也更加丰富。
一个具体的应用案例是在为图像或视频创建描述文字。传统的NLG模型可能仅根据预定义的规则或文本输入生成描述。然而，多模态人工智能能够解读视觉刺激，生成包含相关细节的描述文字，例如媒体中所描绘的动作、情感和物体。例如，如果你向人工智能提供一张孩子与狗玩耍的照片，生成的输出不仅可以描述发生了什么，还可以传达场景中的乐趣和喜悦，从而通过近乎人类的叙述质量增强用户的参与感。
此外，多模态人工智能还可以通过使对话代理不仅以文本响应，还可以结合相关的视觉或音频元素来改善用户体验。例如，在客户支持互动中，如果用户询问视频中展示的产品特性，多模态系统可以突出时间戳和相关的屏幕特征，同时提供口头描述。这种交叉引用和上下文化可以显著提高用户满意度以及人工智能生成响应的有效性，使互动感觉更加个性化和响应用户的需求。”