“多模态人工智能结合了文本、图像、音频和视频等多种数据类型，以增强游戏和娱乐中的用户体验。这种类型的人工智能能够理解和生成不同格式的内容，使得互动更加流畅和直观。例如，在视频游戏中，多模态人工智能可以创造出更加逼真的非玩家角色（NPC），这些角色不仅通过文本响应玩家的动作，还能够通过肢体语言和语调进行互动，从而让游戏环境更加身临其境和富有响应性。
多模态人工智能在游戏中的一个实际应用是对话系统。与其仅依赖预先编写的剧本，人工智能可以分析玩家的输入——包括语音和文本——并以一种显得自然和契合的方式进行回应。这类系统可以带来更具吸引力的叙事，玩家会觉得他们的选择对故事产生了显著影响。像《海盗人生》（Sea of Thieves）这样的游戏通过游戏内语音聊天和根据玩家的动作和对话进行调整的NPC互动探讨了这一方面，从而创造了更丰富的叙事体验。
在娱乐领域，电影和动画也开始使用多模态人工智能来简化制作过程。例如，人工智能工具可以分析现有的剧本和故事板，以生成视觉概念，甚至通过将角色特征与演员档案匹配来支持选角决策。此外，人工智能还可以在后期制作中根据拍摄素材中识别出的主题和动机建议编辑。这种整合使创作者能更专注于叙事，而不是技术限制，从而促进更高效的制作工作流程，同时仍然增强艺术表现力。”