“多模态人工智能是指能够处理和理解多种类型数据的系统，例如文本、图像、音频和视频。多模态人工智能中的关键算法专注于有效地整合和提取这些多样数据源中的有用信息。一些主要的算法包括跨模态嵌入、注意力机制和变压器架构，每种算法在系统如何从数据中学习和与之互动中都扮演着重要角色。
跨模态嵌入对于将不同模态映射到共享表示空间至关重要。例如，在结合文本和图像时，像典型相关分析（CCA）或变分自编码器（VAE）这样的算法可以创建嵌入，使来自两个领域的相似内容紧密对齐。这使得模型能够识别描述猫的标题同样适用于猫的图像。整合这些嵌入增强了模型在不同输入形式之间建立联系的能力，这对于图像标题生成或搜索功能等任务至关重要，因为用户可能以各种格式提供输入。
注意力机制，特别是在变压器模型中，进一步提高了对多种数据类型的处理，允许模型在做出预测或决策时关注输入的特定部分。例如，在视频分类任务中，模型可以关注关键帧（视觉数据），同时考虑相关的音频或对话（音频数据）。通过使用自注意力技术（例如原始变压器架构中的技术），模型能够权衡不同输入的重要性，使其能够根据更丰富的上下文和各种模态之间的关系提供更准确的输出。这一结构支撑着当今许多领先的多模态人工智能应用。”