多模态模型是一种AI系统，能够处理和理解来自多种模态的数据，例如文本，图像，音频和视频。与处理一种数据类型的单峰模型不同，多模态模型集成不同格式的信息，以提供更丰富，更准确的结果。
这些模型通常使用共享表示来链接模态。例如，在CLIP (对比语言图像预训练) 中，模型学习将图像与其相应的文本描述对齐，从而实现图像字幕和视觉搜索等任务。
多模态模型的应用包括多媒体搜索引擎、虚拟助理和医疗诊断。例如，模型可以分析医学图像和患者历史 (文本) 以辅助诊断。在电子商务中，多模式系统通过考虑产品图像和用户评论来增强产品推荐。
训练多模式模型需要包含配对数据的不同数据集，例如带有字幕的图像或带有成绩单的视频。流行的架构 (如转换器) 适用于通过使用特定于模态的编码器和共享嵌入来处理来自不同模态的输入。
多模态模型是下一代人工智能系统的关键，使交互更加直观和人性化。然而，像调整来自不同模式的数据和确保可扩展性等挑战仍然是活跃的研究领域。