多模态嵌入是指将来自多种模态的数据 (如文本、图像、音频和视频) 表示到统一的向量空间中。这些嵌入结合了来自不同类型数据的信息，以创建捕获它们之间的关系和相关性的单个表示。例如，多模态嵌入可以将图像及其相关联的文本描述表示为单个向量，从而更容易比较或搜索两种模态的相似内容。
这些嵌入在涉及跨模式交互的任务中特别有用，例如图像字幕，其中模型需要理解图像的视觉内容和该图像的文本描述。多模态嵌入还支持视频分析等任务，其中视觉和听觉特征需要集成到单个表示中，以用于动作识别或情感分析等任务。
多模态嵌入的目标是创建一个丰富的共享表示，保留每个模态的独特属性，同时允许它们之间的交互。这允许模型处理更复杂的数据关系，使它们适用于多媒体检索，推荐系统和依赖多模式输入的自治系统等领域。