跨模态嵌入是将来自不同模态的信息 (例如文本、图像和音频) 组合到共享向量空间中的表示。目标是创建一个统一的表示，以捕获不同类型数据之间的关系。例如，在跨模式搜索系统中，您可以使用文本描述搜索图像，或者根据图像查找相关文本。跨模态嵌入通过在同一嵌入空间中对齐文本和图像的特征来实现这一点。
这些嵌入通常使用可以同时处理多个模态的模型来学习，例如CLIP (对比语言图像预训练) 或VSE (视觉语义嵌入)。这些模型学习将文本和图像映射到保留其关系的共享空间中。这允许像图像字幕这样的任务，其中图像与生成的文本描述匹配，或者视觉问答，其中模型基于图像的内容回答问题。
跨模式嵌入是有价值的，因为它们能够集成来自不同数据源的信息，从而更容易执行涉及多种类型输入的任务。它们支持多模式搜索引擎，基于内容的推荐系统和多模式分析等应用程序，其中需要一起理解和处理各种数据格式。