联合嵌入将来自多个模态 (如文本、图像和音频) 的数据组合到共享向量空间中。该过程涉及学习每个模态的嵌入，然后将它们对齐到公共特征空间中，其中跨模态的相似数据由相似向量表示。例如，在图像-文本数据的联合嵌入中，狗的图像及其标题 “狗奔跑” 将具有相似的向量表示，从而允许模型理解它们之间的关系。
联合嵌入通常使用对比学习或跨模式注意力机制等技术来学习。在对比学习中，模型被训练成在嵌入空间中使相似的数据点更靠近，同时将不相似的数据点推得更远。例如，可以训练模型以确保汽车的图像和单词 “car” 具有相似的表示，而树的图像和单词 “car” 在向量空间中是遥远的。
这些联合嵌入通过允许系统在共享空间中比较和对比来自不同模态的数据来实现使用文本查询的图像检索等任务，反之亦然。处理和关联来自多个来源的数据的能力增强了模型的理解，并使得在字幕生成、跨模态搜索和多模态推荐系统等应用中利用多模态数据成为可能。