嵌入处理多模态数据 (来自不同来源或模态的数据，如文本，图像和音频)，通过学习共享表示来捕获跨模态的共同特征，从而具有高方差。例如，在跨模态设置中，可以训练嵌入以将文本和图像映射到统一的向量空间中，其中模态之间的相似性被保留。这允许模型处理格式可能变化很大的不同数据类型。
为了管理高方差，处理多模态数据的模型通常使用专门的架构，例如多流神经网络或转换器，在组合学习的表示之前分别处理每个模态。训练这些模型以学习不同数据类型之间的有意义的关系，确保嵌入空间捕获每个模态的个体特征及其交互。
然而，跨模态的高方差可能会带来挑战，例如难以对齐来自不同源的数据点。诸如归一化和注意力机制之类的技术通过关注跨模态的最相关特征来帮助解决这些挑战。最终，多模态嵌入使模型能够将异构数据集成到一个框架中，该框架可以处理复杂的现实任务，如视觉问答或图像字幕。