跨模式嵌入正在迅速发展，可以同时从多种类型的数据 (如文本，图像和音频) 中学习的模型取得了重大进步。最近的模型，如CLIP (对比语言图像预训练) 和ALIGN，旨在将文本和视觉数据集成到共享的嵌入空间中。这允许模型理解并生成不同模态之间的关联，从而实现图像字幕、视觉问答和跨模态搜索等任务。
一个关键的进步是改进跨模态模型如何处理不同数据类型之间的对齐，特别是当模态可能具有不同的结构或表示时。像对比学习这样的技术已经被用来优化文本和视觉嵌入之间的一致性，使这些模型在弥合模式之间的差距方面更有效。
展望未来，跨模式嵌入的进步可能会集中在提高它们处理更广泛的数据类型 (如视频、传感器数据，甚至多模态对话系统) 的更复杂关系的能力上。目标是创建更统一的模型，这些模型可以跨不同的输入进行学习和预测，而无需为每种模式提供单独的模型。