图像搜索中的跨模态检索是指根据来源于不同模态（如文本或音频）的查询来查找和检索图像的能力。简而言之，它使用户能够使用用文字编写的描述，甚至是可以转换为描述的声音来搜索图像。例如，如果开发者想要通过文本查询“猫坐在窗台上”在一个大型图像数据库中搜索，那么尽管输入完全是基于文本的，但系统仍会返回相关的图像。这个过程通常依赖于能够理解并弥合不同数据形式之间差距的模型，从而改善我们访问和利用视觉内容的方式。
跨模态检索的功能依赖于能够学习将不同模态内容关联起来的算法的发展。这些算法分析文本和图像，提取具有意义的特征。例如，对于图像和文本，通常会创建嵌入，其中相似概念在共享特征空间中被紧密定位。这可能涉及使用卷积神经网络处理图像，以及使用循环神经网络或变换器处理文本，以创建这些嵌入。通过这样做，当用户输入一个文本描述时，系统可以高效找到与该描述紧密相关的图像，基于学习到的关联。
跨模态检索开启了众多应用，特别是在需要跨不同类型数据高效信息检索的领域。例如，在电子商务平台中，用户可能希望使用图像或文本找到产品。例如，用户可以上传一张鞋子的图片或输入查询“红色运动鞋”，系统就会从其数据库中返回匹配的产品。这一功能不仅提升了用户体验，还显著扩大了视觉内容的可获取性，使用户无论以何种方式搜索都更容易找到所需内容。