“CLIP，即对比语言-图像预训练， 是由OpenAI开发的一个模型，它将视觉数据与文本描述连接起来。它的运作基于对比学习的原则，模型学习将图像与其对应的文本描述关联起来。例如，当给出一张狗的照片和短语“可爱的狗”时，CLIP的目标是在最大化图像与文本之间相似度的同时，最小化图像与不相关文本（例如“美丽的日落”）之间的相似度。这一训练过程使模型能够理解广泛的视觉概念及其相关的语言。
CLIP的基础架构由两个组件组成：视觉模型和文本模型。视觉模型可以是处理图像的卷积神经网络或变换器，而文本模型通常使用变换器来处理文本输入。在训练过程中，两个模型会同时接收输入，并将它们的输出转换为一个共同的嵌入空间。这确保了相似的图像和描述在该空间中彼此接近。本质上，CLIP学习将视觉和文本信息编码成一种便于比较的方式，使得模型能够执行零样本分类等任务，即在未见过的情况下对图像进行分类。
CLIP的能力扩展到视觉-语言模型（VLMs）领域的各种应用。例如，它可以用于内容审核、图像检索和多模态搜索任务。开发者可以将CLIP集成到需要理解文本与图像之间关系的应用中，例如根据用户输入生成图像标题，或通过允许用户使用图像而非文本进行搜索来增强搜索功能。其多功能性使得CLIP成为对视觉和文本数据进行细致理解所需应用的宝贵工具。”