CLIP (对比语言-图像预训练) 是OpenAI开发的一种机器学习模型，将视觉和文本理解联系起来。它通过学习通过对比学习方法将图像和文本关联起来，弥合了图像和文本之间的差距。CLIP在庞大的图像-文本对数据集上进行训练，使其能够识别视觉对象及其相应描述之间的关系，而不依赖于特定任务的标签。
在其核心，CLIP使用两个神经网络: 一个处理图像，而另一个处理文本。这些网络将图像和文本嵌入到共享的高维空间中，其中相关对的位置更靠近，而不相关的对相距更远。这允许CLIP执行零射击学习，这意味着它可以处理没有明确训练的任务，只需使用自然语言描述。
开发人员将CLIP用于各种应用程序，包括图像分类、检索和需要理解文本和视觉效果的多模式任务。例如，它可以基于描述性提示识别图像中的对象，或者检索与特定文本描述匹配的图像。它的多功能性和泛化能力使CLIP成为创建集成视觉和语言的应用程序的强大工具，例如高级搜索引擎，创意AI工具和内容审核系统。