嵌入在少镜头和零镜头学习中起着至关重要的作用，它提供了一种在低维空间中表示复杂数据的方法，在低维空间中可以轻松测量项目之间的相似性。从本质上讲，嵌入是捕获数据点的语义或重要特征的向量，使模型即使在有限的示例中也能理解和分类新信息。在少镜头学习中，只有少数标记的示例可用于任务，嵌入允许模型通过利用不同类之间的相似性从这几个样本中进行概括。例如，如果模型已经在各种动物类别上进行了训练，则它可以通过将其嵌入与已知动物的嵌入进行比较来学习对新动物进行分类。
在零样本学习中，嵌入有助于对模型在训练期间从未见过的类进行预测。这通常是通过文本描述或属性与视觉数据表示的对齐来实现的。例如，模型可以基于动物的视觉特征来嵌入动物，并将它们与文本描述 (如 “有条纹” 或 “很大”) 相关联。当被要求对一种新的动物进行分类时，比如斑马，模型可以使用其描述的文本嵌入来找到与先前学习的嵌入的相似性，从而在没有直接示例的情况下进行预测。这种方法允许跨不同类别的知识的灵活转移。
为了在这些场景中最大限度地提高嵌入的效率，开发人员经常使用预先训练的模型，这些模型已经捕获了丰富的数据表示，例如来自卷积神经网络 (cnn) 的图像或文本转换器。通过利用这些嵌入，开发人员可以创建能够以最少的训练数据执行复杂任务的应用程序。一个示例可以是在医学成像应用中，其中只有少数罕见状况的示例是可用的。该模型可以利用来自更广泛的常见条件数据集的学习嵌入，根据其与先前看到的数据的相似性对罕见情况进行明智的分类。这种方法不仅增强了模型的性能，而且减少了对大量标记数据集的需求。