零射学习 (ZSL) 模型使用几个常见的基准进行评估,这些基准有助于衡量其有效性和性能。这些基准通常涉及要求模型识别在训练期间未见过的类的任务。使用的常见数据集包括具有属性的动物 (AwA),Caltech-UCSD鸟类 (CUB) 和Pascal VOC。这些数据集中的每一个都提供了一组丰富的属性或描述,可以帮助模型推广到看不见的类,使其成为ZSL评估的理想选择。
一个广泛使用的基准是评估模型如何将知识从可见的课程转移到看不见的课程。这通常是通过在类的子集 (看到的类) 上训练模型,然后在不同的类集 (看不见的类) 上测试它来完成的。通常使用分类准确性来衡量性能,其中计算从未见过的类别中正确识别的示例的百分比。开发人员还可以查看精度和召回率等指标,以更细致地了解不同类的性能。
评估的另一个重要方面涉及语义嵌入的使用,语义嵌入以捕获其关系的方式表示类。用于此目的的流行方法包括使用来自Word2Vec或GloVe的词向量来对类属性进行编码。然后,评估检查模型如何根据其与该语义空间中已看到的类的关系来预测未看到的类。研究人员还可以进行消融研究,以了解去除某些组件如何影响模型性能。总体而言,这些基准和评估方法清楚地说明了零样本学习模型如何弥合已知类别和未知类别之间的差距。