NLP中的少镜头学习是指模型使用非常有限的标记训练数据 (通常只是几个示例) 执行任务的能力。它与传统的监督学习形成对比,后者需要大量的注释数据。少镜头学习在很大程度上依赖于预先训练的模型,如GPT或T5,这些模型已经在多样化和广泛的语料库上进行了训练,使它们能够很好地概括跨任务。
少镜头学习的常见方法涉及在输入提示中为模型提供任务描述和少量示例。例如,“对以下评论的情绪进行分类。例如: '我喜欢这部电影' → 正面。例如: '食物很糟糕' → 负面。现在分类: '服务非常好'。”该模型利用其预先训练的知识来推断模式并完成任务。
少镜头学习在标记数据稀缺或获取昂贵的场景中特别有价值,例如低资源语言或利基领域。它广泛应用于文本分类,翻译和问答任务。通过减少对大量标记数据集的依赖,少镜头学习使NLP更容易获得和更具成本效益。