困惑度是用于评估LLM预测令牌序列的能力的度量。它量化了模型预测的不确定性，较低的值表示更好的性能。在数学上，困惑是分配给数据集中的令牌的平均负对数概率的指数。
例如，如果一个模型将高概率分配给测试集中的正确标记，它将具有较低的困惑度，反映出它生成类似于数据集的文本的能力。相反，高度困惑表明模型难以准确预测下一个令牌，表明需要进一步训练或微调。
Perplexity主要在模型评估期间用于比较不同的体系结构或训练配置。虽然它是语言建模任务的有用度量，但它并不总是与现实世界的性能相关，尤其是在诸如对话系统之类的复杂应用程序中，在这些应用程序中，连贯性和相关性等其他因素也很重要。