术语频率-逆文档频率 (tf-idf) 是NLP中使用的一种统计方法，通过量化文档中单词相对于语料库的重要性来表示文本。它结合了两个度量: 术语频率 (TF) 和反向文档频率 (IDF)。TF衡量一个词在文档中出现的频率，而IDF则评估该词在整个语料库中的独特性。Tf-idf的公式为:
Tf-idf = TF × IDF，其中TF = (文档中的字数)/(文档中的总字数)，IDF = log (文档总数/包含该字的文档)。
像 “the” 或 “and” (停用词) 这样的词可能具有较高的词频但较低的IDF，因为它们几乎出现在每个文档中，从而导致较低的tf-idf分数。相反，稀有和信息丰富的单词具有较高的tf-idf值。Tf-idf通常用于信息检索，文本挖掘和搜索引擎中的文本表示。它有助于突出显示文档中的关键术语，使模型更容易关注相关功能。尽管不如嵌入功能强大，但对于较小的数据集和更简单的NLP任务，它仍然是一种实用且可解释的特征提取方法。