“TF-IDF，即词频-逆文档频率，是一种数值统计，用于评估一个词在特定文档中相对于一组文档或数据库的重要性。在全文搜索的上下文中，它帮助识别哪些文档与搜索查询最相关。TF-IDF的核心理念有两个方面：一个词在特定文档中出现的频率越高（词频，或TF），那么它对该文档的重要性就越大。然而，如果一个词出现在数据库中的许多文档中，它的相关性就会降低（逆文档频率，或IDF），这意味着像“the”或“and”这样的常见词的重要性相对较小。
为了计算文档中某个词的TF-IDF，开发者首先通过统计该词在文档中出现的次数并用文档中词汇的总数进行归一化来评估词频。接下来，他们通过计算总文档数除以包含该词的文档数的对数来计算逆文档频率。这两个值的乘积给出了TF-IDF评分，表示该词在该文档中与整个集合相比的权重。
在实际应用中，TF-IDF使搜索引擎能够根据文档与用户查询的相关性对其进行排名。例如，如果用户搜索“机器学习”，则一篇频繁提及该短语而常见词出现较少的文档将比在模糊上下文中仅出现该词的文档得分更高。这种评分方法在信息检索系统中是基础，帮助过滤掉不相关的结果，并高效地呈现与用户查询最相关的信息。”