全文搜索中的分词（Tokenization）是指将文本拆分成更小、更易于处理的部分，称为“词元”（tokens）。这些词元本质上是搜索引擎用于索引和检索相关文档的单个单词或术语。当用户进行搜索时，搜索系统会在索引的文档中查找这些词元以找到匹配项，因此对于高效的信息检索至关重要。例如，如果一篇文档包含短语“全文搜索是高效的”，则分词过程会将其拆分为词元“全文”、“搜索”、“是”和“高效”。
分词过程涉及几个步骤。首先，它会移除任何可能妨碍相关匹配检索的不必要字符或标点符号，例如逗号、句号或特殊符号。接下来，通常还会对词元进行归一化处理，这可能包括将所有字符转换为小写字母或将单词还原为其基本形式。例如，单词“running”和“ran”可能都会被还原为根词“run”。这种归一化有助于确保单词的变体不会影响搜索结果，使用户查询的匹配更加广泛和相关。
分词对于搜索性能和准确性至关重要。当处理搜索查询时，应用相同的分词规则，使搜索引擎能够正确地将用户输入与索引中的词元匹配。例如，如果用户搜索“Run”，分词和归一化后的版本将匹配包含“run”的文档，无论使用的大小写如何。总的来说，有效的分词直接影响搜索引擎返回精确和相关结果的能力，凸显了其在全文搜索系统中的基本作用。