标记化是将文本分解为较小的单位 (称为标记) 的过程，这些单位用作llm的输入。根据标记化方法，标记可以是单个单词、子单词或甚至字符。例如，句子 “the cat sat” 可能被标记为 [“The”，“cat”，“sat”] 或子词单元，如 [“Th”，“e”，“cat”，“sat”]。
标记化是必不可少的，因为llm处理标记的数字表示而不是原始文本。文本被标记化后，每个标记都将转换为数值或嵌入，模型将使用该数值或嵌入来执行计算。这使得模型能够有效地理解和生成文本。
在llm中通常使用诸如字节对编码 (BPE) 或WordPiece的现代标记化方法。这些方法在将文本分割成有意义的单元和保持紧凑表示之间取得平衡。适当的标记化对于模型的性能至关重要，因为它会影响模型理解输入和生成连贯输出的程度。