Llm使用子词标记化技术 (如字节对编码 (BPE) 或WordPiece) 处理词汇表外 (OOV) 单词。这些方法将稀有或看不见的单词拆分为较小的单元 (子单词) 或字符，这些字符是模型词汇表的一部分。例如，单词 “不快乐” 可能被标记为 [“un”，“幸福”] 或 [“un”，“hap”，“pi”，“ness”]。
通过将OOV单词分解成子单词，即使在训练过程中没有看到确切的单词，模型也可以处理和理解它们的组成部分。这允许LLMs更好地推广到新的输入。子词标记化还通过重用熟悉的组件来帮助编码特定于领域的术语或技术术语。
虽然有效，但子词标记化有局限性。过度分割有时会导致语义缺失。为了缓解这种情况，开发人员可以根据特定于领域的数据微调模型，或者扩展词汇表以包含专门的术语，从而确保OOV输入的性能更好。