“嵌入处理稀有单词或对象通过一些关键策略，帮助保持它们的实用性，即使在遇到在训练数据集中并不常见的术语时。一个常见的方法是使用子词标记化，它将稀有单词分解为更小、更易于管理的部分或组件。这使得模型能够利用较小部分的嵌入来理解不熟悉术语的含义。例如，单词“antidisestablishmentarianism”可能被分解为“anti”、“dis”和“establishment”等子词，从而使得嵌入能够捕捉该词意义和语境的某些方面，尽管它整体上很稀有。
另一种技术涉及使用更广泛的上下文来创建稀有单词或对象与其更常见的对应词之间的关联。当一个稀有单词出现在文档中时，周围的上下文通常包括其他更常用的单词或短语。嵌入模型可以利用这些上下文来学习并建立稀有单词与其更常见的周边术语之间的关系。因此，如果术语“xylophone”出现在“musical”和“instrument”等单词附近，模型仍然能够生成反映其在音乐中更广泛含义的嵌入，即使它没有一个独立的常见嵌入。
此外，预训练的嵌入可以针对可能包含这些稀有单词的特定任务或数据集进行微调。当模型被微调时，它会根据新数据调整现有的向量，从而使其能够更好地捕捉该特定上下文中稀有单词的细微差别。例如，如果一个有关乐器的数据集包含对各种不常见乐器的引用，微调可以生成精准代表这些稀有术语的细化嵌入，帮助避免在分析中被遗漏或表现不佳的陷阱。这种灵活性确保了稀有单词或对象仍然能够有效地融入依赖嵌入进行文本理解或分类等任务的应用中。”