Llm中的位置嵌入对序列中每个标记的位置进行编码，使模型能够理解单词顺序。转换器并行而不是顺序地处理令牌，因此它们需要位置信息来区分不同上下文中的相同单词。例如，在 “猫追老鼠” 中，位置嵌入帮助模型理解 “猫” 、 “被追” 和 “老鼠” 的顺序。
这些嵌入在被传递到转换器层之前被添加到令牌嵌入或与令牌嵌入级联。它们可以被学习 (在训练期间优化) 或固定 (预定义模式，如正弦和余弦函数)。固定嵌入在计算上是高效的，并确保在相似位置的标记具有相似的位置编码，有助于相对位置理解。
位置嵌入对于文本生成和语言建模等任务至关重要，其中单词顺序会显着影响含义。没有它们，模型将把序列视为单词包，失去了令牌顺序传达的语义关系。