注意机制允许llm在处理文本时专注于输入的最相关部分。它们通过为序列中的不同标记分配权重来工作，指示它们相对于任务的重要性。例如，在句子 “猫坐在垫子上，它发出咕噜声” 中，注意机制帮助模型将 “它” 与 “猫” 联系起来。
自我关注是变压器中使用的一种特定类型的关注，它使模型能够分析序列中的关系。每个令牌关注所有其他令牌，捕获本地和全局上下文。这是通过计算注意力分数和权重的数学运算来实现的，然后将其应用于输入令牌。
注意机制对于理解语言中的依赖关系至关重要，例如主谓一致或上下文含义。它们还允许llm并行处理文本，使它们比rnn等旧的顺序模型更高效。这一创新是LLMs在NLP任务中取得成功的关键原因。