变压器中的注意力是使用三个向量计算的: 查询 (Q) 、键 (K) 和值 (V)。对于输入中的每个令牌，查询向量表示它正在寻找的内容，键向量对它提供的内容进行编码，值向量包含传递的信息。
令牌的注意力得分是通过取其查询向量与序列中所有其他令牌的键向量的点积来获得的。这些分数按维度大小的平方根缩放，并通过softmax函数传递，以将它们归一化为概率。然后使用这些概率来计算值向量的加权和，从而得到每个令牌的最终注意力输出。
多头注意力通过将计算分成多个头来扩展这一点，每个头关注序列的不同方面。来自所有头部的输出通过线性层被连接和处理。这种机制允许转换器捕获跨令牌的复杂关系，这是它们在LLMs中取得成功的关键原因。