Q-learning是一种无模型的强化学习算法，旨在学习最佳的动作值函数Q(s，a)，该函数告诉智能体在状态 “s” 中采取动作 “a” 并遵循其后的最佳策略的预期累积奖励。Q学习通过基于从与环境交互中收集的经验迭代地更新q值来工作。
在Q学习中，代理采取行动，获得奖励，并观察下一个状态。然后使用以下公式更新q值: Q(s, a) ← Q(s, a) α * [R(s, a) γ * max_a 'Q(s', a') - Q(s, a)] 其中: -Α 是学习率 -Γ 是贴现因子 -R(s，a) 是在状态 “s” 中采取行动 “a” 的奖励 -max_a 'Q(s'，a') 是下一个状态 “s'” 中的最大q值 该更新规则确保q值逐渐向最优值收敛。