Q学习和SARSA之间的主要区别在于它们更新q值的方式。
Q-learning是一种策略外的算法，这意味着它会在下一个状态中使用最佳操作来更新q值，而与代理实际采取的操作无关。这允许Q学习学习最佳策略，即使代理没有遵循它。 另一方面，SARSA是一种策略算法。它根据在下一个状态中采取的实际操作来更新q值，反映了代理的真实行为，而不是它的理想化版本。
这种差异对勘探和开发具有重要意义。在代理可以更有效地探索的环境中，q-learning往往表现更好，因为它可以优化最佳操作。SARSA是政策上的，往往更保守，因为它根据代理人的当前政策评估行动，包括探索。