策略外学习是一种强化学习 (RL)，其中代理从与正在改进或评估的策略不同的策略生成的数据中学习。简单来说，它允许代理使用从一个策略 (行为策略) 收集的经验来改进另一个策略 (目标策略)。这特别有用，因为它允许代理从更广泛的经验中学习，包括从不同策略甚至历史数据中收集的经验，而不是仅限于仅从其当前策略中得出的交互。
采用策略外学习的常见算法是Q学习。在q-learning中，代理会根据收到的奖励来更新其有关操作价值的知识，而不考虑选择这些操作所遵循的特定策略。例如，探索迷宫的代理可能偶尔会通过随机探索偶然发现一条更优化的路径，即使它目前遵循的是效率较低的策略。然后，它可以使用更好的行动及其产生的奖励来更新其对未来行动的最佳策略的理解，使其能够更有效地学习。
此方法与SARSA等策略学习方法形成对比，在SARSA中，代理仅根据遵循当前策略时采取的操作来更新其策略。在探索可以引入大量信息的复杂环境中，非政策学习的灵活性特别有价值，从而导致更好的决策和更快地收敛到最佳政策。总体而言，非策略学习机制可以提高训练强化学习代理的效率和多功能性。