强化学习中基于策略的方法专注于直接学习策略,这是从状态到动作的映射。代理不是估计状态-动作对的值,而是学习一种策略,该策略可以使预期的累积奖励随时间最大化。
在基于策略的方法中,代理通常使用参数化函数 (例如神经网络) 来表示策略。该策略基于来自环境的反馈进行更新。策略梯度方法,例如加强和近端策略优化 (PPO),通过计算相对于策略的预期奖励的梯度来调整策略参数,然后更新参数以增加采取更好行动的可能性。
这些方法对于连续动作空间特别有用,在连续动作空间中,像Q学习这样的基于值的方法效果较差。然而,基于策略的方法可能在其更新中遭受高方差,并且可能需要更仔细的调整和优化。