强化学习中的行动者-批评家方法结合了两个关键组成部分: 行动者和批评家。参与者负责根据当前策略选择行动，而批评家则通过估计价值函数 (通常是状态价值或行动价值函数) 来评估参与者采取的行动。
参与者根据批评者的反馈来调整策略，批评者会估计特定动作在给定状态下的好坏。评论家使用预测和实际奖励之间的差异来指导参与者的政策更新。这种方法通过将决策过程 (参与者) 与价值估计 (批评家) 分开，有助于提高培训效率。
一种著名的参与者-评论家算法是A3C (异步优势参与者-评论家)，其中多个代理异步地探索环境的不同部分。行动者-批评家方法在连续行动空间中很受欢迎，与纯政策梯度方法相比，它提供了更稳定的训练。