信任区域策略优化 (TRPO) 是一种强化学习算法，旨在以稳定有效的方式改善策略的训练。TRPO的主要目标是通过确保所做的更新不会太大 (这会破坏训练过程的稳定性) 来优化策略。它通过将策略更新的步长限制在 “信任区域” 内来实现这一点，从而防止每次梯度下降迭代的行为发生过于剧烈的变化。
TRPO方法的核心是使用信任区域的概念，该信任区域由称为Kullback-Leibler (KL) 散度的距离度量定义。此指标量化了新政策与旧政策的差异。TRPO在优化过程中实施约束，确保新旧策略之间的KL差异保持低于预定阈值。这种约束有助于在探索新策略和依赖先前学习的信息之间保持平衡，这对于训练期间的稳定性至关重要。
实际上，TRPO通过从环境中进行多次采样来收集轨迹并计算策略更新来工作。它使用自然梯度下降来优化策略，同时遵守KL约束。该方法在高维动作空间中特别有益，因为与常规策略梯度方法相比，它允许更可靠的收敛。TRPO的示例应用可以在机器人控制任务中找到，其中确保稳定的性能至关重要，而过于激进的更新可能导致不稳定的行为。