强化学习 (RL) 中的Bellman方程是用于计算价值函数的基本递归方程。它根据奖励函数和预期的未来奖励来表达状态的价值与其可能的继承状态的价值之间的关系。
Bellman方程允许智能体将估计状态值的问题分解为较小的子问题，从而可以迭代地计算每个状态的值。对于给定的状态 𝑠，𝑉(𝑠) 的值计算为立即奖励加上下一个状态的期望值，并贴现了反映代理人对短期奖励与长期奖励的偏好的系数。该方程式通常写为: 𝑉(𝑠)=.(𝑠) ⋅ max 𝑉(𝑠 ')，其中 𝑅(𝑠) 是立即奖励，𝛾 是折扣因子，而 𝑠' 是下一个状态。
Bellman方程是许多RL算法的基础，包括值迭代和Q学习。它提供了一种迭代地改进代理的价值估计的方法，帮助它找到决策的最佳策略。