马尔可夫决策过程 (MDP) 是用于对强化学习 (RL) 中的决策进行建模的数学框架。它提供了一种描述环境的正式方法，包括代理的状态、操作、奖励以及状态之间的转换。MDP由五个组件定义:
1.状态 (S): 代理可以找到自己的可能情况或配置。 2.动作 (A): 代理在每个状态下可以采取的一组动作。 3.转移函数 (T): 给定当前状态和动作，在接下来的状态上的概率分布。 4.奖励函数 (R): 在给定状态下执行动作后立即获得的奖励。 5.贴现因子 (γ): 一个因子，它模拟了代理人对更早而不是更晚获得奖励的偏好。
Mdp在RL中是必不可少的，因为它们提供了建模问题的结构，其中决策是随时间顺序进行的，并且未来状态仅取决于当前状态和动作，而不取决于过去的事件 (马尔可夫属性)。