无模型和基于模型是强化学习 (RL) 中的两类方法。
-无模型方法不需要代理具有环境过渡动力学的任何显式知识 (即,从一种状态移动到另一种状态的概率)。这些方法仅从经验中学习,观察行为产生的回报和状态。无模型方法的常见示例包括Q学习,SARSA和蒙特卡洛方法。这些方法通常更易于实现,但可能需要更多的数据来收敛。
-另一方面,基于模型的方法涉及学习环境的模型,该模型可用于预测状态转换和奖励。该模型通过模拟未来的状态和动作来帮助代理计划,从而使学习过程更加高效。基于模型的方法的示例包括动态编程和蒙特卡罗树搜索。基于模型的方法通常可以实现更好的样本效率,因为它们利用学习的模型来进行预测和改进计划。