深度Q学习是Q学习的扩展，它使用深度神经网络来近似q值函数，特别是在具有较大或连续状态空间的环境中。在标准的Q学习中，q值存储在表中，但是这种方法对于复杂的任务是不可扩展的。深度Q学习通过使用深度神经网络 (通常是卷积神经网络) 来近似Q(s，a) 来解决这个问题，其中输入是状态，输出是每个动作的q值。
深度神经网络允许智能体处理高维输入空间，如图像或传感器数据，使其适用于更复杂的环境，如视频游戏或机器人。网络使用Q学习更新规则进行训练，并且通常与体验回放和目标网络等技术相结合以稳定训练。
深度q-learning已成功应用于各种具有挑战性的问题，包括直接从像素输入玩Atari游戏。这种方法允许强化学习代理扩展到传统的Q学习由于状态空间的大小而难以解决的环境。