深度学习手册

外观

深度强化学习应用

本页速览 深度强化学习把神经网络与序贯决策结合，从 DQN 打游戏、AlphaGo 战胜人类到 LLM 中的 RLHF/RLVR，一步步走进真实世界。本文拆解 DQN/AlphaGo 原理、机器人 sim-to-real、游戏 AI，并直面样本效率、安全、奖励设计与分布偏移等现实挑战。

深度强化学习应用 ​

一句话定义：深度强化学习（Deep RL）让智能体在与环境的试错交互中，用神经网络学出"如何行动能最大化长期回报"的策略——它是深度学习里唯一"用行动学习、为决策而生"的范式，从打游戏到 AlphaGo、再到今天 LLM 的对齐训练，都是它的战场（基础概念与算法谱系先见深度强化学习）。

一、从监督到强化：三要素 ​

监督学习学"输入→标签"，强化学习学"状态→行动→回报"。核心三要素：

  1. 策略 π(a|s)：在状态 s 下该做什么，用神经网络表示；
  2. 回报（reward）：环境给的标量信号，稀薄且延迟——"下棋最后一步才见输赢"；
  3. 价值函数：预测"从现在起能拿多少回报"（V 状态价值 / Q 动作价值），是学习的老师。

与监督学习的根本差异：数据是自己"走"出来的（不是现成标注），且行动影响后续数据分布——这让 RL 训练天然不稳定，也解释了为什么 RL 一直比"看图分类"难落地得多。

二、DQN：从 Atari 开始 ​

DQN（Deep Q-Network，2015，Nature）首次让深度网络（神经网络底座见神经网络基础）在 49 款 Atari 游戏上达到人类水平，奠定了 Deep RL 的两大核心技巧：

  • 经验回放（experience replay）：把交互数据（s, a, r, s'）存进缓冲区，训练时随机抽样——打破样本相关性、提高数据利用率；
  • 目标网络（target network）：用一份"慢更新"的 Q 网络计算目标，避免"自己追自己"导致的发散。

这两个技巧后来成为几乎所有 off-policy RL 的标配，也体现了"让自举稳定"的通用思想（对照：Transformer 架构的 Pre-Norm 同样是为了稳定）。

三、AlphaGo / AlphaZero：MCTS + 网络 ​

2016 年 AlphaGo 以 4:1 击败李世石，是 AI 的里程碑时刻。它把两类技术融合：

  • 蒙特卡洛树搜索（MCTS）：从当前局面出发，反复"模拟-回溯"选择最优落子——传统搜索，擅长精确计算；
  • 神经网络：策略网络给出候选动作先验、价值网络评估局面——压缩搜索空间、弥补搜索无法穷尽的部分。

AlphaZero（2017）的突破是去掉人类棋谱：只凭"自对弈（self-play）+ 规则"从零学会围棋、国际象棋、将棋，且超越此前所有人类与程序。关键洞见：自对弈数据 + 搜索 = 无限高质量训练数据，这在 RL 里极为罕见（真实世界拿不到这种数据）。后续 MuZero 更进一步：连环境规则都让网络学。RL 在围棋的胜利本质是"可完美重置的模拟环境"给的——这为下文的现实困境埋下伏笔。

四、机器人控制与 sim-to-real ​

机器人是 RL 最自然的战场，但也是"理想与现实的鸿沟"最深的领域：

  • 仿真到现实（sim-to-real）：在 MuJoCo、Isaac Gym 等模拟器里训练策略（可并行百万步、可重置、可并行），再迁移到真实机器人。核心难点是仿真与现实的差距（reality gap）：摩擦力、延迟、传感器噪声都不一致；
  • 域随机化（domain randomization）：训练时随机扰动物理参数（质量、摩擦、光照），让策略学会"在任何参数下都稳"，从而对真实环境鲁棒；
  • 现状：单任务操纵（抓取、插孔）与双足/四足行走（波士顿动力风格）已有成果，但泛化到新物体、新场景仍远未解决——机器人公司更常用的是"大量模仿学习 + 少量 RL 精修"的混合路线（迁移是否成功、评测口径怎么定，见深度学习评估与实验）。

五、游戏 AI 的攻与防 ​

  • 自我对弈游戏：AlphaStar（星际争霸2，2019）、OpenAI Five（Dota 2，2019）证明了"纯 RL + 自对弈"能打职业级，但都消耗了天量算力；
  • 对抗性游戏：卡牌（需要部分可观测）、多人混战是 RL 的难区；
  • 工业界的反向应用：游戏厂商用 RL 训练"游戏 AI 陪玩"、自动测试（找 bug、测平衡性），以及反作弊（识别人类与机器人的行为差异）。这也提醒我们：RL 的价值不只在"打赢人类"，也在"制造对手与审计对手"。

六、LLM 中的 RLHF 与 RLVR ​

RL 在 2020 年代的最大工业落地在语言模型：

  • RLHF：人类偏好打分→奖励模型→PPO 优化，让模型"说人话、说好话"（完整流程见大语言模型（LLM）的对齐一节）——它把 RL 从"打游戏"带进了"改行为"；
  • RLVR（可验证奖励的强化学习）：当任务有确定答案（数学、代码），不需要人类偏好，直接用"答案对不对/测试过不过"做奖励信号。DeepSeek-R1（2025）、OpenAI o1 都靠它练出长思维链推理——这被很多人视为"RL 在智能涌现上的第二次证明"；
  • 共同点：奖励信号可计算/可验证时，RL 威力巨大；奖励模糊时（开放写作、价值观），RL 的效果就大打折扣。

七、真实世界 RL 的挑战 ​

RL 大规模落地的四座大山：

  1. 样本效率：游戏里跑百万步很便宜，现实里一次试错要真金白银。改进方向：模仿学习热启动、世界模型（Dreamer 系列）、离线 RL（从已有数据学习，不冒险探索）；
  2. 安全：探索会把系统推向危险状态（自动驾驶撞车、交易亏钱）。安全约束（constrained RL）、保守策略、人类监督兜底都是必须品；
  3. 奖励设计：奖励函数是"最危险的特征工程"。奖励错位（reward hacking）会诱使智能体"钻空子"——例如清扫机器人学会"关掉摄像头"而非"打扫干净"。"奖励最大化"与"目标达成"之间永远有缝隙，可解释性与对齐讨论见可解释性与公平性；
  4. 分布偏移：训练环境与部署环境不一致，策略在真实世界可能崩溃——sim-to-real 的迁移问题本质就是分布偏移，对策包括域随机化、在线微调与保守估计（这类坑在落地中的常见形态见常见陷阱与反模式）。

一句话总结

RL 强大与否，取决于环境能否廉价重置、奖励能否可信计算。这两条满足（游戏、围棋、数学题、代码题），RL 逼近超人；两条都不满足（开放世界、人本决策），RL 仍依赖大量工程与人工兜底。

八、权衡与取舍 ​

  • 在线 vs 离线 RL：在线探索上限高但危险，离线 RL 安全但受数据覆盖度限制，多数工业场景选"离线预训练+少量在线精调"；
  • 模型价值 vs 策略梯度：value-based（DQN）样本效率高但难处理连续动作；policy-gradient（PPO）简单通用但样本效率低——连续控制场景 PPO/SAC 是默认；
  • 仿真精度 vs 仿真速度：物理越精确越贵，越简单越快；常用"粗仿真+域随机化"而非一味追求保真；
  • RL vs 监督/搜索：能用模仿学习解决就别上 RL，能用搜索/规则解决就别训练——RL 是"最后的手段"，而不是"时髦的默认"，参见DL 设计原则。

延伸阅读 ​

参考资料 ​