1. 从“蒙眼狂奔”到“心中有图”为什么我们需要基于模型的强化学习想象一下你正在一个完全陌生的迷宫里寻找出口。一种方法是“蒙眼狂奔”你随便选个方向走撞墙了记住疼换个方向再试。这就是典型的无模型强化学习比如我们熟知的DQN、PPO。智能体通过海量的“试错”在环境中不断交互最终学会一个从状态到动作的映射策略。它不需要知道迷宫长什么样只需要知道“在某个位置往左走会撞墙”这个经验就够了。这种方法很强大尤其在游戏、机器人控制等领域取得了巨大成功。但“蒙眼狂奔”的代价是巨大的——样本效率极低。为了学会一个复杂的任务智能体可能需要与环境交互数百万甚至上亿步。在现实世界中无论是训练一个真实的机器人还是在医疗、金融等高风险领域进行试错这种成本都是无法承受的。每一次交互都可能意味着时间、金钱的消耗甚至是安全风险。这时另一种思路出现了为什么不先花点时间把迷宫的地图画出来呢这就是基于模型的强化学习的核心思想。这里的“模型”特指环境模型它能够预测给定当前状态和智能体将要执行的动作环境的下一个状态和即时奖励会是什么。简单说它是一个对真实世界运行规律的“模拟器”或“预测器”。拥有了这个环境模型智能体就可以在“脑海”里进行推演和规划。它不需要每次都去真实环境中撞墙而是可以在模型内部进行“思想实验”评估不同行动序列的长期后果从而选择最优策略。这极大地提升了样本效率因为大量的试错过程发生在计算成本低廉的模型内部而非昂贵的真实环境中。从“试错学习”转向“规划学习”正是MBRL吸引人的根本原因。2. 环境模型MBRL的“世界模拟器”核心剖析基于模型的强化学习其成败关键几乎完全系于“环境模型”的质量。一个糟糕的模型其规划结果将是灾难性的所谓“垃圾进垃圾出”。因此理解如何构建、训练和使用环境模型是掌握MBRL的第一课。2.1 模型的形式化定义与分类在强化学习的标准框架中我们通常用马尔可夫决策过程来描述在状态s_t下采取动作a_t环境会转移到新状态s_{t1}并给出奖励r_t。环境模型M的目标就是近似这个状态转移函数和奖励函数M(s_t, a_t) - (s_{t1}, r_t)根据模型预测的粒度我们可以将其分为两大类确定性模型对于相同的(s, a)模型总是输出唯一确定的(s, r)。这类模型通常结构简单训练稳定在环境动态相对平滑、噪声较小时表现良好。例如用一个深度神经网络直接拟合状态和奖励。随机性模型模型输出的是下一个状态和奖励的概率分布如P(s, r | s, a)。这更能捕捉真实世界的不确定性。实现方式可以是输出高斯分布的均值和方差概率模型或者是集成多个确定性模型集成模型用模型之间的差异来度量不确定性。注意在实际操作中尤其是面对高维、复杂的观测如图像直接预测原始像素级别的下一个状态极其困难且不必要。更常见的做法是学习一个在潜在空间中的动力学模型。即先用一个编码器将观测o_t压缩为低维状态表示z_t然后模型学习在潜在空间中的转移z_{t1} f(z_t, a_t)最后用一个解码器重建出观测。这大大降低了建模难度。2.2 模型学习数据、网络与损失函数构建模型本质上是一个监督学习问题。我们需要收集一个数据集D {(s_t, a_t, s_{t1}, r_t)}然后用它来训练模型M。数据收集初期智能体通常用一个随机策略或简单的无模型算法如SAC与环境交互收集初始数据。这是一个“鸡生蛋”的问题没有好模型就没有好策略没有好策略就收集不到高质量数据。因此MBRL算法往往是交替进行的收集一些数据 - 改进模型 - 用新模型规划更好的策略 - 用新策略收集更高质量的数据。网络结构对于连续状态动作空间一个经典选择是采用多层感知机。输入是状态和动作的拼接向量输出是下一状态和奖励。对于图像输入则需要引入卷积编码器-解码器结构。损失函数最常用的是均方误差损失。对于状态预测和奖励预测分别计算L λ_s * || s_{pred} - s_{true} ||^2 λ_r * (r_{pred} - r_{true})^2其中λ_s和λ_r是平衡两项权重的超参数。对于随机性模型损失函数可能是负对数似然。我个人的一个实操心得是在训练动力学模型时不要过度追求在训练集上的完美拟合。一个在训练数据上误差极小但在未见过的状态-动作对上误差暴增的模型对于规划来说比一个普遍粗糙但稳定的模型更危险。因为规划会不可避免地访问到模型预测不准的区域如果模型对自己的错误“过于自信”即确定性模型在分布外区域给出荒谬但确定的预测会导致规划完全跑偏。这就是为什么近年来集成动力学模型变得非常流行。训练5-7个结构相同但初始化不同的模型用它们的预测均值作为最终预测用方差来衡量模型的不确定性并在规划中规避高不确定性区域能显著提升算法的鲁棒性。3. 基于模型进行规划从预测到行动的决策引擎有了一个训练好的环境模型我们如何利用它来做决策这就是“规划”部分。规划器可以看作是在模型内部运行的一个“内部强化学习”过程其目标是在这个模拟环境中找到最优的动作序列。3.1 常见的规划算法随机打靶法这是最简单粗暴但往往有效的办法。在当前状态s_t下随机生成K条长度为H的动作序列[a_t, a_{t1}, ..., a_{tH-1}]。用动力学模型M逐步推演每一条序列计算出每条序列的累计预测奖励。最后选择累计奖励最高的那条动作序列的第一个动作a_t执行。重复此过程。这种方法计算开销小易于并行但规划深度H和采样数K需要仔细权衡。交叉熵方法一种更高效的采样优化方法。它不再完全随机采样而是维护一个动作序列的分布通常是高斯分布。迭代地进行从当前分布中采样一批动作序列用模型评估它们保留表现最好的一批精英样本用这些精英样本来更新动作序列分布计算新的均值和方差。通过几轮迭代分布会逐渐收敛到高性能动作序列的区域。CEM在控制领域非常常用。模型预测路径积分这是一种基于随机最优控制理论的更高级的规划方法。它通过在动作序列上添加扰动并基于扰动产生的轨迹回报来更新动作序列本质上是在进行一种梯度上升优化。MPPI对模型误差有较好的鲁棒性但理论更复杂。基于模型的策略优化这属于另一大类思路即不进行在线规划而是利用模型来生成大量的模拟数据然后用这些数据像训练无模型算法一样去训练一个策略网络。例如Dyna架构就是用模型生成“想象”的经验来增广经验回放池。而近年来的MuZero算法则将其推向了极致它同时学习模型、价值函数和策略并在一个内部搜索树中结合模型和价值进行规划其模型甚至不试图重建真实状态而是预测对未来决策有用的“抽象状态”。3.2 规划中的关键挑战与应对策略在模型内部做规划听起来很美但陷阱重重复合误差模型不可能绝对准确。在一步预测中误差可能很小。但当进行多步长序列规划时每一步的预测误差会累积、放大导致推演若干步后的状态可能与真实情况相差千里。这就是“复合误差”问题。应对策略限制规划深度H采用短视规划只规划未来几步使用集成模型来估计不确定性并在规划中惩罚进入高不确定性区域的路径更激进的做法是让模型直接学习一个更长期的、跳过中间步骤的预测。分布偏移智能体通过规划找到的策略会引导它访问一些状态-动作对。如果这些状态-动作对在当初训练模型的数据集D中很少见甚至没有那么模型在这些区域的预测就会非常不可靠。这就是训练数据分布和策略诱导分布之间的偏移。应对策略采用迭代的数据收集和模型训练流程确保模型随着策略的改进也在不断用新数据更新使用不确定性感知的规划主动规避模型不熟悉的区域或者采用更保守的规划目标在追求高回报和避免未知风险之间取得平衡。一个非常实用的技巧是在实现规划算法时一定要加入可视化调试工具。例如将模型预测的多条轨迹在状态空间或关键观测维度上绘制出来与真实智能体执行的一条轨迹进行对比。你可以直观地看到模型预测的轨迹是否发散模型是否低估了某些障碍物的成本规划器选择的动作是否总是倾向于某个极端这种可视化对于诊断模型误差、调整规划参数如成本函数权重、采样数至关重要远比盯着损失函数曲线有效。4. MBRL vs MFRL核心差异、适用场景与混合架构理解了MBRL的运作机制我们可以更清晰地将其与主流的无模型强化学习进行对比并探讨如何取长补短。特性维度基于模型的强化学习无模型的强化学习核心机制规划。在内部模型中进行“思考”和“推演”选择动作。试错。直接与环境交互从经验中学习价值函数或策略。样本效率高。一次真实交互的数据可用于模型内部的无数次模拟推演。低。需要大量真实的环境交互样本。最终性能可能受限。受限于模型精度可能无法达到理论最优。潜力高。在足够样本下可以逼近最优策略。计算开销在线决策慢。每个时间步都需要运行规划算法计算量大。在线决策快。策略网络通常只是单次前向传播。适用场景1. 真实环境交互成本高、风险大机器人、自动驾驶。2. 任务需要多步推理和规划。3. 环境动态相对稳定、可预测。1. 环境交互廉价、快速视频游戏、模拟器。2. 任务复杂环境动态难以准确建模。3. 对在线决策延迟要求高。显然两者各有优劣。因此一个自然的想法是能否将两者结合答案是肯定的这也是当前研究的一个热点——模型基础的无模型强化学习。其核心思想是利用模型来加速无模型算法的学习过程但最终策略的表现天花板由无模型算法决定。具体做法有很多Dyna风格用学到的环境模型生成大量的“模拟经验”将其与真实经验混合后放入经验回放池供无模型算法如SAC、TD3学习。这相当于用低成本的数据扩增了数据集加快了策略的收敛速度。AlphaGo的早期版本也利用快速走子模型来生成数据。基于模型的策略初始化先在学到的模型上用规划或MBRL算法训练一个初步策略然后将这个策略的参数作为无模型算法网络权重的初始值再到真实环境中进行微调。这提供了一个很好的搜索起点。隐式模型像MuZero那样不学习一个显式的、可解释的环境模型而是学习一个其输出专为规划和价值评估服务的“隐式模型”。它本质上仍然在进行规划但其模型和目标与无模型的价值学习紧密结合。在我参与的机器人仿真项目中我们采用了一种混合方案我们使用一个集成动力学模型来执行短视的CEM规划作为机器人的底层控制器。同时我们用一个无模型的SAC算法学习一个更高层的“目标条件策略”它为底层规划器设定短期的子目标。这样高层策略负责复杂的任务分解和抽象享受无模型的表达能力底层规划器负责精确、安全的轨迹生成享受MBRL的高样本效率和安全性。这种分层架构在实践中取得了很好的效果。5. 前沿探索与实战挑战不确定性、表征学习与离线MBRLMBRL领域仍在快速发展以下几个方向是当前的研究前沿和实战中的硬骨头5.1 不确定性量化的核心地位如前所述模型误差是MBRL的阿喀琉斯之踵。因此如何让模型“知道自己不知道什么”至关重要。除了集成方法还有贝叶斯神经网络、概率生成模型等。在规划中如何将不确定性纳入考虑一种方法是采用“悲观规划”在评估轨迹时不仅看预测奖励的均值还要减去一个与不确定性方差成正比的惩罚项从而鼓励智能体选择更安全、更熟悉的路径。5.2 状态表征学习对于图像、语音等原始观测直接学习动力学模型几乎不可能。因此学习一个紧凑、且包含动力学信息的潜在状态空间是MBRL应用于复杂感知任务的关键。这涉及到自监督学习、对比学习、世界模型等前沿领域。例如通过要求潜在状态能够重建观测、预测未来多帧、以及区分时间上相邻与非相邻的片段可以迫使编码器学习到与动力学相关的特征。5.3 离线MBRL这是目前非常热的方向。假设我们拥有一个大量历史交互数据构成的数据集但无法再与环境进行任何新的交互比如医疗记录、旧版机器人日志。能否仅凭这些离线数据学习一个模型和一个策略离线RL本身已是挑战加上模型学习后更为复杂。核心难点在于离线数据通常只覆盖了状态-动作空间的一小部分学到的模型在数据未覆盖区域会产生严重幻觉。如何约束规划器只在模型可信的区域活动是离线MBRL算法的设计重点。5.4 实战部署的工程细节理论很美好但将MBRL部署到实际系统如真实机器人时会面临一堆工程问题模型更新频率是每交互一步就更新一次模型还是每隔一个周期更新频繁更新可能导致规划不稳定。实时性要求规划算法必须在规定时间内如机器人的控制周期10ms返回动作。复杂的规划算法如大规模CEM或MPPI可能需要简化或采用近似。系统辨识真实环境的参数如摩擦系数、负载质量可能会缓慢变化或未知。模型是否需要在线自适应这引出了“元学习”或“系统辨识”与MBRL的结合。踩过的一个坑我们曾尝试将一个在仿真中训练完美的MBRL控制器迁移到真实机械臂上。仿真和真实的传感器读数、延迟特性存在差异导致模型预测失准。规划器基于错误预测做出的决策让机械臂做出了剧烈、危险的动作。教训是在仿真到真实的迁移中必须在真实环境中收集少量数据对模型进行微调或者引入一个“残差模型”来学习仿真与真实之间的差异。同时在部署初期必须严格限制规划器的动作幅度并加入安全监控层。