企业官网建设流程全解析

研一那会儿，导师甩过来一篇《Mastering Atari with Discrete World Models》，“去读，读懂了给我讲讲”。我心想，一篇论文而已，还能比矩阵分析难？结果翻开正文，满眼都是“latent dynamics”“imagination rollout”“straight-through estimator”，每个词查完中文意思，连起来依旧不知道在说啥。后来花了两周，配合开源代码一遍遍回看，才算真正摸到这篇离散世界模型论文的骨架。回头看，这篇论文其实是把“用模型模拟环境、再让智能体在模型的想象中学习”这件事做到了一个新的高度，并且用 Atari 游戏证明：只给 10 万步交互，智能体就能学会接近或超过人类的拿分能力。

这篇精读笔记就是写给当年的“研一小白”的：我会把离散世界模型、Atari 评估设置、训练流程拆成大白话，连带我自己踩过的坑一起讲清楚。如果你正准备用这篇论文入门基于模型的强化学习，或者想搞懂世界模型为什么能这么省样本，这篇东西应该能帮你少走不少弯路。

1. 读标题之前，先把这三个问题想清楚

读论文最忌讳拿到手就往下啃。标题里三组词——Mastering Atari、Discrete、World Models——分别是结果、手段和路线。我先从这三个词入手，把论文的“坐标系”钉住。

1.1 “世界模型”不是环境本身

世界模型（World Model）这个词听起来玄，本质就是：用神经网络去模拟环境的动态规律。真正的游戏环境，你输入一个动作，它返回下一帧画面和奖励；世界模型想学会同一件事——给一个状态和动作，预测接下来的状态变化和奖励走向。区别在于，环境是外部给的，而世界模型是“脑内推演”的。

强化学习里一直有两条路线。无模型方法（Model-Free RL）不猜测环境规律，直接在真实交互里试错，靠大量样本把策略磨出来；基于模型的方法（Model-Based RL）则先学一个预测模型，再用这个模型去虚构数据、训练策略，目的就是省真实交互。这篇论文走的是后者，但它不是简单“学一个模拟器”，而是把模拟器建立在离散潜变量之上。

我个人的理解是：世界模型解决的问题不是“怎么玩游戏”，而是“怎么让游戏在神经网络里低成本地重演一遍”。真实环境跑一步要等模拟器返回像素、执行奖励计算，慢且贵；世界模型跑一步只是在张量之间做矩阵运算，快得多。有了它，智能体就能在想象中做大量练习。

1.2 “离散”到底离散在哪里

很多研一同学看到 Discrete，第一反应是“动作空间是离散的”。Atari 的动作确实离散，但这篇论文的离散不是指动作，而是指潜空间（latent space）的表示形式。

过去的 DreamerV1 这类世界模型，潜变量通常用高斯分布描述。也就是说，模型认为隐藏状态是有连续数值的向量，通过一个均值加方差去表示不确定性。这种做法有它的合理性，但训练时有一个让人头疼的毛病：预测未来的潜状态时，连续分布容易“糊”——模型倾向于预测一个平均值，把可能性摊平在中间区域。打个比方，问它“下一秒画面是什么”，答案是一个清晰场景和另一个清晰场景的概率叠加，它直接报出一个两个场景的模糊平均——这在图像重建上看起来就是一团雾。

这篇论文把潜变量换成了离散的分类变量：每个潜变量不是连续数，而是从有限的候选集合里挑一个。这样，预测未来就被简化成“在候选格子中选类别”，模型被迫做出明确选择，信息细节保存得更好。牺牲了一点点连续表示的平滑性，换来长时预测的清晰度，事实证明很值。

1.3 Atari 为什么是这一轮的“标准考场”

Atari 游戏在强化学习里有点像图像识别里的 ImageNet：动作数量固定、像素输入规范、环境各有特色，而且大家能在同一套接口上对比。这篇论文用的是 Atari 100k 设置，意思是只允许智能体在环境里交互 10 万步，差不多 40 万帧画面。这个预算远低于经典强化学习动辄上千万甚至上亿帧的交互量，能逼着算法在样本效率上见真章。

在 100k 步这种“低预算”场景下，传统无模型方法经常还没摸清游戏规则，基于模型的方法因为有世界模型提前“推演”，能更早积累有效经验。论文提出模型在 55 个 Atari 游戏上的平均人类归一化得分超过人类均分，标题里的 Mastering 就是这么来的。

2. 架构拆解：三层网络的接力跑

离散世界模型整体可以理解成一条流水线：先看画面，再压缩成离散潜变量，再靠循环网络推演未来，最后用预测出来的表示指导动作。和很多人想的不同，它不是一个大网络，而是几个模块各司其职。

2.1 从像素到离散潜变量：编码器先“翻译”画面

输入是游戏画面，一般会做灰度化、缩放、堆叠近期帧等预处理，但核心逻辑不变：用一个卷积编码器把图像压成一个低维表示。这个低维表示不是随便给的，而是要先经过一轮“向量量化”——把编码器输出映射到离散的码本（codebook）上。

码本可以理解成一本有限的“常用词词典”。模型每看到一个画面，不是因为输出任意连续向量，而是从词典里挑固定数量的条目拼出一条离散编码。假如我用 32 个分类变量、每个变量 32 个选项，这一时刻的潜状态实际上就是一个由 32 个“词条索引”组成的集合。解码的时候，再用这些索引查回嵌入向量，交给解码器恢复画面。

一个绕不开的问题是：分类变量的选择操作不可导，没法做反向传播。论文采用的做法是直通估计器（straight-through estimator）——前向传播时按概率采样或取 argmax，反向传播时假装做了连续计算，直接把梯度传回去。工程上粗暴但有效，这也是复现时最容易出问题的地方：很多人把采样逻辑跳过了，直接用 argmax，训练时间一长镜头感会明显变差。

2.2 循环状态：记忆与推演的中枢

离散潜变量的选择只是一层表示，真正的“预测”依赖循环状态网络。世界模型里通常有一个 GRU 或类似循环结构，输入是上一时刻的潜变量和动作，输出是当前的循环状态，记作 h_t。这个 h_t 有点像短期记忆，用来整合既往信息、感知当前处境。

为什么需要循环状态？因为单看一帧图像，你往往分不清游戏的真实状态：两个画面长得一样，可能规则状态完全不同。比如某些游戏里同样的像素布局，下一步的可能性和剩余时间差别很大。世界模型需要一个会累积历史的载体，h_t 就承担这个职责。它的更新规则大致是：根据上一时刻的循环状态、上一时刻的离散潜变量、以及动作，计算出新的 h_t，然后由 h_t 决定当前时刻潜状态的先验分布。

这里有个关键设计：潜变量存在两套分布，一套是带观测的后验分布 q(z_t | h_t, x_t)，一套是不看观测的先验分布 p(z_t | h_t)。训练时两个分布都要算，一个用于精确重建，一个用于预测未来；在“想象轨迹”阶段没有真实观测，只能用先验分布来滚动。两套分布的差异由 KL 散度约束，逼着先验也能做出跟后验相近的判断。

2.3 从离散潜变量回到像素：解码器负责“确认自己懂了”

解码器的任务简单粗暴：给一个循环状态和离散潜变量，重建当前画面。前向时它把潜向量塞进转置卷积，还原出和输入尺寸一致的图像，再用重建误差监督。

研一同学容易困惑：又不是所有任务都要画游戏画面，为什么非得有解码器？因为图像重建是一种很强的自监督信号。世界模型学到的东西如果连画面都重建不好，说明潜变量没保存关键信息；反过来，如果重建质量高，说明离散潜状态确实抓住了视觉世界的主要变化。训练后期你甚至可以拉一组想象轨迹出来“做梦”，看模型在没有真实帧的情况下能不能生成连贯画面，这是最直观的检查手段。

重建目标本身不一定要逐像素精确到失真——只要能保留下游规划需要的信息，过高的重建精度反而可能让世界模型把精力耗在细节噪声上。论文实验里能明显感觉到，解码器不是花瓶，但也不能把它的解码指标当成最终胜负指标，真正的考核还是策略在真实环境里的得分。

3. 训练流程：先学会“做梦”，再用梦来练策略

架构只是骨架，训练流程才是让模型真正跑起来的血液。这篇论文最出彩的地方不是某个模块有多复杂，而是把“数据采集—世界模型学习—想象中策略进化”三件事拧成了一个稳定闭环。

3.1 数据从哪来：真实交互进重放池

流程起始于一小段随机探索或旧策略交互。智能体先在环境里跑一些轮次，把观测、动作、奖励、折扣因子存进重放缓冲区。接下来训练世界模型时，从这个缓冲区里随机抽长度固定的子序列，训练编码器、解码器、循环状态和预测头。换句话说，世界模型学的不是当前策略的最新经验，而是整个重放池里混合分布下的动态规律。

这种离线式训练在早期会让我产生疑惑：策略一直变化，旧数据还管用吗？实际上，重放池反而提供了一种“经验平滑”。由于 Atari 游戏的动态规则固定，世界模型学的是环境本身而不是某条策略的动作风格，旧样本也不会失效。真正要操心的反而是样本多样性——如果智能体一直只会往左走，重放池里就永远只有左侧场景，世界模型对右侧世界的预测必然瞎猜。

这里有个明显的工程规律：训练世界模型的采样批次要尽量覆盖不同游戏阶段、不同得分区间，别只拿最后一段“成功经验”来学。用大白话说，模型得先见多识广，才能谈得上下一步预测得准。

3.2 世界模型的目标函数：重建、奖励、折扣与 KL

论文里的世界模型损失，表面上是一行公式，实际上分成四个术业专攻的项。我把它理解成四个“教练”同时考核学生：

L_world = E[ -ln 重建画面似然 -ln 奖励预测似然 -ln 折扣预测似然 + beta * KL(后验潜变量 || 先验潜变量) ]

第一项是画面重建，约束编码器跟解码器，让潜变量保留足够视觉信息。第二项是奖励预测，给定循环状态和潜变量，模型需要预测这一步拿多少分，这样在想象轨迹里才能算出价值。第三项是折扣预测，用来区分“游戏是否接近终止”，因为在想象中没有环境的终止信号，模型必须学会自己判断回合会不会结束。第四项是 KL 散度，加一个权重 beta 调强弱，让只看历史的先验去贴近看过当前帧的后验。

奖励和折扣通常被当成分类问题来做，而不是回归问题：先离散成多个区间，再用一个分类分布输出。这一点别看轻了。从一开始就把输出建模成分布，模型在想象轨迹里就不只是给期望值，还能顺便给不确定性，对后续策略评估更稳。

一个辅助细节是 free bits：直接把 KL 压到零会让潜变量失去信息，可以给它设一个最低额度，表示“这部分信息量我不想压缩掉”，剩下的再往小压。这在实践里能明显减少模型偷懒现象。读论文时如果不理解这个动机，你会发现训练早期 KL 掉得飞快，重建却开始变糊，就是这个机制没设对。

3.3 策略学习：在“想象轨迹”里练动作

世界模型训练到差不多，接下来就轮到决策模块了。策略由一个 Actor 网络和一个 Critic 网络组成。Actor 负责输出动作分布，Critic 负责给当前所处潜状态打分。关键区别是：它们的训练数据不是来自真实环境，而是来自世界模型没完没了的想象 rollout。

想象 rollout 的流程我复述一遍：先从某个潜状态出发，用 Actor 采样动作；把动作喂给循环状态和先验潜变量，过程一步推一步；每一步由奖励预测头算奖励，由折扣预测头算提前终止；最后把这些想象的奖励累加，作为 critic 的学习目标。由于整个过程都在神经网络内部进行，相对真实环境几乎零成本，智能体可以在零点几秒内“脑补”出几十条虚拟轨迹。

这也是整篇论文的核心逻辑：智能体的大部分策略改进，发生在它闭上眼睛做梦的时候。真实世界只负责喂经验、校准梦境，剩下的高强度练习全部在梦里完成。研一同学听“离线强化学习”可能会多想一层，其实这里不完全是离线，仍然有真实环境少量探索，只是环境采样的占比被大幅压缩了。

在实现时，actor 的损失要包含策略梯度项和价值误差项。论文为了让梯度能顺利反传到世界模型里，做了一些很细致的梯度停止操作：有的地方允许梯度穿透潜变量，有的地方明确阻断。这些细节在读论文两三遍之后才会冒出来，却直接决定训练稳定度。

4. 实验结论的正确打开方式

论文如果不做实验，再怎么优美也只是空谈。这篇论文在 Atari 100k 基准上的表现，是它被称为“Mastering”的关键证据。但读实验也要讲方法，不能只记住一个“超过人类”口号。

4.1 Atari 100k：限制预算才是真考验

Atari 100k 的精髓在于“钱少事多”。100k 步听起来不少，但换算成游戏时间大概只有几个小时的人类操作量。无模型强化学习在这种交互量下往往只够做几轮完整探索，想收敛策略远远不够。世界模型的价值恰恰体现在这里：它用真实交互学出对环境动态的预测，然后在虚拟空间里反复试错，把有限的真实样本“膨胀”成大量训练数据。

评估时常用的指标是“人类归一化得分”，把智能体得分映射到 0 分表示随机策略、100 分表示人类水平。论文报告了两种聚合方式：一是所有游戏的平均值，二是中位数。均值更容易被个别高分游戏拉高，中位数更能代表多数游戏的实际水平。所以看论文不能只盯最高的那只柱状图，要同时看均值和中位数，如果两者都高，说明效果不是靠某一两个游戏冲出来的。

4.2 实验结果的启示：离散表示带来的增益

论文最直接的贡献是证明了：在同样的整体框架下，把连续高斯潜变量换成离散分类潜变量，能把最终得分抬上一个台阶。从结果来看，它在 55 个游戏上平均超过人类基线，这在不依赖大规模搜索、不依赖人类演示的条件下是很亮眼的成绩。

为什么会这样？我的理解是，离散表示改变了学习的难度分布。潜变量变成分类问题之后，先验预测不再需要猜测一个连续值，而是选择有限类别；误预测的代价更明确，梯度信号更干净。本质上是把“预测未来”从一个高自由度回归任务，改写成一个高结构分类任务，天然更适合有清晰规则的 Atari 游戏。

另外要注意，论文里横竖做了各种消融：去掉离散表示、去掉 KL 项、改掉想象轨迹长度，都会导致性能下滑。读实验时不要只抄结果表，可以试着把“贡献清单”对应到每张图上：哪个模块在哪个游戏上最有效，这才是读论文能带走的真东西。

4.3 复现实验时你会遇到的现实

研一小白若是想按论文默认配置完整复现，要做好心理准备：单靠一张普通显卡，跑完 55 个 Atari 游戏的完整评估，时间代价不小。论文的官方配置里，每个游戏都需要独立训练，每个实验又要跑多条随机种子，算下来是一笔很大的算力开销。很多同学在复现时只跑两三个游戏看指标，这种做法不是不行，只是下结论时要留有余地，别拿两三个游戏的表现去质疑整篇论文。

我在复现过程中最大的感受是：真实采样反而成了时间瓶颈，因为环境交互要等模拟器计算，没法用 GPU 直接加速；而世界模型的虚拟 rollout 虽然也一样在 GPU 上算，但单步代价小得多，真正“烧卡”的是重复的 rollout 长度和批量大小。如果资源紧张，建议先把世界模型的 Loss 曲线跑稳，再去看最终分数，别一开始就在“超过人类”这个标准上死磕。

5. 研一小白这样精读，效率最高

这部分不是复述论文，是我自己的阅读流程。研一新生最难的不是没有能力，而是不会分配注意力，容易在第一遍就卡死。

5.1 第一遍：只看摘要、图表和结论

第一遍的目标不是理解全部细节，而是搞清“作者说解决了什么问题、怎么解决、结果如何”。我会从头到尾快速扫一遍摘要、引言中的贡献列表、实验表格。看不懂公式？跳过。看不懂方法细节？跳过。第一遍如果能把每个 H2 章节的意图用一句话概括，就成功了。

这个方法适合所有论文，尤其适合 DreamerV2 这种工程细节极其密集的文章。第一遍扫下来，你应该至少能说出：本文用的是深度强化学习里的基于模型方法，核心创新是把潜空间从连续改成离散，实验场景是 Atari 100k，结果是平均超过人类基线。只要为了这些信息，就已经值回票价。

5.2 第二遍：做一张“符号表”再啃公式

第二遍开始进入正文。我的习惯是拿一张纸或一个文档，把所有符号集中抄下来：观测 x_t、动作 a_t、潜变量 z_t、循环状态 h_t、策略参数 θ、世界模型参数 φ，等等。这些符号关系一旦理清，后面所有公式都只是排列组合。

看公式时，把每个损失项跟网络模块对应起来：重建项对应解码器，KL 项对应后验与先验，奖励项对应奖励头。这一遍不需要把论文里每个超参数都背下来，但要能回答“这个公式在优化什么”“哪个符号管哪个模块”。第二遍走完，论文的核心逻辑就应该能脱离原文复述了。

5.3 第三遍：对照开源代码做回填

第三遍是研一小白最容易忽略的环节。论文文字再严谨，也省略了大量隐藏细节——归一化方式、梯度裁剪、损失项权重、采样顺序，这些不写进正文但会直接影响复现。我建议把开源实现下载下来，用检索功能搜关键词，比如“KL”“reward”“obs_loss”，看它们分别对应论文公式里的哪一项。

比如论文里写了直通梯度，你在代码里就会看到类似 detach 或 stop_gradient 的操作；论文里讲了想象力 rollout，你在代码里也能找到一段循环潜变量预测的流程。把代码和公式互相参照之后，你对这篇论文理解会从“看完觉得懂了”变成“能讲给别人听”。而且这种对照能力是可迁移的，下一篇再看其他模型，几十个小时的硬读能省掉一大半。

5.4 笔记模板：让思考留下痕迹

精读论文不光是划重点。我常用的笔记模板很朴素：第一栏写论文要解决的问题；第二栏写方法整体思路；第三栏写关键公式和自己的推导心得；第四栏写实验结果；最后一栏写读完后的疑问、可延伸方向。这份笔记不需要很长，但要确保一个月后回看还能看懂。

关于“延伸方向”，我写下来往往比结论本身更值钱：比如“离散世界模型是否适合做机器人轨迹预测”“这种直通估计器能否用到多智能体场景”，这些问题是后续做研究找方向的出发点。研一阶段读一篇论文不只是为了消化一篇文章，更是为了在脑子里攒下一批“还能做什么”的问号。

6. 我踩过的坑和三条忠告

最后聊点论文之外的事。精读这篇论文时，我犯过不少“看起来很努力、其实方向不对”的错误，这里整理出来供你参考。

6.1 三个经典误区

第一个误区是把“离散潜变量”等同于“离散动作”。它们关系不大：离散潜变量讲的是世界模型内部表示怎么编码状态；离散动作是环境允许智能体做什么。认清这一点，你才不会在看代码时满脑子找分类动作函数，结果发现动作采样逻辑和潜变量采样逻辑根本没绑定。

第二个误区是忽略循环状态 h_t 的作用。有人读完只记得编码器和解码器，以为世界模型就是变分自编码器加了奖励头，结果怎么也解释不了“预测未来”是怎么做到的。实际上，h_t 才是时间维度的中枢，它把之前的信息打包起来，让当前潜变量有条件去预测后续状态。没有 h_t，世界模型只能“看图说话”，谈不上“推演”。

第三个误区是训练策略时把梯度一路无脑穿透世界模型。代码里会多处出现 stop gradient，这是训练稳定性设计，不是随手加的。如果你在做消融时把梯度阻断都取消，大概率会得到剧烈震荡的损失曲线。这种稳定细节，论文里一句带过，代码里却值得反复体会。

6.2 三条忠告

第一条忠告：别追求一次全懂。我第一次读这篇论文，到 actor-critic 部分就彻底卡住，硬啃了两天，收效甚微。后来按“先跑通代码，再回来读公式”的顺序，很多卡点自动解开。对研一来说，由代码反推理论往往比正着读理论舒适得多。

第二条忠告：勤动手画数据流图。Word 或者画图板都行。从“编码器—离散潜变量—GRU—解码器”画起，再补上 actor、critic 和世界模型的连接，你会发现自己的理解漏洞立刻暴露出来。画不出来，就是没读懂。

第三条忠告：读完以后，回头再看论文标题。Mastering Atari with Discrete World Models 这个标题其实是全篇最浓缩的总结：在 Atari 这种高维视觉任务上，用离散世界模型打通“想象—规划—学习”闭环，最终达到接近或超过人类的游戏水平。把这句话用自己的话复述一遍，再在它下面写一句“我能改什么”，这篇论文就算真正读完了。

我自己的体会是，读这种工程与理论并重的论文，最大的收获不是背下某个网络结构，而是学会了一整套“如何用模型替代环境、如何把交互预算省下来”的思维方式。有了这个框架，再看后续各种世界模型、决策 Transformer 的工作，你会发现它们其实都在同一个脉络里补位。希望这份精读笔记能让你少走点弯路，尤其是别在“离散”这两个字上纠结太久。