企业官网建设流程全解析

在我客厅的地板上，一只巴掌大的鸭子形机器人正在以每秒两步的频率往前迈，尾部电池舱微微下沉，鸭蹼式的脚掌落在地板上发出“啪、啪”的响声。刚走出半米，它右腿一软，身子向左侧歪过去，鸭嘴磕在地毯上。我蹲下来把它扶正，重新按下启动键，同时瞥了一眼笔记本屏幕上的训练曲线——上一轮强化学习跑出来的策略，刚好在一个我之前没测过的小地毯边缘处翻车了。

这个项目我从零折腾了大半年，目标很简单：做一台真正由强化学习驱动、全套开源的微小型双足鸭形机器人，从CAD建模、仿真环境、训练算法到真机部署，每一步都公开。目前整机重量控制在360克左右，高约12厘米，包含4个自由度，电池满载时能在硬木地板上稳定行走十几分钟，最大前进速度约0.12米/秒。听上去很不起眼，但为了让这只鸭子不摔，我先后试过PPO、IQL离线强化学习、基于模型的方法，还把因果强化学习（CRL）的因果推断工具嵌进了训练流程。这篇文章就是这段时间踩坑的系统复盘，适合正在做微型足式机器人、或者想把强化学习从仿真搬到真机上的朋友参考。

1. 为什么做一只会走路的鸭：微型足式机器人的设计与选型思路

1.1 尺寸、重量和作动器：微型机器人最大的限制其实是电力

微型双足机器人的难点首先不在算法，在于“巴掌大的体积里根本塞不满你想要的传感器和执行器”。我最初想做四足蜘蛛形，但4条腿至少需要8个关节舵机，加上控制器、电池和外壳，重量直接冲到600克以上，舵机选型、续航、结构强度都要重新评估。后来我把自由度砍到4个，做成每侧腿部两个舵机，这才把重量压下来。

我最终选定的作动器是可串行总线控制的微型舵机，峰值扭矩在3kg·cm左右，工作电压7.4V。整机硬件参数如下：

这里有个重要取舍：我刻意没有做膝关节。两条腿每侧只有“髋横滚”和“髋俯仰”，鸭蹼直接固定在小腿末端。原因是微小型双足机器人的步态频率可以做到很高，膝关节带来的额外惯量和控制复杂度在小尺度下收益很低，反而容易成为高频振动的来源。没了膝关节，整条腿就是一根碳纤维杆加一个宽脚掌，结构简单到几乎不会出机械故障，后续所有精力都能花在训练和调参上，而不是修零件。

1.2 鸭形外观不只为可爱：鸭蹼、尾部重心和鸭嘴的工程价值

很多人看到这个项目，第一反应是“外形讨喜”。但鸭形设计本身潜藏着好几个工程上的合理性，我一开始也没意识到，做坏了三个版本才品出来。

第一，鸭蹼脚掌天然扩大了支撑面积。传统的微型双足如果做成细脚跟，横向稳定完全依赖髋横滚电机的主动调节，稍有延迟就会侧翻。鸭蹼宽度做到3.5厘米后，静态站立时的侧向支撑角大幅增加，相当于在训练还没开始前就替强化学习策略解决了一半难题。实测中，同样奖励函数下，宽脚掌版本的训练收敛速度比窄脚掌快约三倍，因为策略不需要花大量时间学习“侧向不倒”。

第二，鸭形特有的尾部电池舱设计。电池放在躯干最后方而不是挂在背部，会让整个机器人的质心后移。你可能会觉得质心后移对前向行走不利，但配合鸭嘴前端的配重仓，整体质心恰好落在两脚支撑面的几何中心略偏前的位置。这个位置的动态稳定性非常好：前倾有余量，后仰也有尾舱配平。实际调试时，我调整鸭嘴内部配重的重量，前后移动几克，就能明显观察到步态姿态的变化。

第三，尾舱内部空间很大，容纳了全部线缆和降压模块。串行舵机的信号线、电源线、IMU连接线都从尾舱走，这样躯干中部和头部没有凌乱线材，既降低了转动惯量，也减少了行走过程中线缆甩动带来的噪声。线缆甩动在仿真里是根本不存在的，但在真机上会直接干扰IMU读数——尾舱收纳法是我踩了线缆缠绕的坑之后总结出来的。

2. 仿真优先：Gazebo环境搭建与物理参数背后的门道

2.1 URDF模型与惯性参数：险些让训练策略“学会飞”

仿真环境搭建是整个项目投入时间最长的部分。我用了经典开源组合：URDF模型文件加Gazebo仿真器，强化学习环境用gym接口封装。标题里写的“开源架构”，很大程度上指的就是这套仿真到训练的全链条代码全部公开可用。

先说URDF模型。我从FreeCAD里建模导出STL文件，再手写URDF描述四条腿的关节、连杆和惯性参数。很多人会忽略惯性张量，直接用软件默认的极小值，结果仿真里的机器人轻得像纸片，训练出来的策略一到真机就瘫。这里有个必须强调的换算问题：URDF里惯性张量的单位是kg·m²，但很多CAD软件导出的是g·mm²，差着10^9的系数。我第一版模型就是在这里翻了车，仿真里机器人能原地跳起30厘米高，策略“学会飞”，真机上却连站都站不稳。

物理参数标定是另一个容易被忽略的环节。URDF里的摩擦系数、电机力矩限制、关节阻尼系数，都不是随便填的。我参照实际舵机的堵转扭矩和空载速度做了折算：把舵机的输出力矩映射到URDF的effort_limit，把舵机内部减速齿轮的阻尼映射到joint的friction和damping参数。这个折算过程很粗暴，但比拍脑袋填值靠谱得多。仿真里机器人能走出稳定步态，真机至少有六成把握能用同样的策略。

2.2 域随机化：仿真“大礼包”与sim-to-real之间最短的路

仿真永远不等于真实，这句话放在微型双足机器人上尤其刺耳。真机上电池电压会掉、舵机会发热、地毯摩擦力会变、IMU会有温漂，这些干扰在仿真里一个都没有。要让策略具备跨场景迁移能力，我靠的就是域随机化（domain randomization）。

我在训练环境中给每个物理参数加了随机范围：机器人总质量在±10%浮动，各关节摩擦系数在0.3到1.2之间随机，舵机PD增益在±20%范围内抖动，初始姿态在轻微倾斜范围内随机设定。更关键的是，我会在每个训练回合开始时随机推一下机器人的躯干，模拟外界扰动。这个随机推力的幅度是逐步增加的，从几乎察觉不到的小力，慢慢加到能让机器人踉跄甚至跌倒的力度。域随机化让策略学会的不是“精确应对某一种地板”，而是“无论脚下是什么材质、电池还有多少电，都能尽量稳住姿态”。

训练完成后，我会把一个专门留出的小地形场景搬到Gazebo里做验证。这个Gazebo验证环境包含三种地面材质——硬木地板、短毛地毯、瓷砖。每次策略更新后，我会先跑Gazebo闭环验证，统计仿真跌倒次数和平均前进距离。达标后才敢把权重导出到真机上测试。域随机化的新手村配置我放在GitHub仓库的config.yaml里，直接跑就能复现。

2.3 Gazebo强化学习接口：别在旧世界的依赖里耗光时间

Gazebo上跑强化学习，社区里有现成的接口库gym-gazebo，但我必须提醒一句：这个库的原版依赖老旧的ROS版本和Python 2.7，直接安装会让你的开发环境瞬间倒退十年。我的建议是自己写一个轻量gym.Env包装器，本质上就是三件事：

• reset()：重置Gazebo模型位姿和关节状态，回到初始站立姿态。
• step(action)：把动作映射为关节目标角度，驱动机器人，读取IMU和关节编码器作为下一状态，计算奖励。
• reward()：根据前向速度、姿态偏差、能量消耗、是否跌倒来计算单步回报。

这个包装器大概三百行代码，却能彻底摆脱老旧依赖的纠缠。开源头文件在仓库的sim_env目录下，基于Python 3.10和Gazebo 11编写，ROS2的接口也已适配。另一个经验是，训练阶段别死抱着Gazebo不放。Gazebo物理仿真相对较慢，如果单环境串行采集数据，PPO一个晚上只能跑几十万步，效率太低。我在训练阶段使用MuJoCo和PyBullet做并行数据采集，Gazebo只承担验证阶段的任务。这样既保证了训练速度，又保留了Gazebo这一套接近真机噪声模型的验证通道。

3. 算法不只是PPO：小机器人训练策略与离线/因果/基于模型的组合玩法

3.1 在线PPO打底：奖励设计才是真正的“隐形架构”

训练算法的第一版我用的是PPO（Proximal Policy Optimization），业界最稳的在线强化学习算法，没有之一。网络结构很简单：三层MLP，隐藏层维度256，输入约18维，输出4维关节修正量。状态观测包括IMU的六轴读数、姿态角、腿部关节角度和角速度、上一步动作，以及前向速度指令。

这里有一个关键设计：强化学习并不直接输出关节绝对角度，而是输出一个“残差修正量”，叠加在正弦步态生成器产生的目标轨迹之上。也就是说，基础步态由固定频率的正弦波控制，机器人先按照鸭子摆动的节律迈步，强化学习只负责学习“在什么时机修正髋横滚角度多少度、修正髋俯仰角度多少度”。这种参考轨迹加残差学习的方法，极大地缩小了动作探索空间，训练收敛速度大约是从零直接学动作的5倍以上。对于微型机器人而言，电机执行能力本来就有限，探索空间过大会让策略走上一些物理上根本做不到的动作。

奖励函数设计是我花了最多心思的地方，它直接决定了策略行为。我最终的奖励组合如下：

• 速度跟踪奖励：exp(-(v_cmd - v_actual)² / 0.25)，前向速度越接近指令值奖励越高。
• 姿态稳定惩罚：roll和pitch偏差的平方值，偏差越大惩罚越大，权重0.5。
• 平滑性惩罚：相邻两步动作差的平方，权重0.001，防止高频抖动。
• 能量惩罚：动作绝对值的平方，权重0.001，鼓励省电。
• 跌倒惩罚：跌倒时一次性-20，并终止本回合。

我在TensorBoard上观察奖励曲线时发现，初始一千个回合几乎没什么进展，策略就是原地抖动；从大约两千回合开始，步态逐渐成形；到八千回合后基本稳定，能够在仿真中以0.1m/s的速度持续前进。这个过程中最大的敌人是“局部最优”——策略学会了一种非常丑陋但不会跌倒的姿态，比如一直蹲着滑步。为了摆脱这种局部最优，我调大了速度跟踪奖励的相对权重，同时偶尔在训练中期重置一次“成功路径”，让策略重新探索。

3.2 IQL离线强化学习：把跌倒数据变成宝贵的训练素材

PPO这种在线算法有个天然缺陷：训练过程依赖于实时探索，万一策略崩溃，产生的大量数据只能丢弃。但实际训练中，机器人摔倒是常态，这些跌倒轨迹恰恰是最珍贵的困难样本。要让这些历史数据发挥作用，就需要离线强化学习，其中最接地气的选择就是IQL（Implicit Q-Learning）。

IQL的核心机制可以这么理解：它不要求用当前策略反复与环境交互，而是从一个固定的历史数据集里学习。在鸭子机器人项目里，我用在线PPO训练时不停地把经验池数据存储到本地磁盘，包括大量跌倒片段。第一轮PPO训练完成后，我从这些历史数据中训练IQL模型，相当于让机器人“复盘”自己过去丢分的场景，从中学会如何在快要侧翻时伸出鸭蹼调节重心。

IQL引入后，最明显的收益是策略鲁棒性的提升。原本PPO在瓷砖地面上偶尔会失足，经过一轮IQL离线微调后，失足率降低了一大截。因为离线数据里包含了大量不同摩擦系数下的跌倒片段，策略相当于见过了更多负样本，不再对某些边界条件过于自信。这给了训练流程一个很好的补充通道：在线探索产生数据，离线数据再反过来提升在线策略。

3.3 基于模型的强化学习：世界模型让“试错”的成本大幅下降

在线强化学习的另一个痛点是样本效率低。微型双足机器人每一步动作周期只有几十毫秒，一次完整训练需要数万次试错，如果全在真机上跑，电机磨损和电池消耗都受不了。后来我在训练流程中增加了一层基于模型的强化学习（MBRL），思路很简单：先学习一个环境动态模型，用这个模型代替真实环境做短时间的想象推演，减少实际交互次数。

具体做法是，用过去的所有仿真状态转移数据拟合一个轻量神经网络，输入当前状态和动作，预测下一时刻状态。这个“世界模型”不需要很精确，只要能让策略在想象中“预演”一小段时间就够了。实际训练时，我会让PPO在真实仿真环境里跑70%的步数，剩下30%的步数在动态模型里虚拟推演。由于虚拟推演成本极低，策略能在同样时间内看到更多样的状态组合。尤其是在训练早期策略频繁跌倒的阶段，世界模型能把大量跌倒前的状态转移“喂”给策略，让它更快学会规避危险动作。

世界模型的拟合本身也有技巧，数据量不足时预测误差会被放大。我踩过的坑是：动态模型输入里如果不包含最近两步的关节角速度和电机输出，预测就会变得非常发散，三五个时间步之后状态轨迹就开始发飘。补上这些时序特征后，模型预测稳定性明显上了一个台阶。基于模型的方法不是万能的，但对这种小尺度、状态维度不高的微型机器人来说，收益确实可观。

3.4 因果强化学习的核心机制：CRL如何帮策略“忽略视觉噪音”

3.4.1 因果推断嵌入强化学习的设计理念：这是标题里特意点出来的一部分。因果强化学习（CRL）的出发点，是普通强化学习只学习状态、动作和奖励之间的相关性，而因果强化学习要学习它们之间的因果关系。机器人训练中经常出现这样的情况：策略发现某个观测变量与高奖励存在相关性，但实际上该变量只是环境干扰的伴随现象，而不是真正决定成败的因果因素。如果不剔除这些非因果变量，策略一旦换到新环境，就会因为依赖了虚假关联而崩溃。

我在鸭子机器人仿真中做了一个实验：在仿真地板上随机布置不同颜色的方块，它们和机器人的行走完全无关，但初始几轮训练时，策略会莫名其妙地开始把“红色方块出现”与某些动作关联起来。这就是典型的虚假相关。CRL的做法是，在训练流程中嵌入一个因果发现模块，对观测变量之间的因果关系做推断，然后通过“干预”（do算子）生成反事实样本，让策略意识到“即使红色方块出现或消失，自己当前的动作导致的结果不变”。经过这种因果感知训练，策略会把注意力集中在真正影响身体平衡的变量上——姿态角、关节角速度、地面反馈力等，而忽略场景中的无关特征。

3.4.2 CRL模块在开源架构中的落地方案：在我们的项目代码里，CRL并不是独立算法，而是作为一个包装层嵌入在线RL训练循环。具体流程是：每个批次训练数据进来后，先用因果发现工具对“状态变量-动作-奖励”三元组构建因果图，识别出那些对奖励没有因果影响但高度相关的干扰变量；然后把这些干扰变量从策略网络的注意力计算中屏蔽。这一处理可以理解为对策略做了一次“科目隔离”，让它不要过度关注颜色、纹理这类场景特征。

在仿真中，CRL带来的提升在最开始并不明显，甚至因为训练开销增加而略慢。但当我用训练好的策略从仿真迁移到Gazebo验证环境，再迁移到真机时，优势显现出来了。真机上的地面材质、光照环境、背景物品和仿真完全不一样，普通PPO策略往往需要数次真机微调才能适应，而经过CRL处理的策略几乎一次性就能站稳，因为它的决策依据里就根本没有颜色或纹理这种在真机与仿真间剧烈变化的变量。对于mini双足机器人这种传感器信息有限、噪声大的平台，CRL帮策略把“哪些信号真正重要”这件事提前想清楚了。

3.5 异步训练架构：数据采集和梯度更新的解耦

最后一个算法层面的设计是异步训练架构。微型双足机器人的仿真环境可以并行开启很多个，如果用一个进程串行运行环境和训练，GPU大部分时间都在等待环境返回数据。我把整个训练流程拆成了两个角色：

• 数据采集worker：负责并行运行多个仿真环境，每个环境独立跑步态，把经验数据写入共享缓冲区。
• 训练learner：负责从缓冲区取数据、计算梯度、更新策略参数，然后定期把最新权重广播给采集worker。

这种异步设计的好处很实在：采集环境的物理仿真快慢不一，串行时必须等最慢的一个，异步架构让慢环境不再拖慢训练。我本地一台六核CPU机器可以并行跑12个MuJoCo环境，采集速度提升到串行模式的8倍左右。训练一个可用的步态策略，从原来的一整夜缩短到三小时。仓库里这套异步代码基于Python的multiprocessing实现，没有依赖分布式框架，跑通的成本很低。如果有人想进一步扩展，可以换成Ray集群，逻辑是完全兼容的。

4. 开源架构怎么串起来：从训练到部署的全链路软件设计

4.1 仓库结构与关键模块：能复现的架构才有意义

整个项目的开源仓库结构如下，每一层都有明确的职责划分：

很多开源项目的问题在于“代码能跑但无从下手”。我在写这套仓库时刻意把配置文件抽离出来，所有训练参数集中在config.yaml里，包括随机种子、域随机化范围、奖励权重、训练回合数、批量大小。任何一个人拉下仓库，第一件事就是打开config.yaml看明白整套流程的开关。训练流程的入口也很简单：先跑ppo_train.py训练基线策略，再跑iql_finetune.py做离线数据微调，最后跑export_onnx.py导出部署格式。这个三步走的顺序，就是我踩完坑后留下来的最稳路线。

4.2 模型导出与树莓派部署：ONNX在微型控制器上的极限

强化学习训练得到的PyTorch模型不能直接上真机，因为真机端没有PyTorch环境。我用ONNX格式作为部署中间层。导出的ONNX模型只有几百KB大小，包含三层MLP结构和全部权重参数，推理计算量极小。

推理板我用的是树莓派Zero 2W，这是低功耗ARM板卡，跑ONNX Runtime的单线程推理，单次推理耗时约6毫秒。也就是说，即使策略周期设定为10Hz，板卡也绰绰有余，甚至能跑到50Hz以上。但实际部署时我不会把策略频率设得太高，原因是舵机的物理响应速度有限，串行总线的传输带宽也有限。我最终把策略周期定为20Hz：陀螺仪和加速度计数据以200Hz采集，IMU滤波后以20Hz合成姿态观测，策略网络以20Hz输出关节修正量，舵机构造指令也以20Hz下发。

整个真机数据链路我用ROS2组织起来：树莓派上跑一个duckbot_infer节点，订阅IMU话题和关节反馈话题，发布目标关节角度话题；ESP32-S3通过串口与树莓派通信，负责底层舵机控制和IMU原始数据采集。这样的层级设计让仿真和真机之间的切换成本很低——仿真里step(action)的动作在真机上就是发布一个关节目标角度消息，状态观测在真机上就是收集IMU和编码器消息，接口完全一致。

4.3 版本兼容与依赖锁定：为什么我坚持用虚拟环境

开源项目最容易被吐槽的就是依赖地狱。我在自己的开发机上吃过太多亏，所以这次把依赖锁定得非常死。项目根目录下有requirements.txt，明确标定了Python 3.10、PyTorch 2.0.1、Stable-Baselines3 2.0、MuJoCo 2.3、gymnasium 0.29等版本。不要轻信“最新版本”一定更好，Stable-Baselines3的API在各个版本间变动很大，升级一次小版本，可能导致训练脚本大面积报错。我自己曾在一次升级后被迫重写了四百行训练代码，从此学乖了。部署端使用Dockerfile做了环境快照，任何人拉下仓库，按照README里的指令构建镜像，就能得到一个与我的开发环境完全一致的环境。这种做法让项目可复现性大幅提升。

5. 真机部署中的实测问题与调参避坑笔记

5.1 电池电压变化与“黄昏跌倒”现象

我第一次让机器人在硬木地板上连续行走时，前五分钟一切正常，但到了第六分钟开始频频向左偏转，最后干脆跌倒。起初我以为是步态策略有问题，反复调了很久奖励函数都没解决。后来仔细排查才发现，问题出在电池电压上：2S锂电池从满电8.4V降到7.8V时，舵机输出扭矩明显下降，左右两侧舵机由于磨损差异，力矩下降曲线不完全一致，导致两侧推力不对称，机器人开始向单侧画圈。我把这个现象叫“黄昏跌倒”，就像人工作了一天到傍晚腿发软。

解决思路分两步。第一步，把电池电压作为一个观测维度加进强化学习状态空间。仿真中设置电压在7.4V到8.4V之间均匀随机变化，并让电机力矩参数随电压缩放。第二步，真机上监控电池电压，低于7.6V时自动降低步频和动作幅度请求。这两步叠加后，机器人能够平稳地度过整个电池寿命区间，而不是在电量下降时突然崩坏。这个教训让我深刻体会到，硬件平台的非线性特征必须在训练阶段就显式建模，否则再怎么调reward都没用。

5.2 舵机响应延迟与“点头”步态的博弈

微型舵机的响应速度远比仿真中理想电机模型慢。仿真里电机可以在几毫秒内达到目标角度，但真实舵机内部有PID控制器和减速齿轮，从收到指令到实际到位，通常需要40到80毫秒。起初我把策略频率调到50Hz，理论上控制更精细，实际却适得其反——舵机还来不及跟上新指令，下一条指令又来了，关节一直处于“追目标”的状态，表现为机器人行走时头部一耸一耸地点头。

我采用的对策是把策略频率降到20Hz，让舵机有充足的时间去跟踪每个动作指令。同时，我在奖励函数中加入了关节角速度的平滑惩罚，策略不再追求高频抖动。这个改动效果立竿见影，点头现象几乎消失，行走姿态也顺眼多了。得出的经验是：控制频率不是越高越好，要跟执行器的物理带宽匹配。有时候离线仿真里表现良好的高频策略，上了真机反而像个帕金森患者。做足式机器人的人常说“仿真里是跑车，真机上是牛车”，说的就是这个道理。

5.3 IMU振动噪声：减震海绵和互补滤波的取舍

IMU数据质量直接决定姿态观测的可靠性。微型舵机运转时，整机振动很大，加速度计读数里夹杂大量高频噪声。如果直接把这些噪声放进观测输入，策略会被迫学习“应对噪声”而消耗表达容量。

我在IMU安装位置加了一层3毫米厚的高密度减震海绵，将传感器与机身主板隔开。这个物理层减震比任何滤波算法都有效，高频振动幅值下降超过一半。算法层面，我使用互补滤波融合陀螺仪和加速度计数据：陀螺仪积分负责高频姿态变化，加速度计的低通输出负责校正低频漂移。互补滤波的加权系数我调到了0.02，陀螺仪权重极高。这样得到的姿态角在动态行走过程中仍然平滑，不会有刺眼的跳变。需要特别说明的是，滤波器会引入相位延迟——滤波过深，姿态滞后，策略反应不及时；滤波过浅，噪声放大。我实测下来0.02这个系数是一个不错的平衡点，它带来的延迟在20Hz控制周期内可以接受。

5.4 脚掌摩擦与落地冲击：鸭蹼不是越防滑越好

鸭蹼形脚掌的材质选择也是靠试错得来的。最初的脚掌是3D打印硬质PLA材质，在硬木地板上抓地力很差，机器人起步时经常打滑。后来我在脚掌底部贴了一层硅胶垫，摩擦力大幅提升，但新问题接踵而至：硅胶与地面的摩擦系数太高，迈步时脚掌被“粘”在地面上，阻碍了摆动腿的动作，导致机器人频繁绊倒。

这个问题的本质是摩擦系数必须在一个恰当区间内，而不是越大越好。我在仿真里把摩擦系数随机范围从0.5到1.8之间均匀分布，让策略在训练阶段见过不同地面条件。真机最终选用软硬度适中的橡胶鞋底，既保证落地时有一点缓冲，又不会拖拽过强。另外，落地冲击对脚掌结构也是个考验，碳纤维杆与鸭蹼的连接处在数百次跌落后容易松动。我用热缩管包裹连接点，既增加了结构韧性，也避免金属件直接撞击地面。这类机械细节在仿真里完全看不出问题，真机一跑全暴露了。

5.5 训练崩溃排查：先看奖励分解，再动网络结构

最后分享一个调参思路。训练过程中策略崩溃是家常便饭，但崩溃的原因五花八门：有可能是奖励权重失衡，策略学会了站在原地不动拿存活奖励；也有可能是学习率太大，策略更新出现振荡；还有可能是动作缩放错误，导致输出范围超出了舵机物理极限。

我养成了一个习惯：每次训练前，先在TensorBoard中记录奖励分解项——速度跟踪、姿态稳定、平滑性、能量这几项单独记录。崩溃后第一件事不是改网络结构，而是看哪一项奖励的曲线突然走高或走低。如果速度跟踪奖励消失，说明策略放弃前进；如果姿态稳定惩罚飙升，说明机器人在尝试某种失控动作。这个排查顺序能省下一大堆盲改的时间。只有在奖励分解正常但策略仍然很差的情况下，我才考虑调整网络结构或学习率。对于微型双足这种状态维度不高、动作空间不大的问题，三层MLP完全够用，不需要上Transformer或者CNN，把精力放在奖励塑形和域随机化上更有效。

6. 后续还能怎么扩展：一台鸭子机器人的更多可能

项目做到这个阶段，我最大的感受是：强化学习驱动的微型机器人，难点从不在某个单一环节，而在于整个链条的紧密耦合。仿真物理参数、奖励函数、域随机化范围、舵机响应延迟、电池电压曲线，任何一环的改变都会传导到最终行走姿态上。开源这套架构，正是希望后来者不必从头踩一遍我踩过的坑。

如果你也想复现或者继续扩展，我建议从两个方向入手。

第一个方向是增加任务复杂度。当前架构下机器人只会直行与简单转向，但完整的状态观测和底层接口已经支持引入速度指令跟踪、目标点导航，甚至多机协作。只需要在真机部署端加上一个导航节点，把前进方向指令作为策略输入的一部分，就能让鸭子机器人学会追着目标走。

第二个方向是提升数据闭环效率。目前真机部署阶段产生的数据并不会自动回传训练池，如果你希望让机器人在真实环境中持续自我提升，需要搭建一套真机数据回传与离线微调流水线。IQL离线微调天然适合这个场景，真机上采集到的困难样本可以随时补充到训练数据集里，让策略在部署后仍能持续“进化”。这个是我想做的下一个版本，本质上就是让这只鸭子“越走越稳，越走越聪明”。项目代码、模型文件和部署镜像都已开源，欢迎在此基础上玩出你自己的版本。