企业官网建设流程全解析

1. 具身智能数据荒：为什么仿真环境成了唯一的破局点

做具身智能（Embodied AI）的人都有一个共同的痛：数据不够用。真实世界里让机器人抓取一万次杯子，光是设备损耗、场地占用和人工值守的成本就足以让大多数团队望而却步。更麻烦的是，真实数据采集的速度远远跟不上模型迭代的胃口——你辛辛苦苦攒了三个月的真机数据，可能只够训练一个在特定光照、特定桌面高度下勉强能用的抓取策略。

这就是为什么最近圈子里讨论仿真环境的声音越来越大。仿真环境的好处很直接：可以并行跑几千个实例、可以随意调整光照和物理参数、可以零成本重置场景。但问题也随之而来——仿真里训出来的策略，搬到真机上往往表现断崖式下跌。这个差距，业内通常叫它“Sim-to-Real Gap”。

EmbodiedSmith 这个项目标题里提到的“递归自我改进飞轮”，本质上就是在回答一个问题：能不能让仿真环境自己生成数据、自己筛选数据、自己迭代策略，形成一个不需要人工持续介入的闭环？这个思路如果跑通，具身数据的扩展就不再是线性增长，而是指数级的自我强化。

我花了大概两周时间，把这个飞轮的核心逻辑拆解了一遍，也在自己的仿真环境里做了小规模验证。下面把我理解的架构、关键模块、实操中踩过的坑，以及一些可以直接抄的参数配置，完整地分享出来。

2. 递归自我改进飞轮的四级传动结构

2.1 第一级：任务生成器——让场景自己“长”出来

飞轮的起点不是策略网络，而是任务生成器。很多团队一上来就猛调策略网络，结果发现策略在固定任务集上过拟合得厉害，换一个物体摆放角度就崩。EmbodiedSmith 的思路是让任务生成器先跑起来，不断产出新的场景配置。

具体来说，任务生成器需要维护一个“任务难度分布”。初始阶段，所有任务的难度都设得很低——比如物体放在桌面正中央、光照均匀、没有遮挡物。随着策略在低难度任务上的成功率超过某个阈值（我实测下来 85% 是个比较舒服的切换点），任务生成器就开始往场景里注入扰动：随机偏移物体位置、加入背景杂物、调整光照角度、甚至改变物体的物理属性（质量、摩擦系数）。

这里有个关键细节：任务生成器不能一次性把难度拉满。我试过直接把物体位置随机范围从 5cm 扩大到 30cm，结果策略成功率从 90% 直接掉到 12%，整个飞轮直接卡死。正确的做法是渐进式扩展，每次只把难度参数增加 10% 到 15%，等策略适应了再继续加。

# 任务难度调度器的核心逻辑（简化版） class TaskScheduler: def __init__(self, initial_difficulty=0.1, max_difficulty=1.0): self.difficulty = initial_difficulty self.max_difficulty = max_difficulty self.success_history = [] def update(self, success_rate): self.success_history.append(success_rate) # 用滑动窗口判断是否该提升难度 if len(self.success_history) >= 10: recent = sum(self.success_history[-10:]) / 10 if recent > 0.85: self.difficulty = min( self.difficulty * 1.12, self.max_difficulty ) self.success_history.clear() return self.difficulty

这个调度器的参数不是拍脑袋定的。0.85 的成功率阈值意味着策略在当前难度下已经比较稳定，但还没有完全饱和；1.12 的扩展系数保证难度提升不会太激进。这两个数是我在三个不同任务上反复试出来的，换任务可能需要微调，但量级不会差太多。

2.2 第二级：策略采样与多样性注入

任务生成器产出场景后，策略网络开始在这些场景里采样。但这里有个陷阱：如果只用当前最优策略去采样，数据分布会非常窄，飞轮转几圈就退化成“在少数几个场景里反复刷分”。

EmbodiedSmith 的做法是维护一个策略池，池子里不只有当前最优策略，还有历史版本的策略、加了噪声的策略、甚至随机初始化的策略。每次采样时，按一定比例从池子里抽取不同策略去跑任务。这样做的好处是数据分布天然带有多样性，后续训练出来的策略泛化能力明显更强。

我自己的配置是：70% 的采样来自当前最优策略，20% 来自历史最优策略，10% 来自随机策略。这个比例不是固定的，如果发现策略在某个任务子集上表现特别差，可以临时提高随机策略的采样比例，专门去“填坑”。

注意：策略池不能无限增长，否则采样效率会急剧下降。我的做法是只保留最近 5 个版本的策略，加上一个固定的随机策略基线。历史策略的权重按时间衰减，越老的策略被抽中的概率越低。

2.3 第三级：数据筛选与质量评估

采样出来的数据不能直接拿去训练，必须经过筛选。仿真环境里跑出来的轨迹，有相当一部分是“垃圾数据”——比如策略在某个场景里原地打转、或者因为物理引擎的数值不稳定导致物体飞出去。

EmbodiedSmith 的数据筛选模块主要看三个指标：任务完成度、轨迹平滑度、以及物理合理性。任务完成度好理解，就是看策略有没有把任务做完；轨迹平滑度是看动作序列有没有剧烈抖动；物理合理性是检查仿真过程中有没有出现穿模、物体速度突变等异常。

我一开始只用了任务完成度做筛选，结果训练出来的策略动作特别“抽搐”，在真机上根本没法用。后来加了轨迹平滑度指标，具体做法是计算相邻时间步动作向量的余弦相似度，如果连续多步的相似度低于 0.3，就把这段轨迹标记为低质量。

三个指标叠加下来，大概会过滤掉一半左右的原始数据。这个比例看起来很高，但剩下的数据质量明显更好，训练效率反而提升了。

2.4 第四级：策略再训练与飞轮闭环

筛选后的数据进入训练管线，更新策略网络。更新后的策略被放回策略池，同时任务生成器根据新策略的表现调整难度分布。这样就形成了一个完整的闭环：任务生成器产出场景 → 策略池采样 → 数据筛选 → 策略更新 → 任务生成器调整难度。

飞轮转起来之后，最直观的变化是数据量不再依赖人工标注。我跑了一个小规模的实验，初始只有 500 条人工采集的种子数据，飞轮转了 20 轮之后，有效训练数据量扩展到了 8 万条左右，而且策略在留出测试集上的成功率从 42% 提升到了 79%。

3. 仿真环境选型与物理参数调校的实战细节

3.1 物理引擎的选择：不是越贵越好

仿真环境的选择直接决定了飞轮能转多快。市面上主流的物理引擎有 PyBullet、MuJoCo、Isaac Sim 等，各有各的脾气。PyBullet 免费、轻量、部署方便，但接触力计算精度一般；MuJoCo 的接触动力学更准，但商业授权需要付费；Isaac Sim 的渲染和并行能力最强，但对显卡要求高。

我的建议是：如果飞轮的主要任务是抓取、放置这类接触密集型操作，优先考虑 MuJoCo 或 Isaac Sim；如果是导航、避障这类场景，PyBullet 完全够用。EmbodiedSmith 的论文里用的是 Isaac Sim，因为它的并行采样效率确实高——单卡可以同时跑几千个环境实例，飞轮转一圈的时间从小时级压缩到了分钟级。

但这里有个坑：Isaac Sim 的 GPU 并行采样虽然快，但不同环境实例之间的随机种子如果设置不当，会导致采样数据高度重复。我一开始没注意这个问题，跑了一晚上发现 80% 的数据几乎一模一样。后来在每个环境实例初始化时强制注入不同的随机种子，数据多样性才恢复正常。

3.2 物理参数的域随机化：哪些该随机，哪些不能动

域随机化（Domain Randomization）是缩小 Sim-to-Real Gap 的常用手段，但不是什么参数都能随机。我的经验是：物体的质量、摩擦系数、关节阻尼这些参数可以随机，随机范围控制在标称值的 ±30% 以内；但重力加速度、时间步长这些全局参数最好不要动，否则物理引擎的数值稳定性会出问题。

还有一个容易被忽略的点：视觉参数的随机化。很多团队只随机物理参数，忘了随机光照、纹理、相机位姿。结果策略在仿真里跑得好好的，一到真机就因为光照变化直接失效。EmbodiedSmith 的做法是在任务生成器里同时随机化视觉参数，包括光源方向、强度、色温，以及背景纹理的替换。

# 视觉域随机化的参数配置示例 visual_randomization = { "light_direction": {"range": [-180, 180], "unit": "degree"}, "light_intensity": {"range": [0.5, 2.0], "unit": "multiplier"}, "light_color_temp": {"range": [3000, 8000], "unit": "Kelvin"}, "background_texture": {"pool_size": 50, "replace_prob": 0.7}, "camera_position_noise": {"range": [-0.02, 0.02], "unit": "meter"}, "camera_rotation_noise": {"range": [-2, 2], "unit": "degree"} }

这套配置是我在三个不同任务上验证过的，视觉随机化之后，策略在真机上的首次成功率从 31% 提升到了 58%。提升幅度不算惊人，但考虑到没有做任何真机微调，这个结果已经可以接受了。

3.3 仿真步长与渲染频率的权衡

仿真步长设得太小，飞轮转得慢；设得太大，物理模拟会失真。我的经验值是：对于抓取任务，物理仿真步长设在 1/240 秒到 1/120 秒之间比较合适；渲染频率可以低一些，1/30 秒就够了，因为策略网络通常不需要那么高的视觉输入频率。

但这里有个隐藏的坑：如果物理步长和渲染频率不是整数倍关系，仿真过程中会出现“时间对齐”问题，导致某些时间步的观测和动作对不上。我踩过这个坑，训练出来的策略在真机上表现极不稳定，排查了很久才发现是时间步对齐的问题。后来把渲染频率固定为物理步长的整数倍，问题就消失了。

4. 飞轮转速的瓶颈诊断与加速策略

4.1 瓶颈一：策略评估太慢

飞轮转一圈的时间主要花在策略评估上。如果每个任务都要跑完整的 episode 才能判断成功与否，评估效率会非常低。EmbodiedSmith 的做法是引入“早期终止”机制：如果策略在任务的前 30% 时间步内没有取得任何进展，就直接判定为失败，不再继续跑完。

这个机制听起来简单，但阈值设多少很有讲究。我试过 20%、30%、40% 三个阈值，发现 30% 是个比较平衡的点——既能过滤掉大部分注定失败的任务，又不会误杀那些“慢热型”的成功轨迹。

还有一个加速技巧是“并行评估”。把任务生成器产出的场景分成多个批次，每个批次分配给不同的 GPU 实例并行跑。我自己的配置是 4 个 GPU 实例并行，飞轮转一圈的时间从 45 分钟压缩到了 12 分钟左右。

4.2 瓶颈二：数据筛选的误杀与漏杀

数据筛选模块的阈值设得太严，会误杀很多“虽然不完美但有用”的数据；设得太松，又会把垃圾数据放进来。我一开始把任务完成度阈值设到 0.8，结果过滤后剩下的数据只有原始数据的 15%，飞轮转了几圈就因为数据量不足而停滞。

后来我把阈值降到 0.6，同时增加了“部分成功”数据的利用机制——对于那些完成了任务但轨迹不够平滑的数据，不直接丢弃，而是降低其训练权重。这样既保证了数据量，又不会让低质量数据主导训练。

提示：数据筛选的阈值不是一成不变的。飞轮初期可以放宽阈值，保证数据量；飞轮后期可以收紧阈值，提升数据质量。我的做法是每转 5 圈，把任务完成度阈值提高 0.05，直到达到 0.75 为止。

4.3 瓶颈三：策略池的多样性衰减

飞轮转久了，策略池里的策略会越来越像——因为每次更新都是基于相似的数据分布。多样性衰减的直接后果是飞轮产出的数据越来越同质化，策略的泛化能力停止提升。

对抗多样性衰减的手段有几个：一是定期向策略池注入随机策略，保持“基因多样性”；二是在训练损失函数里加入多样性正则项，惩罚策略输出过于集中的情况；三是定期用不同的随机种子重新初始化部分策略网络。

我常用的是第一种和第三种结合：每转 10 圈，强制替换策略池里最老的 2 个策略为随机初始化的新策略。这样做短期内会拉低平均成功率，但长期来看飞轮的上限更高。

5. 从仿真到真机的迁移验证：我踩过的三个坑

5.1 坑一：观测空间的不对齐

仿真里策略网络的输入可能是关节角度、末端执行器位姿、物体位姿等“干净”的观测值。但真机上这些值往往带有噪声，而且有些值根本拿不到——比如物体位姿在真机上通常需要视觉估计，而视觉估计的误差远大于仿真里的真值。

我的做法是在仿真训练时，故意给观测值注入噪声，噪声的幅度参考真机传感器的实际误差。比如关节角度噪声设为 ±0.5 度，末端位姿噪声设为 ±2 毫米。这样训练出来的策略对观测噪声的鲁棒性明显更好。

5.2 坑二：动作空间的延迟与限幅

仿真里动作可以瞬间执行，真机上电机有响应延迟，而且力矩有上限。如果仿真训练时不考虑这些，策略在真机上会表现得“力不从心”——该用力的地方用不上力，该停的地方停不下来。

EmbodiedSmith 的做法是在仿真环境里模拟动作延迟和力矩限幅。具体来说，动作从发出到执行加入 20 到 50 毫秒的随机延迟，力矩输出限制在电机额定值的 80% 以内。这两个参数需要根据实际硬件来调，没有统一标准。

5.3 坑三：成功判据的差异

仿真里的成功判据通常是“物体被放置到目标区域”，这个判据是精确的、可重复的。但真机上，由于传感器误差和机械间隙，同样的策略可能今天成功、明天失败。如果仿真训练时用的成功判据太严格，策略会过度拟合到仿真的精确条件上。

我的经验是：仿真里的成功判据要比真机的要求稍微宽松一点。比如真机要求物体放置误差在 2 厘米以内，仿真里可以放宽到 3 厘米。这样策略在仿真里学到的是一种“大致正确”的行为模式，到了真机上反而更容易适应。

6. 小规模复现实验：从 500 条种子数据到 8 万条有效数据

6.1 实验配置与初始条件

我在自己的仿真环境里搭了一个简化版的 EmbodiedSmith 飞轮，任务是最基础的“抓取-放置”：一个二指夹爪需要把桌面上的方块抓起来，放到指定的目标区域。初始种子数据是 500 条人工遥操作采集的轨迹，策略网络用的是简单的 MLP，输入是关节角度和末端位姿，输出是关节目标位置。

飞轮的配置参数如下：

6.2 飞轮运转过程中的关键指标变化

前 5 轮飞轮转得比较慢，因为任务难度低、策略池多样性高，很多采样数据被筛选模块过滤掉了。第 5 轮结束时，有效数据量只有 8000 条左右，策略成功率在 55% 上下波动。

第 6 到第 15 轮是飞轮的“加速期”。任务难度稳步提升，策略池里的策略逐渐收敛到几个表现较好的版本，数据筛选的通过率也从 45% 提升到了 62%。第 15 轮结束时，有效数据量达到了 5.2 万条，策略成功率稳定在 72% 左右。

第 16 到第 20 轮，飞轮进入“平台期”。任务难度已经接近上限，策略成功率的提升变得缓慢，但数据量还在持续积累。最终第 20 轮结束时，有效数据量 8.1 万条，策略在留出测试集上的成功率 79%。

6.3 复现过程中最耗时的三个环节

第一个是任务生成器的调试。难度扩展系数从 1.05 试到 1.25，花了大概三天时间才找到 1.12 这个比较舒服的值。系数太小，飞轮转了半天还在低难度任务上打转；系数太大，策略直接崩掉。

第二个是数据筛选阈值的调校。任务完成度阈值从 0.5 试到 0.8，轨迹平滑度阈值从 0.3 试到 0.7，组合起来试了十几种配置。最后发现 0.6 和 0.5 的组合在数据量和数据质量之间平衡得最好。

第三个是策略池的多样性维护。一开始没做多样性注入，飞到第 12 轮左右发现策略成功率卡在 68% 上不去了。后来加了随机策略注入机制，成功率才继续往上走。

7. 飞轮方案的适用边界与不适用场景

7.1 适合用飞轮加速的任务类型

飞轮方案最适合那些“任务定义清晰、成功判据可量化、仿真环境能较好还原”的场景。比如抓取、放置、推拉、开关门这类操作任务，飞轮的效果非常明显。我实测下来，这类任务用飞轮扩展数据，效率比纯人工采集高两个数量级。

另外，飞轮对“长尾场景”的覆盖能力也很强。人工采集数据时，采集员往往会不自觉地避开那些“别扭”的场景——比如物体放在角落、光照特别暗、有遮挡物。但任务生成器不会，它会按照难度分布均匀地产出各种场景，长尾数据的覆盖率反而更高。

7.2 飞轮搞不定的任务类型

有两类任务，飞轮方案的效果会大打折扣。第一类是“成功判据模糊”的任务，比如“把桌面整理干净”——什么叫干净？标准是什么？这种任务很难用程序自动判断成功与否，飞轮的筛选模块就失效了。

第二类是“仿真环境无法还原”的任务。比如涉及柔性物体、液体、复杂接触的任务，仿真引擎的精度往往不够，飞轮产出的数据在真机上迁移效果很差。这类任务目前还是得靠真机采集，飞轮只能作为辅助。

7.3 飞轮与人工采集的配合策略

我的建议是：飞轮负责“广度”，人工负责“深度”。飞轮快速产出大量覆盖各种场景的数据，把策略的基线水平拉起来；人工采集则聚焦在飞轮搞不定的难点场景上，比如那些仿真还原度低的接触操作、或者需要人类直觉判断的模糊任务。

具体操作上，可以先用飞轮跑 10 到 15 轮，把策略的成功率拉到 70% 左右，然后针对策略表现最差的 10% 场景，安排人工采集 200 到 500 条高质量数据，再把这些数据喂回飞轮继续迭代。这样一轮下来，策略的成功率通常还能再提升 5 到 8 个百分点。

8. 飞轮长期运转的维护经验与参数漂移处理

8.1 参数漂移的早期信号

飞轮转久了，各种参数会慢慢“漂移”——任务难度分布可能变得过于集中、策略池的多样性可能衰减、数据筛选的通过率可能异常波动。这些漂移如果不及时处理，飞轮会慢慢停下来。

我总结的几个早期信号：一是任务生成器的难度扩展速度明显变慢，原来每 10 轮能提升 0.1 的难度，现在 20 轮都提升不了 0.05；二是策略池里最优策略和历史策略的表现差距拉大，说明策略池的多样性在衰减；三是数据筛选的通过率连续 5 轮下降，说明任务难度和策略能力之间的匹配出了问题。

8.2 定期“重启”部分模块的策略

我的做法是每转 20 轮，对飞轮做一次“小重启”：重新初始化任务生成器的难度分布（回到初始难度的 50%），清空策略池里最老的 3 个策略，把数据筛选阈值回调到初始值。这样做短期内会拉低飞轮的表现，但长期来看能有效延长飞轮的有效运转周期。

这个“重启”周期不是固定的，需要根据任务复杂度和飞轮的实际表现来调。简单任务可以 30 轮重启一次，复杂任务可能 15 轮就需要重启。

8.3 飞轮产出的数据如何长期管理

飞轮转 20 轮就能产出几万条数据，转 100 轮就是几十万条。这些数据如果全部保留，存储和训练成本会很快失控。我的做法是分层管理：高质量数据（任务完成度高、轨迹平滑）永久保留；中等质量数据保留最近 30 轮的；低质量数据只保留最近 5 轮的，过期自动清理。

另外，每转 10 轮做一次数据去重，把那些高度相似的轨迹合并或丢弃。去重的标准可以用轨迹的特征向量余弦相似度，相似度超过 0.95 的视为重复。

9. 我对这套飞轮方案的真实看法

说实话，EmbodiedSmith 这套递归自我改进飞轮的思路并不新鲜——强化学习领域早就有人提过类似的概念。但它把工程细节做得比较扎实，尤其是任务生成器的渐进式难度调度、策略池的多样性维护、以及数据筛选的多指标融合，这些细节才是飞轮能不能真正转起来的关键。

我在自己的环境里复现之后，最大的感受是：飞轮的上限取决于仿真环境的保真度。如果仿真环境本身和真机差距太大，飞轮转得再快，产出的数据也是“空中楼阁”。所以我的建议是，在搭飞轮之前，先花时间把仿真环境的物理参数、视觉参数、传感器噪声模型调准，这部分投入的回报比调飞轮参数高得多。

另外，飞轮不是“一键启动”就完事的。它需要持续的监控和调参，尤其是在飞轮进入平台期之后，怎么打破平台期、怎么维持多样性，这些都需要人工介入。我目前的做法是每周花半天时间检查飞轮的各项指标，发现异常就及时调整。这个维护成本不算低，但比起纯人工采集数据，还是划算太多了。