☰
从“不够相信AI”到押注强化学习:机器人研发的战略反思
2026/10/17 18:58:01 网站建设 项目流程

最近一位做四足机器人和人形机器人的创始人,在公开分享里说了一句特别扎心的话:过去十几年,自己犯的最大错误,就是对 AI 还不够相信。

这句话放到普通行业里可能就是一句谦虚,但在机器人这个圈子里,它不是表态,而是一个技术路线层面的战略复盘。做机器人的人都知道,过去二十年里,运动控制长期被传统方法主导,AI 长期只扮演点缀角色。创始人说"不够相信",翻译过来就是:很早就看见了 AI 的趋势,但没有在组织层面、资源层面、技术主线层面真正押注,还是习惯性地用老办法解决问题。等到 AI 范式席卷整个行业,才发现自己补课的成本远高于早几年 All in 的成本。

这篇文章我想从技术从业者的角度,把这句话拆开揉碎聊一聊:为什么"不够相信 AI"在机器人领域是一个致命的战略错误?传统方法到底卡在哪里?如果真要把 AI 变成产品核心,研发团队到底该怎么调整?以及那些已经踩过坑的人,后来是怎么走出来的。

1. 一句坦白背后的路线之争:模型派与学习派

1.1 机器人行业曾经确实有两条路线

不接触这个行业的人可能以为,机器人天生就该和 AI 绑定。但实际上,很长时间里机器人行业的主流技术路线是"模型派"。

所谓模型派,核心思路是:建立精确的运动学模型、动力学模型、环境模型,然后基于这些模型设计控制算法。比如四足机器人走路,我们先要算清楚每条腿的落点、机身姿态、地面反作用力,把整个过程抽象成数学模型,再用 ZMP 理论、倒立摆模型、模型预测控制(MPC)、全身动力学控制(WBC)这些工具去求解。走得稳不稳,取决于你的模型建得准不准、求解器调得好不好。

而"学习派"的思路完全不同:不显式建模,让算法自己在大量交互数据里学。最典型的就是深度强化学习,给机器人一个目标,让它不断试错,通过奖励信号学会跑、跳、爬楼梯、抗扰动这些技能。传统控制是在"推导"行为,强化学习是在"进化"行为。

这两条路线在学术圈争论了很多年。早期学习派在样本效率上非常吃亏,需要海量试错,真机上根本跑不起;而模型派虽然调参痛苦,但在实验室环境下表现稳定,加上算力限制,传统方法一直是产业界的主流。国内不少机器人创业公司就是这个阶段起来的,团队里控制工程师是主力,AI 工程师的角色很边缘。

1.2 "不够相信"的本质:不是态度问题,是资源配置问题

很多人在解读创始人的那句反思时,会把它理解成一个认知问题:当时眼光不够、没有看到 AI 的价值。但我觉得更准确的解读是——这是一个资源配置问题。

创始人对 AI 的态度大概率一直是"看好"的,毕竟圈内人,技术趋势不可能完全看不见。但"看好"和"相信"之间差着几十个 GPU、一整个仿真团队、两三条并行技术线的投入。当年的行业共识是:AI 很强,但还撑不起机器人的核心运动控制,传统方法才是立身之本。

所以研发资源自然流向确定性更高的地方:控制算法组人最多,仿真组其次,AI 组可能就几个人,承担的也是感知模块这种边角料工作,比如识别障碍物、做视觉定位。真正做到运动控制主线的,还是那套模型驱动的方法。

等到行业风向变了,头部团队开始用强化学习实现在四足和双足上的零样本迁移,一个策略在仿真里训出来,直接放到真机上就能走能跑,泛化能力远好于精心调参的控制程序。这时候才发现,当年只有"几分看好"的 AI,现在成了决定产品上限的关键。可问题是,AI 能力不是突击能补出来的,它需要数据积累、仿真环境搭建、训练流程打磨、人才梯队沉淀。你省下来的"押注 AI"的成本,会成倍变成后面的追赶成本。

2. 传统控制方法到底卡在哪里:从调参到泛化的双重困境

2.1 手工建模与调参的效果天花板

我身边做过四足的朋友,几乎都有被调参支配的恐惧。传统控制方法里,一个步态参数就够你调一个星期:前腿跨多少步幅、机身俯仰角补偿多少、摆动腿轨迹的频率和相位、着地瞬间的阻尼系数……每一个参数都不是独立的,牵一发而动全身。

举个简单的例子:你想让四足机器人从慢走变成快跑,不能简单把速度指令调高。速度一变,整个步态的周期、相位、支撑相比例都要跟着变,机身姿态的稳定性边界也在变。很多团队的做法是提前做好几种步态模板,慢走一套、快走一套、跑步再一套,之间做切换。你永远在预设场景里打补丁,永远有个下一个场景等着你重新调。

更痛苦的是动力学参数变化。四足机器人的负载是从一个背包到另一个电池,重心位置稍微偏移,原来调好的参数就全部失效。我见过有的团队做演示时,机器狗背上多挂了一个传感器,就跑得整个机身都在抖,最后只能临时加配重找回重心。这种问题在模型派框架下几乎无解,因为你建模型时就假设了刚体质量分布是已知的、固定的,一旦变了,模型就不再准确。

2.2 实验室与真实世界之间存在一条泛化鸿沟

传统控制还有一个隐藏的脆弱点:环境假设。模型派算法天然依赖精确的地面条件、载荷条件和外部扰动假设。粗糙地面、松软草地、湿滑瓷砖、上下楼梯,每一个新环境都是对模型的一次挑战。

我在一个实际项目里遇到过类似的情况:机器狗在实验室木地板上跑得非常稳,拿到户外草地上,同一套参数直接"醉步"。原因很简单,模型里假设的是刚性平坦地面,草地是柔性非结构地面,接触力分布完全变了,模型预测反作用力根本不准确。最后团队花了一个多星期,通过在线辨识参数、增加阻抗控制外层,才勉强让它在草地上走起来,但性能和实验室差距还是很大。

而强化学习训练出来的策略,天然自带泛化的基因。因为在训练时,我们会做域随机化:每轮训练随机改变机器人的质量、重心位置、关节摩擦系数、电机响应延时、地面摩擦力,甚至随机加入外力扰动。策略在仿真里见过无数种"长得不一样的世界",迁移到真机时就算有些物理差异,它也能找到适应方案。这就是为什么 2020 年之后,强化学习在四足机器人的抗扰动、复杂地形穿越等指标上,几乎碾压了传统控制方法。

2.3 一个传统方法团队的"规模焦虑"

踩过调参和泛化的坑之后,传统方法团队会陷入一种规模焦虑:你的方案永远无法规模化复制。每出一款新的机型,哪怕只是改了一版结构设计,所有控制参数都要推倒重来。每换一个应用场景,就要重新经历一轮"模型-辨识-调参-验证"的周期。

而同一个 AI 训练与部署框架,可以直接从一个机型迁移到另一个机型。仿真环境改一下模型文件,昨天的代码明天接着用。这种"以不变应万变"的能力,才是创始人那句"不够相信"背后真正让人惋惜的东西——不是某几个参数比不过别人,而是整个工程范式的代差。

3. 真正相信 AI 意味着什么:从感知辅助到大脑小脑一起换

3.1 强化学习如何接管运动控制这条主线

现在很多机器人团队把运动控制的主线切换到了强化学习,整个流程也相对标准了。我按实际经验说一下关键环节。

第一步是搭建仿真环境。常用的仿真器有 MuJoCo、Isaac Gym 这类,把机器人的 URDF 模型导入,定义关节作动器、接触模型、传感器。你不需要一个无限物理精确的仿真,但接触模型一定要合理,不然后面的 Sim2Real 会非常痛苦。

第二步是设计马尔可夫决策过程,也就是明确状态、动作和奖励函数。状态一般包括机身线速度、角速度、机身在欧拉角、各关节角度与角速度,可能再加上一些接触信息。动作的定义有两种主流做法:一种是把策略的输出作为关节位置的目标值,交给底层 PD 控制器执行;另一种是直接输出关节力矩。前者更稳定、更容易训练,后者上限高但难度大,很多团队初期都选前者。

奖励函数是整个训练里最考验功力的部分。你希望机器狗前进,就给前进速度奖励;希望它走姿优雅,就压低机身震荡和关节点速度惩罚;不希望它打滑,就增加对足端滑移的惩罚。奖励设计不是一次能成功的,我见过有团队为了调一个"愿意往前走但又不跑偏"的奖励函数,迭代了上百组权重。

第三步是策略训练。主流算法是 PPO,超参数选择上,学习率、裁剪系数、GAE 的 lambda 这几个对训练稳定性影响最大。训练规模方面,一个四足运动策略在单张中高端显卡上通常几小时到一天就能收敛,人形双足策略要复杂不少,通常需要在集群上并行训练,动辄几天。这也是为什么现在做机器人的团队必须在算力上投入,AI 训练是一个大概率让你显卡吃满的工作负载。

第四步是 Sim2Real 迁移。现在业界能实现"零样本迁移"——即仿真训练完直接把策略部署到真机,不需要真机数据微调。但前提是仿真里做了充分的域随机化,包括质量随机化、电机输出延迟、摩擦系数、载荷偏移等。真机部署时还要注意:底层 PD 控制器的频率、通信延迟、状态估计的噪声都要与仿真尽量对齐,否则差一个数量级都会导致策略崩溃。

3.2 奖励函数设计与仿真训练里的隐藏猫腻

奖励函数设计,是我最想单独拎出来强调的环节。很多入门团队一上来就设置一个"前进速度正奖励",结果训练出来的策略非常鸡贼:机器人学会往前摔倒然后爬起来,或者用奇怪的姿势翻滚前进,因为这样也能获得前进速度。

这时候就需要加约束项:关节角速度惩罚、机身姿态惩罚、足端滑移惩罚、动作变化率惩罚。这些术语看起来很专业,本质就是给行为加边界,让机器人"不能为了目的不择手段"。

另外一个容易踩的坑是"过度利用仿真 Bug"。例如有的团队为了获得更多奖励,让机器人学会用关节接触地面借力——这在仿真里可以有效减少机身晃动,但真机上关节那么硬,直接就会把结构干弯。所以训练完成后,一定要找到几个"高分但怪异"的策略回放看一下,确认行为在物理上合理,才考虑部署。

仿真训练还有个现实问题:不是仿真器精度越高越好,而是"仿真器速度 + 域随机化范围"更重要。你能在十亿次采样里见过足够多的"身体变异",策略就会越稳;你只有一百万次采样但物理精度超级高,策略还是脆。这个取舍很多人想不明白。

3.3 大模型带来的认知层重构:机器人不仅仅需要"小脑"

运动控制像是机器人的"小脑",负责走得稳、跑得快。但"相信 AI"还有另一层含义——认知层面也要交给 AI。这就涉及到多模态大模型与机器人的结合。

过去机器人执行任务,需要工程师把任务一步步拆解成代码指令:"走到桌子前,停下,伸出手,抓杯子的把手,抬起来。"这里的每一个环节都是预先编程的,环境稍有变化就执行不了。现在比较靠谱的做法是:多模态大模型做感知与任务规划。它能接收自然语言指令,结合摄像头画面、激光雷达数据,把"帮我把桌上的水杯拿过来"翻译成一个子任务序列:定位水杯、路径规划、走近、调整位姿、抓取、返回。然后每一步的运动/操作任务交给专门的策略模型来执行。

这个框架里,AI 不再是某个模块,而是整个系统的核心调度者。如果你只把 AI 当作感知附件,那你是无法在这个层面和对手竞争的。

还有一条线是数据闭环。真正让 AI 越用越强的,是数据:机器人在真实环境里反复执行任务,遇到失败、纠正、再尝试,这些数据回流到训练流程里,持续改进策略。这需要机器人产品真正在场景里跑起来,有真实用户使用。这也是很多公司明知道可能亏损也要先铺量推广产品的原因——没有量就没有数据,没有数据就没有智能化壁垒。

4. 创业团队如何把"相信 AI"从口号变成组织能力

4.1 人才结构必须从"控制主导"转向"AI 主导"

这句话说起来容易,做起来是血淋淋的组织调整。过去机器人公司的默认配置:机械组一群人做结构设计,嵌入式组做驱动,控制组做算法,感知组做视觉,AI 组几个人做"加分项"。

真正押注 AI 之后,整个配比要反转:机械和嵌入式依旧重要,但算法和 AI 工程师的比例要大幅提高。更关键的是,传统控制工程师需要转型,学习强化学习、学习训练流程、理解 Sim2Real,而不是守着原来的 MPC 项目不动。这个转型并不容易,很多做了十几年控制的工程师,骨子里是不信任"调奖励函数"这种看起来不严谨的方式的。但行业趋势不会因为个人偏好而改变。

我见过比较成功的转型团队,做法是让控制组的人先做一个"四足行走策略从零训练"的内部 Demo,给他们一周时间把 PPO 跑通,让他们亲眼看到一个没有显式建模的策略,在仿真里学会各种步态,再对比自己以前调参数的效率。一次实操胜过十次说服。

4.2 仿真与算力基础设施:新团队的隐形门槛

很多传统硬件团队转型 AI 时,最大的一个不适应是:硬件成本不再是最大的资金消耗了,算力成本才是。一个认真做人形机器人运动控制的团队,早期至少需要几十张高端 GPU 的算力规模;中后期做数据闭环、大模型微调、联合训练,集群规模还要翻数倍。

仿真团队的价值也被严重低估。业界成熟的团队,仿真工程师和算法工程师的比例几乎接近 1:1。仿真环境的逼真度、并行采样效率、域随机化设计、与真机系统的时间同步,这些决定了一个算法团队能跑多快。可以说,仿真平台就是机器人公司的核心竞争力。

另外,新团队最容易忽略的是真机数据采集系统。做真实场景的遥操作采集、动作捕捉、传感器日志同步记录,这些脏活累活决定了你后续微调策略的上限。等到产品都发布了你才想起来补数据管线,那团队会在后面半年里一直处于"缺数据"的状态。

4.3 路线判断失误的代价:一个成本估算的视角

说一个偏经验主义的估算:传统控制方法做一个新机型的稳定步态,假设需要三个月,主要成本是工程师调参时间和反复真机实验;强化学习路线搭建训练流水线,第一个机型可能需要三到四个月,但第二个机型复用流水线,可能只需要三到四周。这是典型的"初期投入大、边际成本递减"。

如果一家公司在两个机型上都选择了传统路线,表面上看每款都按期交付了,但对手如果用 AI 路线做完了三个机型,还沉淀了一套训练流水线、一批优质真机数据、一个可复用的仿真平台。到了第四款产品,对手可能两个星期就能出一版稳定步态,而你还得从零开始调新机型参数。技术代差就是这么滚出来的。

算上市场窗口:晚六个月发布新一代人形机器人产品,在融资节奏、客户试用、供应链话语权上都会有明显劣势。这个时间成本,远不是省下几张 GPU 的采购费能对冲的。

5. 踩坑之后回头看的几条实操教训

5.1 早期判断一项技术是否值得押注,可以用三个信号

第一,看顶级学术会议论文主题的变化趋势。如果一个方向在 ICRA、CoRL、NeurIPS 上连续两三年占比明显上升,而且不是纯学术表演,是带有开源代码和真机验证的工作,那大概率是范式转移的前夜。

第二,看开源社区的基线表现。如果开源项目里,强化学习训练出来的四足策略已经能跑赢精心调参的传统控制算法,而且代码可以复现,那不用犹豫,这个方向已经在产业落地边缘了。开源项目跑一次,比看一百篇论文都有说服力。

第三,看人才市场信号。当对口高校培养的 AI 算法工程师开始大量涌入机器人公司,而且薪资显著高于传统控制岗位时,说明资本和行业都已在投票。你可以不信某个人的观点,但最好别和整个市场的资源配置方向做对。

5.2 给研发管理者的几条具体建议

第一条建议:给 AI 团队"殴打传统方案"的机会。很多公司里 AI 团队边缘化,不是因为老板不重视,而是因为没有明确的战场——他们做的事情只是感知识别,没有碰核心控制都不需要地碰主线。你要做的是,拉一个具体的性能指标,比如"在随机地形上的鲁棒性""受到强烈外力扰动后的恢复时间",让 AI 方案和传统方案进行 PK。谁赢,下一步资源就听谁的。

第二条建议:AI 不是招几个算法工程师就完事,要配套建设仿真、数据、算力这三个底座。你招了十个 PPO 高手,但公司只有两台能跑实验的显卡,他们也只能天天写文档。

第三条建议:鼓励小成本快速验证。不要让团队憋大招,搞"六个月后一鸣惊人"的项目。最好的做法是每两周出一个新策略,上真机跑一轮,跑失败了就分析失败原因、修奖励函数、重训。这种小步快跑的频率,比那种一年憋一个大版本的模式有效得多。

第四条建议:别把" AI 化"当成一次性改造。技术路线永远在演进,今天的强化学习可能在几年后又被别的范式挑战。保持团队对技术信号的敏感度,比绑定某个具体方法更重要。但前提是你已经在牌桌上,拥有 AI 工程化能力,否则下一个风口来临时,你依然只能喊"当年如果"。

5.3 最关键的一句话:别把 AI 当锦上添花,它是产品本身

创业者对 AI 的"不够相信",通常表现为一种技术应用观的偏差:认为 AI 是"未来会越来越强的工具",而不是"产品形态和体验的底层定义者"。打个生活化的比方,这就像智能手机时代,有人把触摸屏当作一个屏幕配件,而另一些人把它当作重新定义手机交互的核心。后者的产品,一定不是前者的二十年。

机器人行业也是一样。如果产品的核心壁垒是运动能力、环境适应能力、任务泛化能力、自然交互能力,那么 AI 就是那个决定壁垒高度的变量。它不该在组织架构图上挂在"创新实验室"下面,而应该站在产品研发流程最中央的位置。

我自己在这几年也做过一些小型机器人仿真控制实验。最初用的完全是传统路线,调 LQR 权重、调步态参数,在仿真固定场景里表现得不错,可一换地形,整个策略就土崩瓦解。后来咬牙花了两周时间重新搭强化学习训练流程,训出来一个策略扔进仿真测试,原本要调一个月的问题,用奖励函数和域随机化直接跑通了。那两周给我的冲击确实非常大。延迟两年去追一个技术方向,和一开始就站在那个方向上,中间的差距,就是那句"对 AI 还不够相信"背后真正的代价。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询