最近一场争论让我看得很有意思:一批数学家公开发声批评 OpenAI 的封闭研究方式,言辞相当辛辣,甚至用了“反科学”这种词;没过多久,一批物理学家就站出来回怼,说数学家的要求“既不现实,也不符合科学传统”。我原以为只是两个圈子在社交网络上隔空吵架,但认真读完双方论点之后发现,这其实就是两种科学世界观的一次正面碰撞,而且碰撞出的问题,直接影响我们如何评估大模型、如何定义“可信AI”,甚至影响我们怎么写技术博客、怎么做实验、怎么判断一个系统到底能不能用。
这篇文章不站队,我只想拆开看:数学家到底在担心什么,物理学家为什么觉得那种担心跑偏了,以及这种分歧背后,有没有一个更值得所有人学会的方法论。无论你是做AI研究、写代码,还是只想搞懂行业里为什么总在吵“开源/闭源”“可解释/黑盒”,这篇内容都值得看下去。
1. 这场争论到底发生了什么
1.1 数学家的公开声明说了什么
事情大致是这样的:一批以理论数学、逻辑学为背景的研究者,联署了一份公开发表,针对 OpenAI 的态度很明确,核心诉求有三条。
第一,要求 OpenAI 公开训练数据、模型架构、损失函数设计以及完整的训练日志,理由是“没有这些信息,外部研究者无法对模型的行为做任何数学上的分析和验证”。在他们看来,一个连内部原理都不让看的系统,就像一篇没有推导过程、直接给结论的论文,学术共同体应该拒绝承认它的“科学地位”。
第二,主张模型的可信度必须建立在形式化验证的基础上。他们强调,如果系统在关键场景(比如医疗、司法、金融决策)中出现错误,我们不能只靠“统计上看起来不错”来搪塞,而是要能证明它在定义域内不会出现某些类型的错误。数学模型的好处是有清晰边界,坏处也是——一旦边界越了,代价往往是灾难性的。
第三,警告“黑盒模型的大规模部署”会带来无法预估的系统性风险。他们类比历史上一些因为“过度自信于经验技术”而招致的失败事故,呼吁业界在充分理解模型机制之前,不要继续放大模型的权力。
这段话的逻辑本身是自洽的,数学训练出来的思维方式就是“先证明,再使用”。如果你是一位数学家,看到全世界都在用一堆你无法分析内部结构的模型做决策,你会焦虑是很正常的。这种焦虑不是出于保守,而是因为在他们眼里,一个没有经过逻辑检验的系统,本质上和赌场里的转盘没有区别。
1.2 物理学家为什么看不下去
物理学家回应得也很快。他们的反驳思路不是去逐条验证数学家的数学推导,而是直接质疑对方的前提。
物理学家说:你们把AI模型当成数学论文来审,要求看完整证明、要求形式化验证,可是这个世界上的绝大多数可靠系统,从来都不是靠“先证明,再落地”做出来的。给你们举几个例子:
天气预报的物理模型从来没有被形式化证明过“明天下午三点一定下雨”,但没人说天气预报反科学。飞机发动机的流体力学仿真,也没有人能给出全工况下的解析证明,但适航认证靠的是大量地面试车、飞行测试和统计外推。量子力学本身到现在还有关于波函数坍缩、测量问题的解释争议,也没阻止人类造出芯片和MRI机器。
物理学家觉得,数学家想要的那种“完整透明”和“严格证明”,在真实物理世界中根本就是伪命题。因为现实系统太复杂、噪声太多、环境不可控,我们能够追求的最高标准不是“证明它绝对正确”,而是“用足够充分的实验证据说明它在可接受范围内可靠”。这就是物理学的认知传统:实验高于推导,可观测性高于完备性。
所以物理学家反过来说:OpenAI 再封闭,只要它能提供稳定的 API、公开可复用的评估基准、发布可重复的实验结果,那么它本质上就是一个可以被“黑盒检验”的复杂系统——和粒子对撞机、和一颗GPS卫星没有本质区别。你可以用外部实验去测量它的能力和缺陷,不需要它把所有内部参数都摊开给你看。
1.3 两个群体的核心分歧点
把两边的发言放在一起看,分歧不是谁更聪明,而是“信任机制”不同。
| 维度 | 数学家的默认标准 | 物理学家的默认标准 |
|---|---|---|
| 信任的基础 | 逻辑证明、形式化推导 | 实验验证、可重复观测 |
| 系统的本质 | 可以被完全描述的符号系统 | 具有不可还原复杂度的物理系统 |
| 错误处理 | 试图消除错误的前提条件 | 把错误当成概率事件来管理 |
| 可接受的风险 | 极小,追求完备性 | 可计量,追求可用性 |
| 对黑盒的态度 | 拒绝接受 | 接受但必须通过行为测试 |
| 知识获取方式 | 从第一性原理推出来 | 从数据、实验和模型中归纳出来 |
数学家要的是“为什么这个模型是对的”,物理学家要的是“这个模型在多大范围内可用”。这两个问题都合理,但尴尬之处在于:今天的大模型,恰好处于一个“能用理论解释的部分太少,用实验测量部分相对充分”的状态,这让数学家的方法论几乎完全失效,而物理学家的方法论天然占了优势。但这不意味着物理学家就该嘲笑数学家,因为后者提出的每一个质疑,都在提醒我们别把实验能力当成万能药。
2. 两种科学文化的碰撞
2.1 数学家的世界观:证明优先、严谨第一
我身边真正做纯数学的朋友,思维方式确实和普通人不太一样。他们对一个论断的第一反应永远是“这个命题成立吗?边界条件是什么?能不能举一个反例?”而不是“这个结论有用吗?”
这种思维在AI面前很容易受挫。因为大模型给出的答案经常不是稳定命题,而是概率分布上的一个采样。你问同一道题十次,可能得到十种不同说法。对数学家来说,这简直是一场灾难:一个无法复现、无法确定真假、无法在逻辑框架内收敛的系统,凭什么被当成知识工具来用。
更让他们不能接受的是,很多AI公司对外宣传的时候,动不动就用“超出预期”“智能涌现”这种含糊表述。这不是科学家语言,像是广告文案。数学家讨厌的就是这种不可操作的概念。他们要的是定义:什么叫“能力”?用什么指标?误差界在哪里?如果这些没有严格定义,那么所有关于“AI很强大”的论断都是无根之木。
我必须说,这种质问很有价值。过去几年太多AI项目靠指标好看和demo惊艳撑起来,上线后才发现根本经不起“反例测试”。数学家那种“拿一把刀不断挑毛病”的劲头,如果用在模型评估上,能帮我们找出大量被数据平均值掩盖的问题。
2.2 物理学家的世界观:实验说了算、实用压倒完美
物理学家的成长路径却完全不同。从大学第一门实验课开始,你就要接受一个事实:世界是有噪声的,测量是有误差的,仪器是有分辨率极限的。你不会想着去证明一个完美的理论模型,而是学会在噪声中找到信号,在误差带里做判断。
这种训练导致物理学家对“不完备”的容忍度比数学家高得多。面对一个大模型,他们不会要求“证明它在所有情况下正确”,而是设计一组实验:它在基准测试中表现如何?它在分布偏移下退化多快?它对对抗样本的鲁棒性怎样?如果这些实验都通过了,那就够了。
我还记得一位做实验物理出身的朋友跟我说过一句话:模型是不是“真的懂”,我们不关心;我们关心的是它的输出分布能不能被我们掌握。你把它当成一台有零点漂移的仪器,你要做的是校准它,而不是拆开它。这句话基本概括了物理学家眼中的AI:能用就行,关键是要知道它的误差在哪。
2.3 修桥与盖楼:一个更接地气的类比
为了让我自己彻底想明白这件事,我试着用一个生活化的类比去解释。
想象你是一个桥梁工程师。你的桥需要能承载十吨重车。数学家式的方法是:对材料建立精确的力学模型,把每一根梁的应力都算得清清楚楚,最好画出一套完美推导,证明在最恶劣情况下桥也不会坏。但问题是,现实中的混凝土不均匀、钢筋有微裂纹、焊接有气孔、天气会变化,你根本不可能建立真正完美的模型。
物理学家式的方法是:先把桥建出来(或者建一个缩尺模型),装上几千个传感器,用十吨车来回跑,看实际变形量。然后不断加载到十一吨、十二吨,直到桥出现预期中的非线性响应。做完这些,你就可以拍板说:在一定条件下,它能用。
数学家会说:你没有证明它在地震时的安全性。物理学家会说:我们已经测了十种地震波工况的响应,而且保险系数留了百分之二十。你觉得哪个方案更靠谱?我年轻时一定会选数学家的方案,觉得那才叫严谨。现在我会说:两个方案缺一不可,但如果只能选一个先做,我一定先学物理学家去做实验。因为没有哪个现实项目、哪家公司、哪个监管机构,能等你把AI所有理论问题彻底解决了再上线。
3. 从OpenAI声明之争看AI研究的实际问题
3.1 透明度与可复现性的博弈
数学家要求OpenAI公开一切,本质上是在追求“可复现性”。但我发现很多人在讨论“可复现性”这一概念时,把它错当成了“源代码公开”的同义词。
物理学的可复现性从来不是这样的。你真的去复现一次粒子物理实验,不可能有什么“标准答案”,更不可能要求对方把几十TB的原始噪声数据全部发给你。你需要的是:实验条件描述够不够详细,数据处理流程够不够透明,误差分析有没有把系统效应写清楚。做到这几点,别人就可以用另一套设备、另一个团队、另一种软件去重复你的实验,看看结论是否一致。
放在大模型上,这意味着OpenAI即使完全不公开训练代码和权重,只要它做到以下几条,物理学家也会认为它是“科学可复现的”:
- 给出明确的模型版本、评估集、评测条件;
- 发布足够数量的模型输出样本和失败样例;
- 允许外部研究者通过API进行独立测试;
- 公布评测接口和数据处理的细节,保证别的实验室能构造近似测试环境。
很多数学家听到这个方案会觉得不过瘾:没有拿到权重,怎么知道不是你们偷偷改了评测接口?外部测试是不是还能被“驯化”?这些担心都真实存在,但物理学家会告诉你:任何实验都有被操纵的可能,所以你才需要外部审计、多方复现、盲测设计。透明不是非黑即白,而是一条连续的光谱。
3.2 黑盒系统能否被信任
一个看起来“很封闭”的模型,是否可以被信任?我的结论是:可以,但必须满足两个条件:它有稳定的行为边界,而且你可以持续观测它。
这里我特别想举民航的例子。飞机是一个极其复杂的黑盒系统,航电软件的源代码不是完全公开的,发动机内部的控制逻辑也不是每个乘客都能审查的。但为什么全球每年还有几十亿人敢放心坐飞机?因为行业建立了一整套基于观测和审计的信任体系:适航审定、制造质量体系、运行监控、事故调查、飞行员训练。这套体系不要求你理解飞控系统每一行代码,只要求它能被反复测试、能暴露风险、能在出错时被定位和纠正。
大模型也应该走同样的路。我甚至觉得,比起“强制开源”,更有价值的做法是建立一个类似“适航档案”的东西:记录这个模型从训练到部署的每一个关键决策、每一次微调、每一轮评估、每一个已知缺陷、每一次事故复盘。这个档案不需要对外公开全部细节,但需要接受一个有资质的独立审计机构检查。这才是“黑盒”和“白盒”之间最务实的中间态。
提示:“开源权重”不等于“可信AI”。一个系统性存在偏见、却因为代码开放而被奉为“透明”的模型,可能比一个闭源但严格接受行为审计的模型更危险。别被源代码表面的透明感欺骗。
3.3 科学共同体该如何评估一个大模型
既然“全公开”和“彻底黑盒”两个极端都不现实,那比较靠谱的做法是组合一套跨学科评估流程。我自己在评估一个真实可用的大模型时,会从六个维度入手:
- 功能边界定义:模型宣称能做什么,不能做什么。不是靠想象,而是靠测试集界定;
- 分布外测试:在训练数据分布之外构造压力样本,观察模型何时崩溃;
- 失败模式编目:把已知的错误类型做成清单,而不是只晒平均成绩;
- 回归测试机制:模型更新后,确认旧能力没有被悄悄破坏;
- 随机性与稳定性:固定随机种子,重复采样,计算输出的分布差异;
- 人机交互闭环:用户反馈能不能被系统吸收,错误流向上游的速度有多快。
这套评估方案不要求理解模型内部机制,但比一个单纯的准确率数字要有说服力得多。物理学家喜欢这种设计,因为每一环节都是一个实验。数学家也不会完全反对,因为至少这些环节都可以被形式化地定义和审计。
4. 实操心得:我在AI项目里学到的五条跨学科方法论
说到这,我想分享一些实际做AI项目时的体会。这几年我参与过大模型落地、推荐系统优化、搜索排序之类的事情,虽然不在实验室里,但每天都在和“理论派”与“工程派”的分歧打交道。踩了一些坑之后,我总结出五条方法论,都在这次“数学家vs物理学家”的争论里得到了验证。
4.1 别用纯数学的标准要求工程系统
我早期做过一个文本分类模型,团队里有位同事对模型错误率盯得特别死,非要我们证明“在某种数据分布下错误率一定小于5%”。我们花了三周时间做理论边界分析,结果新一批线上数据一到,这个边界立刻失守。因为真实数据根本不是我们假设的那种平稳分布。
后来换成另一种思路:不再追求证明,而是做一个持续监控系统,实时统计预测置信度,只要某类样本的置信度低于阈值,就自动转人工审核。一眼看上去不如“证明错误率”高大上,但效果立竿见影:客诉降低,误判减少,而且任何一个没有见过的新分布进来,我们都能第一时间发现。
这件事给我的冲击挺大:数学家想找一个绝对安全的公式,但工程世界根本没有公式,只有“观测-干预-再观测”的回路。
4.2 实验设计比公理推导重要
在大模型提示词调优上,我也吃过不少亏。早期我每次改提示词,都凭感觉改一两句,然后看有没有变好。结果经常是今天有效明天无效,根本不知道是内容变化带来的,还是模型随机性带来的。
正是“物理学家式”的实验设计救了我:固定住随机种子,采用AB对照,做多轮重复验证,用统计显著性判断差异。我甚至给提示词实验做了“消融测试”,每次只改一个词或一个约束条件,记录变化。这方法听起来笨,但能帮你避免把随机噪声当成模型能力提升。
后来我把这套思路也用在模型选型上。遇到新模型,我不会只看官方榜单分数,而是自己写一套“压力测试集”,里面塞满边界问题、反常识问答、长尾格式。这个测试集恰恰不是从数学理论推导出来的,而是从业务日志、用户投诉、失败案例里统计出来的。它不完美,但实用。
4.3 经验曲线与理论直觉互相校准
物理学家相信理论直觉吗?其实很信,但他们不会盲信。他们的做法是:先猜一个有效理论(模型),再设计实验去验证,然后用结果反过来修正理论。把这个模式套进AI项目里特别合适。
我经常在模型表现好的时候问自己“为什么好”,然后写一个临时假设,比如“因为数据里包含更多专业术语,所以模型学到了更准确的实体边界”。接着我会通过删掉那部分数据再做一次实验,验证假设是否成立。这个过程和物理学家做控制变量实验没有本质区别。
有一次我用一个复杂的集成模型提升了3个点准确率,团队里没有人能解释清楚为什么。按照数学家的观点,“不能解释的提升都是可疑的”。但我没有立刻推翻模型,而是先把它上线,同时保留日志,花了两周时间分析它和单模型的差异样本,最后才找到一个可解释的规律。这正是物理学家式的务实:你可以率先接受一个暂时无法解释但被实验支持的结果,但后续必须补上解释工作。
4.4 面对无法完全解释的系统,学会风险管理
如果你默认系统可以被完全解释,那么你一遇到大模型幻觉问题就会崩溃——因为幻觉本质上就是无法完全消除的。科学家迟早要接受这个现实,转变为一个风险管理者。
我的做法很简单:设计流程时,默认模型会犯错。在关键业务环节加入人审,非关键环节加入自动回退。比如让模型生成草稿之前,先跑一遍敏感词扫描;用户意图识别置信度低于一定阈值就转人工。这套做法不解决“模型为什么犯错”,但能解决“犯错后怎么办”。
物理学家在处理仪器噪声时也是这么干的:你不能消除噪声,但你可以估计噪声幅度,然后给它留出误差带。风险管理不等于放弃严谨,恰恰是把严谨用到了正确的地方。
4.5 保留代码审查式的严谨
我更想强调的是:物理学家不等于不严谨。相反,好的物理学家在实验记录上极其偏执:哪台机器跑的,哪个版本代码,哪个随机种子,谁写的脚本,记录得清清楚楚。这么做的原因很简单——你永远不知道什么时候需要回溯一个结果是怎么来的。
我在AI项目里也严格执行这一条:每次实验必须生成完整的配置文件和输出日志,不能直接复现的结果一律视为不存在。这和数学家的“证明过程不可缺失”逻辑如出一辙,只不过对象从“公理系统”变成了“工程实验记录”。
跨学科方法论说白了就是:用数学家的挑剔设计问题,用物理学家的实验检验问题,最后用工程师的手段把结果固化下来。三者缺一不可。
5. 常见误区与避坑指南
5.1 误区:反对过度封闭=支持全面开源
很多人在看这场争论时,会自动站到“物理学家反对数学家”的立场,然后推出一个结论:物理学家认为AI应该完全闭源。这是错的。
物理学家批评的只是“要求证明和公开一切细节”的傲慢,他们并不是说OpenAI应该把所有东西都锁进保险箱。事实上,很多物理学家自己就是大科学仪器数据共享的坚定支持者。他们真正反感的是数学家把所有评价标准压在一根单一逻辑轴上,而不给实验验证留位置。
正确的做法是分层讨论:训练数据能不能开放?模型权重能不能开放?API接口能不能开放?安全审计报告要不要公开?每一层都有不同的风险、不同的受益者和不同的成本,混在一起谈只会让争论变成情绪对立。
5.2 误区:工程系统不需要理论
反过来,也有一批人因为物理学家骂得爽,就把理论彻底扔到一边,觉得“跑个实验就完事了”。这是另一个坑。
没有理论直觉的实验设计,经常是在低水平上重复试错。面对大模型,你需要一些来自信息论、统计学、复杂度理论的基本判断,才知道该测什么、不该测什么、哪些结果可能是噪声。物理学家虽然嘲笑“证明一切”的执念,但他们自己学习理论物理的刻苦程度一点也不亚于数学家。理论是路标,实验是油门,只踩油门不看路标,迟早翻车。
5.3 避坑:如何在公开争论中保持专业
如果你也想参与公共技术讨论,避免两个典型错误:
一是不要把“某个数学家的观点”等同于“所有数学家的观点”,也不要把“某个物理学家的回应”当成标准答案。公开信或站队文章天然会放大极端声音,沉默的大多数往往观点更温和。你看到的激烈对抗,可能只是少数人的扩音器。
二是不要用身份标签代替论证。你不需要因为某句话出自“物理学家”就点头,也不要因为其他话出自“数学家”就摇头。关键是看他有没有给出可验证的论据,有没有指出具体的漏洞或可行的替代方案。身份是叙事包装,论证才是干货。
5.4 判断一份公开声明值不值得签名
这几年各种联署公开信特别多,从“暂停AI训练”到“拒绝使用某框架”,每隔几个月就有一波。踩过几次坑之后,我总结了一个五问清单,任何人发给我让签名,我都先过一遍:
- 声明里的事实依据是否可查证?有没有夸大或选择性引用?
- 诉求是否可执行?还是只是“喊话对方必须改变”的无头方案?
- 声明者本人是否愿意参与建设?比如开源数据集、参与审计,还是只站在岸上指挥?
- 是否提出了替代方案?如果没有,那和骂街有什么区别?
- 如果声明产生了实际影响,公众是受益还是受损?
用这五问再回看那份“数学家反OpenAI声明”,你会发现它提出的警告有价值,但给出的解决方案确实太单薄;而物理学家虽然指出了问题,但多少有些缺乏建设性。这也是为什么这场争论很难有结论——两边都擅长发现问题,却很少有人愿意躬身入局去解决同一个问题。
6. 这场争论给AI行业留下的思考方向
6.1 建立跨学科的AI评估小组
我不看好两个纯理论阵营互相指责能带来什么结果。更现实的做法,是让不同学科背景的人坐进同一个评审委员会。
我建议任何大型AI项目在发布前,都组建一个跨学科评估小组:数学家负责设计边界条件和反例测试;物理学家负责设计实验流程和统计方案;工程师负责评估方案的可行性;伦理和法务人员负责落地方案的风险约束。甚至应该引入一线操作员,他们知道真实环境里哪些功能会卡壳。
这种组合的好处不是让各方吵得更热闹,而是让每一个专业盲区都被其他人的经验补上。数学家能逼你定义清楚术语,物理学家能逼你接受现实约束,工程师能逼你把方案变成代码。
6.2 从“零信任”到“可观测性”
从“公开声明”看,数学家们的终极诉求是“要么全透明,要么零信任”。这种非黑即白的思维是时候进化了。
现代工程给我最大的启示,是“零信任”已经升级成了“持续验证”。我们不假设系统可信,但我们也不仅仅因为不可全信就拒绝使用。相反,我们在关键路径上埋下大量观测点、审计日志、异常检测器。对AI系统来说,这就是“可观测性”的价值:你不需要看见模型内部每一颗齿轮,但你需要看见它的行为何时偏离了预期,并且能快速追溯偏离的来源。
6.3 给决策者的三个务实建议
如果你是AI公司管理层、机构采购方或政策研究者,这场争论可以给你三个落地方向:
第一,投资建设可复现的基准设施。与其浪费口水要求别人开源权重,不如先支持建立一个中立的、可审计的评测平台,让不同模型能在同样的压力测试下被评估。
第二,把“独立审计”和“强制开源”分开看待。开源是手段,不是目的;审计才是目的。一家公司完全可以保留自身的商业化秘密,但必须接受外部安全审计的行为约束。
第三,资助跨学科方法论研究。给数学家项目钱去研究形式化验证,也给药理学家钱去研究更严谨的实验设计,但明确要求他们最后要产出能在真实场景落地的工具,而不是互相驳斥的论文。
最后再说几句
我在前面提到过,自己这些年越来越认可物理学家“先实验后解释”的路线,但我也必须承认,每次翻车后复盘原因,最终都能追溯到一些数学家式的“定义不清”或“边界不明”。所以我现在对待这类争论的心态是:两边的声音我都听,但落到自己的项目里,我既不会等着哪天形式化证明成熟了才落地,也不会因为实验结果看似可靠就放弃追问原理。
这场针对OpenAI的公开声明之争,短期内不会平息,长期看也不太可能有一个简单结论。但如果它能让我们学会区分“证明”和“验证”,明白“绝对透明”与“可观测性”之间的差别,那么这场架就没有白吵。下次再有类似的公开信出现在时间线上,我建议你先别急着转发——先问一句:写这封信的人,打算贡献什么答案?