做AI行业内容这几年,我每天都会翻一遍各类日报,但今天这份日报里的三个议题凑在一起,很难不让人停下来多想几层。模型发布时安全评测披露率只有1.1%,脑机接口开始以“读心帽”的形态进入公众视野,对话式AI在执法场景里一本正经地编造凶案线索——这三个事表面看毫无关联,往深了看全是同一个时代困境的不同切面:我们正在把越来越多的关键决策交给不透明、不稳定、不可解释的AI系统,而整个行业的配套机制还没跟上。
这篇不是简单复述新闻。我把自己看到的、实操中踩过的坑、以及这三件事背后真正值得从业者关注的技术逻辑拆开来讲,希望能给做模型评测、做AI产品落地以及关注AI安全的朋友一点参考。
1. 1.1%披露率背后:安全评测为何成了“不可见”的标配
先把这个数据掰开看。统计显示,在大量发布的模型中,只有约1.1%在发布时披露了安全评测相关信息。也就是说,绝大多数模型发布时,你只能看到精度、速度、参数规模这些“跑分项”,关于模型在安全维度的表现,要么只字不提,要么用一句“经过严格安全测试”带过。
1.1 安全评测本该是“出厂质检”,现在却像是“选配项目”
做过传统软件的人都知道,发布一个版本前,功能测试、回归测试、安全测试是硬门槛,不跑完不能发版。但AI模型的安全评测目前远没到这种成熟度。一个模型发布时披露不披露安全评测,完全靠自觉,没有任何强制约束。
我自己的直观感受是:很多团队在发布前确实做了安全测试,但结果往往只覆盖“有没有违反内容审核规则”这种最表层的维度。真正深入的安全评测应该包括多重内容安全、对抗鲁棒性、越狱攻击防护、幻觉率、公平性偏差等一系列指标。而这些指标跑起来非常耗时,而且目前没有统一标准——跑了也不知道怎么汇报,汇报了读者也不知道怎么解读。
这就形成了一个局面:披露安全评测的团队反而容易被拿着放大镜挑毛病,不披露的团队只要“跑分好看”就能获得市场关注。劣币驱逐良币,最后大家都不愿意主动做透明化。
1.2 不披露的连锁反应:用户根本没法做“风险定价”
披露率低最直接的影响,是下游用户无法评估模型接入到自己业务场景后的风险。比如你在做一个智能客服系统,需要处理用户投诉,如果模型幻觉率高,可能把错误政策念给用户;如果对抗鲁棒性差,可能被恶意输入直接带偏。
没有安全评测数据,这些风险全凭猜。我接触过不少做企业级AI落地的朋友,选型时能拿到的材料基本上只有基准测试分数和演示视频,关于安全性的量化数据少得可怜。最后只能自己花钱做红队测试,把本该由模型厂商提供的“质检报告”自己重新做一遍,不仅重复劳动,还经常因为信息不全而漏掉关键风险点。
1.3 为什么厂商普遍不愿意披露
从厂商角度,不披露的原因其实可以理解,但未必合理。
第一是成本。一次全面安全评测需要投入大量算力、人力和时间,小团队根本跑不起。第二是标准缺失。不同评测基准本身设计思路就有差异,比如有些侧重回答安全性,有些侧重对抗攻击鲁棒性,厂商选哪个跑出来都不够“全面”。第三是竞争压力。市场上多数竞品都不披露,谁先披露谁就暴露在更高的审视标准下,性价比不划算。
但这里我想说一句可能不太中听的话:披露率低不能全怪厂商。整个AI安全评测方法论本身也还在快速演进中,今天跑出来的结果可能三个月后就过时了。模型迭代速度快,评测速度跟不上,这才是行业需要解决的结构性矛盾。
1.4 披露什么、怎么披露,比“是否披露”更重要
值得肯定的是,已经开始有团队尝试做安全评测的标准化披露。从我看到的实践来讲,比较靠谱的披露方式至少要覆盖三个维度:
- 评测方法透明:用的是什么基准、什么对抗测试集、多少轮测试,这些信息必须可追溯
- 边界条件说明:模型在哪类输入下表现好、哪类输入下表现差,不能只报喜不报忧
- 复现方式提供:评测数据和代码尽量开放,让第三方可以复跑验证
只有这三点做全了,披露才有实际意义。否则一张满分安全评估报告,其实什么都证明不了。
2. “读心帽”:非侵入式脑机接口的真实能力与宣传边界
第二个新闻是脑机接口领域的新进展——一款以“帽子”形态出现的设备,主打“读心”,戴上就能从大脑信号里识别意图。这类标题天然吸引眼球,但作为从业者,我看到“读心”两个字就条件反射地警觉。
2.1 读懂“读心帽”的技术底子:EEG信号.decode只能到哪一步
目前市面上能做成“帽子”形态的脑机接口设备,绝大多数是基于脑电图技术。头皮表面电极采集到的是大量神经元同步放电产生的电位变化,经过放大、滤波、特征提取后,配合机器学习模型做分类。
这里一个重要事实是:EEG信号非常“脏”。头皮上采集到的信号经过颅骨衰减,信噪比很低,而且极容易受眨眼、肌肉活动、环境电磁干扰影响。所谓“读心帽”,实际上能做的只是从带噪信号里推断出有限几个粗粒度的状态,比如“注意力集中/放松”“想移动左手/右手”“在脑海里默念某个音节”。
很多人对“读心”的想象是“我想什么它就知道什么”,真实情况离这个目标还差着几个数量级。更准确的说法是,它读的是“意图的生理关联物”,而不是“意图本身”。
2.2 从信号到意图:一顶帽子里装了多少个模型
在实际产品里,“读心帽”的完整链路大致是这样的:信号采集、预处理、特征提取、模式分类、意图映射。每一步都有大量的工程细节。
比如预处理阶段,需要做带通滤波去除工频干扰和直流漂移;特征提取阶段,有人用手工设计的频域特征,也有人直接丢给神经网络自动提取;分类器则要看具体任务,运动想象常用共空间模式+线性分类器,稳态视觉诱发电位任务用典型相关分析效果更好。
这些环节里任何一个做得不够扎实,最终准确率都会大打折扣。实验室里能做到90%以上的运动想象分类准确率,放到真实使用环境中,因为电极佩戴位置偏差、个体差异、环境噪声等因素,跌到70%甚至更低都很常见。这也是目前脑机接口消费级产品最大的痛点:Demo很惊艳,实际“戴上就能用”根本做不到。
2.3 “读心帽”真正能落地的场景
抛开营销话术,目前非侵入式脑机接口有几类应用是相对靠谱的。
- 医疗康复:帮助中风患者做运动想象训练,通过反馈增强神经重塑。这个方向研究最扎实,临床价值明确
- 注意力监测:在教育或办公场景实时监测专注度,给用户反馈提醒。技术难度适中,比较容易做成消费级
- 情绪状态评估:通过脑电特征辅助判断压力、疲劳等状态。但准确性争议较大,更适合做趋势参考而不是判断结论
至于“意念打字”“意念控制智能家居”,现阶段还可以用,但精度、速度和训练成本都还达不到让人愿意天天戴着的程度。
2.4 当“读心”进入生活:隐私边界在哪里
“读心帽”真正值得警惕的不是技术能力,而是它所开启的隐私维度。普通穿戴设备记录的是你的心跳、步数、位置,这些数据已经够敏感了;脑电信号直接反映的是你的认知和情绪状态,一旦被采集、存储、分析,泄露后果比位置信息严重得多。
现在市面上已经出现了一些消费级脑电产品,通过App收集用户数据。我没有看到哪一家在数据采集的知情同意、加密存储、第三方共享限制上做到足够严谨。这是一个典型的“技术跑在监管前面”的领域,从业者如果自己不注意守住数据边界,迟早会出大事。
提示:任何团队在开发脑机接口相关应用时,请把用户脑电数据的采集边界和销毁机制在设计阶段就定好,这不是法务问题,是产品能不能活得久的问题。
3. 一桩被AI“编造”的凶案线索:对话式AI在执法场景的幻觉代价
第三个新闻让我看得最不舒服:某款知名的对话式AI,在警方调查一桩凶杀案时,给出了完全虚构的线索——它声称受害者曾经做过某项交易,而警方后来查证根本没有这回事。
3.1 这不是“出错”那么简单,是“幻觉”撞上了“执法”
AI幻觉是老话题了,模型一本正经地胡说八道,做AI的人早就见怪不怪。但以前幻觉的代价最多是写错论文引用、编错菜谱配方,这次直接进入了刑事侦查流程。
问题在于:对话式AI的设计目标是“生成像人一样的流畅回答”,而不是“给出经过验证的事实”。它本质上是概率性地拼接文本,所以当它说出一段听起来非常合理的“案情线索”时,使用者如果没有足够的分辨意识,极可能被带偏。
在执法场景中,一旦错误信息融入到侦查方向里,代价不仅仅是浪费时间,更可能产生错误指控、冤枉嫌疑人、让真凶漏网这样无法挽回的后果。技术产品的风险等级,完全取决于它接入什么场景。
3.2 这个案件里AI的“错”和“罪”
需要区分的是,AI在这个事件里展现了两类不同性质的问题。第一类是模型幻觉的底层缺陷,任何生成式AI都天然存在;第二类是产品设计层面的问题——既然知道模型可能产生幻觉,为什么它能在刑事侦查场景里被当作可靠信息来源使用?
如果是一款专门面向执法场景的工具,就应该在架构里加入事实校验环节:生成线索后自动与数据库比对,无法验证的内容明确标注“未证实”,而不是用普通的对话口吻输出。如果没有做这一步,产品本身的责任跑不掉。
但如果只是警员个人用通用对话式AI辅助工作,那就涉及使用者是否接受过“AI输出不可信”训练的问题。这个案子里,最值得追问的地方是:为什么一条没有信息来源、无法交叉验证的线索,会进入正式的侦查流程?
3.3 对话式AI在专业场景应用的“信任阈值”
这件事给所有在专业领域集成对话式AI的团队提了个醒:不同场景对错误率的容忍度差异巨大。聊天机器人答错一个常识问题,用户笑一笑就过去了;法律意见答错了可能让人输掉官司;执法线索答错了,后果就是错案。
因此在专业场景做AI产品时,需要设计“信任阈值”机制:
- 低信任场景(闲聊、娱乐):直接输出,允许自由发挥
- 中信任场景(知识问答、写作辅助):适当标注不确定性,提供来源
- 高信任场景(执法、医疗、法律):必须做事实核验,无法确认的信息一律拒绝回答,必须有人工复核环节
很多失败案例的本质,就是产品把高信任场景当成了低信任场景来设计。输出流畅度没有跟上准确率要求,最后出了问题才回头补课,成本极高。
3.4 谁来为AI的错误负责
这个案件最终没有造成冤案,因为警方核查后发现了问题。但假设警方没有核查呢?假设AI编造的“线索”与某条真实但不相关的信息巧合对上呢?
AI系统出错时责任归属,目前仍然是一笔糊涂账。模型开发者认为内容生成是概率性的,使用者应该自己判断;使用者认为工具给出的是确定性回答,自己没有理由怀疑。两边都有道理,结果就是谁都不负责。这种责任真空,才是AI落地专业场景的最大隐患。
我认为行业需要的不是追责某一家公司,而是建立一个通用的分级责任框架:模型提供方必须声明能力边界,使用方必须按边界操作,极端情况下引入第三方审计。三者缺一不可。
4. 三则新闻的同一底色:AI可靠性危机的三个切面
把三则新闻放在一起看,会发现它们在说同一件事:AI系统正在进入越来越多的关键决策环节,但整个行业的可靠性和透明度机制远远没有跟上。
4.1 评测缺失是“不知道该不该信”,脑机接口是“不该信的吹成能信”,执法幻觉是“信错了”
1.1%的披露率,让用户面对模型时缺乏最基本的风险信息,这是信息不透明导致的不确定性;“读心帽”的营销夸大了实际能力,让用户产生了不切实际的期待,这是能力被高估导致的不确定性;对话式AI编造执法线索,则是错误信息在毫无约束地流通,这是最危险的一种不确定性。
三种问题的成因和后果各不相同,但根源一致:AI系统的能力边界没有被清晰标注。无论是技术能力边界、数据隐私边界还是事实准确边界,整个行业都在用一种模糊处理的方式回避这些问题,因为“说清楚”意味着要承担解释成本、性能损失和商业竞争力下降。
4.2 为什么“负责任AI”讲了多年,落地依然那么难
负责任AI这个词在圈子里已经讲了好几年,但真正的落地情况大家心知肚明:绝大多数公司的所谓安全对齐,就是把内容审核埋点做得更密一点,把敏感词库扩充一下。做这些很重要,但距离真正的可靠性体系还差得远。
难在几个地方:第一,安全评测至今没有公认的“通过线”,跑完一个测试集就算安全,这话没人敢说;第二,对齐训练和指令遵循之间存在调参式的矛盾,安全约束收紧,模型就变得更“呆”,输出质量下降,产品经理第一个跳脚;第三,评测是静态的,而攻击手段是动态的,今天防住的攻击明天换个措辞就绕过了。
从实战感受来讲,我见过太多团队在“上线前做一轮安全评测”之后,就把安全这件事画上句号了。但真正负责任的AI项目,安全评测应该是一个持续运营的事情,每一版模型发布都要重新跑,每次出现新型攻击手法都要回测。
4.3 行业该做什么、用户可以做什么
写到最后,给两类人一些操作层面的建议。
对模型开发方和平台方,建议从三个方向发力:
- 把安全评测纳入发布流程的硬性环节,跑不过就不发版,而不是“跑个测试让大家安心”
- 从“单一分数”转向“多维报告”,公开评测方法、边界条件和第三方复核通道
- 对专业场景做定向可靠性调优,而不是用同一套通用模型直接开放接口
对普通用户和采购方,我的建议反而更简单也更保守:
- 把AI输出当成“一个非常聪明的助手提出的建议”,而不是“权威答案”
- 在高风险决策场景,任何关键信息都要用独立来源交叉验证
- 看到“经过安全评测”这种话术时,多问一句:评测了什么指标?用什么基准?覆盖哪些攻击类型?
4.4 我做AI安全这几年的一些体会
说白了,AI安全领域目前最缺的不是技术,而是“承认自己不知道”的勇气。模型发布时不敢披露安全评测,是因为怕暴露短板;脑机接口厂商把实验能力包装成成熟产品,是因为怕卖不动;对话式AI不肯限制自己“无所不知”的形象,是因为用户喜欢看它自信满满地回答。
这三个切面,本质上都是同一个问题:不愿意如实承认系统的能力边界。但在AI已经介入执法、医疗、金融这些高影响场景的今天,这种“不敢承认边界”的代价已经越来越大。
我从自己参与过的项目里得到的经验是:老老实实说清楚“这个模型哪些场景表现好、哪些场景不能用于什么用途、置信度低于多少时必须人工介入”,短期可能会损失一点商业吸引力,长期一定是赚的。因为等出事了再来做危机公关,代价远远大于提前做实诚实告的成本。
今天这三条新闻,每一个单独拿出来都可以写一篇短文,但串起来看,真正值得行业思考的是同一个问题:我们如何让AI在未来被信赖?答案不在更强大的模型里,而在更清晰的责任边界和更诚实的透明机制里。希望下一份日报里,是一个开始好转的迹象。