一项 AI 监管或治理计划出现搁浅,通常不是态度问题,而是技术底座还没到可以“定规矩”的程度。拿大模型和 AI Agent 这两年的迭代速度来说,聊天助手刚刚收敛,Agent 又起来了;Agent 还没稳定,多模态和长窗口又堆了上来。模型能力一直在这个地方变化,治理规则很难用一个静态文本,去框住一个高速移动的靶子。
所以这里不聊具体国家和机构,只站在开发者的角度拆一个问题:AI 治理方案为什么容易推进慢,以及在大模型和 Agent 语境下,团队能提前做什么。适合正在做 AI 应用开发、要给团队搭合规流程,或者被要求写一份内部 AI 使用规范的读者。
我的核心判断是:治理方案真正卡住,通常卡在三个地方——对象定义不清、技术标准缺位、责任边界难划分。前两个偏技术,第三个是工程和规则叠加的问题。下面按我平时做 AI 应用治理时实际会拆的顺序来讲。
1. AI 监管推进慢,本质是模型能力在追着规则跑
1.1 模型迭代周期远快于制度制定周期
一个模型从发布到能力升级,周期可能只有几个月,而一套治理规则从调研、起草、征求意见到落地执行,往往需要按年计算。这中间的错位非常明显。当规则还在讨论“生成式文本如何处理”的时候,产品可能已经切到了多轮对话;当规则开始覆盖对话系统时,团队又上了 Agent 自动化流程。
不是规则制定者不努力,而是监管对象本身一直在变。对做工程的人来说,这种错位会带来一个很直接的后果:你今天按照某份规范去实现的功能,过两个月模型版本一换,输出行为就变了,原来的合规判断可能直接失效。
所以我在实际项目里,通常不把“等规则落地”当作可依赖的排期。更务实的做法是先把能力边界、数据来源、输出行为这些可观测的东西记录清楚,等规则真正落地时,能快速对照。特别是原本依赖“内部人工审核”的场景,更要提前把审核日志和流程固化下来,否则同一批内容在新模型上跑出来的结果,可能和你最初审核时完全不一样。
1.2 应用场景太分散,一套规则难以通用
AI 的落地场景和传统软件差别很大。同样是调用大模型,可能是写文案的聊天机器人、生成广告视频的自动流程、辅助写代码的插件、情感陪伴类应用,也可能是营销视频一键成片这类带强流程的产品。它们的输入形态、输出内容和风险等级完全不一样。
如果一个治理方案试图用同一套指标去评估所有场景,很快就会遇到问题。文本输出的风格审核,对编程助手意义不大;代码片段的安全审查,对文案生成工具又不适用。规则定得太细,覆盖不了新场景;定得太粗,又等于没定。
从工程角度看,我建议先按“任务类型”而不是“模型类型”去做治理。把任务分成文本生成、代码生成、图片视频生成、Agent 自主执行等几类,每类单独定义输入输出规范、风险等级和审查手段。这样即使底层模型切换,治理框架也不会跟着推倒重来。
2. 可解释性和可追溯性,才是 AI 治理长期难啃的硬骨头
2.1 可解释性:模型说不清自己为什么输出,规则就难落地
治理要落地,前提是“能说清楚发生了什么”。但大模型的输出本质是概率计算,不是按明确规则逐条推导。你问它“这句话为什么这样写”,它给不出稳定的因果解释,只能给出一堆概率权重上的近似判断。
这带来一个实际问题:当产品出现异常输出时,你很难准确回答“是哪一段提示词、哪一个训练数据组合、还是参数设置的锅”。没有这个回答,审计和追责就缺乏依据。很多人以为这个问题只存在于学术界,实际上业务侧也一样存在。我遇到过的情况是,客户要求对某条异常输出做完整解释,团队排查了半天,最后只能定位到是模型版本和输入上下文交互的问题,无法做精确归因。
解决思路不是等模型彻底可解释,而是先做“局部可解释”。给关键输入做脱敏和标签,给输出做分类和得分,记录模型版本和采样参数。只要能缩小问题范围,治理方案就有操作空间。
2.2 可追溯性:没有日志和版本记录,调查就等于盲查
可追溯性比可解释性更容易落地,但也经常被忽略。一个 AI 系统的输出能否复现,需要满足很多条件:模型版本、权重文件、推理服务、采样参数、提示词模板、上下文窗口、输入数据、随机种子,缺一个都可能导致结果不一样。
实际排查中最常见的问题就是:线上出现一条异常输出,但日志里没有记录当时用的模型版本,也没有保存提示词模板的 hash,甚至连用户的完整输入上下文都被截断了。这时候想定位是输入问题还是模型问题,基本靠猜。
所以我强烈建议,凡是接入了大模型的线上服务,至少保留四样东西:
| 日志字段 | 说明 | 为什么重要 |
|---|---|---|
| request_id | 每次请求唯一标识 | 排查入口,能串起上下文 |
| model_version | 模型版本号 | 判断行为差异是不是版本引起 |
| prompt_template_version | 提示词模板版本 | 快速定位 Prompt 变更影响 |
| input_summary | 脱敏后的输入摘要 | 保护隐私的同时保留追溯能力 |
有条件的话,把 temperature、top_p、max_tokens 这些采样参数也一并记录。这些都是排查和合规审计的基础材料,成本不高,但关键时刻能救命。
当一条 AI 输出出问题时,我的排查顺序一般是:先记录现象,到底是报错、卡住还是输出异常;然后查请求日志,确认当时用的模型版本和提示词版本;再看输入数据是否越界或带了异常上下文;接着查采样参数,比如 temperature 是不是被调得过高;最后才考虑是不是模型本身的能力边界问题。这个顺序能避开一半以上的误判。
3. Agent 时代让治理难度再上一个台阶
3.1 从“生成内容”到“自主执行”,风险边界变了
如果说上一阶段的大模型主要停留在“生成内容”,Agent 则直接把模型从建议者变成了执行者。模型输出一句“建议删除文件”和真去执行删除,风险等级完全不同。这意味着治理方案的评估对象发生了变化:不仅要管模型说什么,还要管模型做了什么。
这也是很多人提到 AI Agent 时会觉得治理跟不上的原因。传统的内容审核只关心输出文本是否合规、是否有幻觉,而 Agent 场景下还要关心工具调用是否合理、操作步骤是否可回滚、执行结果是否符合预期。要评估一个 Agent 系统的安全性,光看最终答案不够,还要看中间的每一步决策。
3.2 Agent 的多步决策、记忆和工具调用,需要新的治理机制
Agent 比单轮模型复杂在哪?三个字:状态化。它带着记忆,能做多步规划,能调用外部工具,能根据自己的观察修正下一步。这就像一个流程里有一个不太稳定但很有能力的“实习生”,你需要给这个实习生定工作守则。
工程上比较实用的治理机制包括:限制 Agent 可调用的工具范围、对每个工具调用做权限校验、给关键操作加二次确认、记录完整的调用链。很多团队习惯先把 Agent 能力放开再补监管,结果出了问题很难定位。我更建议反过来,先把边界、日志、权限做好,再逐步放开能力。
注意:Agent 的能力边界要提前划好。放开容易,收回来难。先做权限和调用链记录,再逐步扩大能力范围。
另外要特别注意 Agent 的成本控制。Agent 的多步调用会让 token 消耗成倍增长,也就是很多人提到的 credits 问题。一次任务可能触发十几次模型调用,如果不做预算和用量上限,一个失控的循环就可能烧掉大量资源。所以治理机制里要包含用量监控和熔断逻辑,这既是成本问题,也是稳定性问题。
4. 制度还没到位之前,团队可以先做的四件事
4.1 给每个模型建一份模型卡
模型卡这个概念并不复杂,就是把一个模型的关键信息登记成文档:供应商、版本号、训练数据范围、已知限制、适用场景、不适用场景、审核结果。它不需要很长,但必须有。
我在实际项目里要求每个上线的模型版本都配套一份模型卡,更新模型就更新卡片。这样规则下来之后,团队能快速回答“我们用了哪些模型的哪些版本,覆盖了哪些场景”。没有模型卡,合规审查时只能靠回忆,效率极低。
4.2 把输入输出日志和审计能力做成上线标配
很多团队刚开始接大模型时,是不记日志的,因为演示阶段用不到。但一旦进入生产,日志就是唯一的排查入口。日志至少要记录请求时间、用户标识或会话标识、模型版本、输入摘要、输出内容、耗时、token 用量、错误信息。
如果担心隐私问题,可以对日志做脱敏和权限控制,只给排查和审计人员开放。不能因为怕麻烦就不记,否则出问题后没有依据,所有讨论都会变成扯皮。
注意:日志不是拿来偷看用户内容的。它需要脱敏和权限控制,目的是排查和审计,不是监控个人。
4.3 用测试集评估幻觉和安全边界
AI 系统的最大坑是“平时正常、关键时刻翻车”。为了减少这种不确定性,我建议每个应用都建一个针对性的测试集,里面包含正常输入、边缘输入、恶意输入、模糊问题等类型。跑测试时不要只看通过率,还要记录失败输入的分布。
比如同样一批文案生成任务,是长度限制造成失败多,还是敏感话题触发多?把失败原因归类,比笼统地说“准确率多少”更有用。这里要提醒的是,模型升级后测试结果一定要重跑,最好把测试脚本固化到发布流程里,避免“模型偷偷变了而你不知道”。
4.4 把合规要求写进版本发布流程
制度治理如果不能和工程流程结合,就容易流于形式。简单做法是:在发布检查清单里增加 AI 专属项,比如模型卡是否更新、日志是否开启、测试集是否通过、敏感场景的权限是否确认。只要有一项不满足,就不允许上生产。
这些步骤看起来增加了流程负担,但实际做过就会发现,它省下的是后期排查和返工的时间。合规和效率在这里不是对立的,而是提前花小成本、避免之后花大成本。
5. 规则滞后不是借口,工程治理可以先跑起来
5.1 最小可行治理方案怎么搭
如果团队现在没有太多人力做治理,不要一上来就追求大而全的平台。先搭一个最小可行治理方案,满足三个目标就够:看得见、查得到、管得住。
| 治理目标 | 最小动作 | 验收标准 |
|---|---|---|
| 看得见 | 接入请求量和错误率看板 | 能回答今天请求多少、失败多少 |
| 查得到 | 保存请求 ID、模型版本、日志 | 出问题时能定位到具体请求 |
| 管得住 | 模型版本白名单、工具权限校验 | 不可用版本无法上线 |
这三个目标对应的工程量不大,但能解决大部分实际问题。
5.2 工具链选型:监控、评估和审计分开做
很多人会问,治理工具买现成还是自己写?我的建议是分模块看。监控和用量统计可以直接用云厂商或网关的现成能力,评估测试集可以自己维护,审计日志最好和现有监控体系打通。不要为了“有一个治理平台”,而造一个和现有系统割裂的孤岛。
在选型时,多考虑这些维度:是否支持多模型供应商、日志是否可导出、权限粒度够不够细、是否支持自定义评估规则。这些功能比花哨的界面重要得多。出现告警时,先看日志再改参数,不要在没有任何数据的情况下盲目调 prompt。
5.3 工程实践可以反向推动规则完善
很多开发者觉得治理是别人定规则、自己照做。但实际经验告诉我,工程实践对规则的影响很大。你使用一套标准跑通了数据标注、模型评估、日志审计,这些流程本身就会变成规则的参考蓝本。
与其被动等待监管方案落地,不如把团队的内部规范当成一次演练。今天在公司内部做的模型版本管理、数据权限控制、告警和熔断机制,未来大概率能直接迁移到外部合规环境。这也是我觉得“搁浅”这件事对开发者并不可怕的原因:规则慢一点,正好给工程留出打磨时间。
如果你也在做类似的事情,我建议顺序是:先把单模型的日志和版本管理做好,再补测试集评估,有条件再接 Agent 的权限和工具调用链路。不要一上来就追求大而全的治理平台。AI 治理这件事,最后拼的不是概念多新,而是当问题发生时,你能不能拿出日志、版本号、测试记录和决策链路。这些东西越早准备,后面就越省事。