引子:一个被默认了三十年的前提
过去三十年,网络安全行业建立在一个极其稳定的假设之上:
危险,来自边界之外。
攻击者在外面。他试图进入网络、窃取身份、绕开权限、利用漏洞、篡改程序,最终获得原本不属于他的能力。
于是我们造出了防火墙、身份认证、权限系统、零信任、终端检测、入侵防御,以及围绕它们的整套安全运营体系。这些技术形态各异,回答的却始终是同一组问题:
谁可以进入?谁拥有权限?什么程序可以运行?哪些数据可以访问?这一次操作,是否来自一个合法身份?
AI Agent 正在让这组问题失效——不是因为它们错了,而是因为它们不再充分。
未来企业真正棘手的安全事件,未必来自一个"非法进入系统的人"。它完全可能来自一个身份合法、权限合法、软件合法、网络连接合法,甚至任务本身也完全正当的 AI。
然后,它做错了事情。
过去的安全,主要防止未经授权的人做事;AI 时代的安全,必须开始防止被授权的系统把事情做错。
一、安全行业过去最大的红利,是系统基本可以被预测
传统软件当然也会出错。程序有 Bug,系统会宕机,工程师会错配,黑客可以利用漏洞改变程序的原有行为。
但传统计算机系统仍然保有一个极其重要的性质:确定性。
相同程序、相同输入、相同状态,理论上应当产生相同结果。这正是过去几十年计算机安全能够大量依赖规则、权限、代码审计、测试与边界控制的根本原因。
如果一个程序只被允许读取数据库,它原则上就不应该修改数据库。如果某个账户没有删除权限,它原则上无法删除数据。如果一次 API 调用不符合既定格式,它就应该被拒绝。
换句话说,传统安全始终隐含着一个前提:
只要把"程序被允许做什么"定义清楚,我们就能大致知道"程序会做什么"。
AI 改变的,恰恰是这个前提。
大模型不是传统意义上的确定性程序。我们可以规定它拥有哪些工具,却无法精确预测它每一次会如何组合这些工具;我们可以给 Agent 一个目标,却无法提前枚举它完成目标的全部路径。即便输入几乎相同,它也可能产生不同的推理、不同的计划、不同的执行顺序。
这意味着,安全问题第一次从"权限的不确定性",进入了"行为的不确定性"。
这不是一次普通的软件升级。这是安全所要面对的对象本身,发生了性质变化。
二、最危险的不是被攻破,而是"合法地把事情做错"
今天大量 AI 安全讨论,仍然停留在一个熟悉的框架里:模型会不会被越狱?Prompt 会不会被注入?模型是否泄露数据?Agent 会不会被攻击者接管?
这些问题当然重要。但它们仍带着传统安全的思维惯性——先去寻找那个"攻击者"。
真正更棘手的情况是:没有攻击者,没有漏洞,没有越权,系统也没有被攻破。AI 只是做出了一个看起来合理、实际上错误的判断。
设想一家公司允许 AI Agent 自动处置云基础设施故障。它有合法身份、合法的 API Key、修改配置与重启服务的合法权限。
某一天,Agent 发现某项服务异常。为了尽快恢复系统,它删除了一个它认为可以重新生成的资源。但这个资源实际上承载着一层它并未完全理解的依赖关系。
操作完全合法,身份完全真实,权限完全匹配,每一道传统安全检查都顺利通过。
结果仍然是一次事故。
这时我们会撞上一个非常尴尬的事实:
传统安全证明了"它有权这样做",却从未证明"它现在应该这样做"。
这两个问题在过去常常被混为一谈,因为在确定性系统里,"有权做"与"会做对"高度重合。AI 正在迫使它们彻底分开。
Permission 回答的是 "Can you?",Safety 越来越需要回答 "Should this happen?"。
权限划定的是能力边界,安全开始不得不处理结果边界。
三、Agent 让不确定性第一次拥有了执行权
大模型刚出现时,它的不可预测性其实没有那么危险,因为它主要输出文本。
模型说错一句话,最严重的后果也不过是误导、幻觉或错误建议。人仍然站在模型与现实之间:AI 给建议,人做决定,人执行。不确定性被牢牢限制在信息层。
Agent 改变了这件事。
当模型开始调用 API、修改数据库、操作云平台、划转资金、发送邮件、控制设备时,它的不确定性第一次获得了执行能力。
这件事的意义,远远大于"AI 能自动化更多工作"。它真正意味着:
一个概率性系统,开始直接操作一个确定性世界。
现实不会因为模型只有 92% 的置信度,就只执行 92% 的转账。数据库不会删除 70% 的数据。一台机器不会"部分启动"。
现实动作大多是离散的:是或不是,发生或不发生,成功或失败。
于是 AI Agent 带来了一个结构性矛盾:上游是概率的,下游是不可逆的。
大模型可以犹豫,现实不能;大模型可以重新生成答案,一笔已经汇出的资金却未必可以重新生成。
这也是为什么 AI 安全的重心,最终一定会从模型层向执行层移动——模型越强,企业越愿意授予更大的权限;而权限越大,单靠"提高模型正确率"就越无法构成一套完整的安全方案。
四、企业要防的,将越来越不是"恶意",而是"合理但错误"
传统安全高度关注恶意:恶意代码、恶意攻击者、恶意账户、恶意流量。
但 AI 带来的大量新风险,可能根本不含恶意。
一个 Agent 完全可以认真理解任务、合理规划步骤、正确调用工具、严格遵守权限,然后产生错误后果。
原因可能只是上下文缺失、业务语义理解不完整、模型出现幻觉、工具返回了异常数据、Agent 对环境状态判断有误,或者多个智能体之间产生了意料之外的协同效应。
企业由此要面对一种过去并不突出的风险:善意系统造成的不可逆错误。
更麻烦的是,AI 越强,这种风险可能越难被发现。
一个低能力模型犯错,往往看起来很蠢,异常一眼可辨;一个高能力模型犯错,却可能附带一条完整、自洽、可复述的推理链。它能给出理由,能解释行为,甚至能生成一份看起来无懈可击的报告。
错误不再以"异常"的形式出现,它开始以"合理"的形式出现。
这也解释了为什么 AI 安全不能只依赖"让 AI 自己判断 AI 是否安全"。
一个足够复杂的系统,无法仅凭自身推理来证明自己即将执行的行为是正确的。
当一个系统既提出行动、又解释行动、又批准行动,所谓安全,最终只是同一个判断被重复了三次。
五、零信任之后:执行边界的浮现
这正是零信任的价值边界所在。
零信任解决的是:永远不要默认信任任何身份,每一次访问都重新验证。它极大提升了传统 IT 架构的安全水位,是过去十年最重要的安全范式之一。
但在 AI Agent 环境里,即便我们已经完整验证了——这是正确的 Agent,这是合法的账户,这是允许调用的工具,这是允许访问的数据——依然剩下最后一个问题:
这一次执行本身,应不应该发生?
零信任验证的是"访问的正当性",而 Agent 带来的风险,发生在"访问之后、后果之前"的那一段。
企业安全的重心因此会继续迁移:从网络边界,到身份边界,再到权限边界,最终进入执行边界。
这是一条相当自然的演化路径:
防火墙解决"能不能进入网络";
IAM 解决"进入之后能做什么";
零信任解决"每一次访问是否值得信任";
而 AI Agent 逼迫企业回答:即便身份、权限、访问全部合法,这个现实结果是否仍然应该被允许发生?
到这一步,它已经不只是网络安全问题,而更接近一种新的基础设施问题。
六、成熟的 AI 安全,不会建立在"AI 永远正确"之上
AI 行业存在一种非常自然的倾向:模型犯错,就训练更大的模型;幻觉严重,就补充数据;推理不稳,就强化 reasoning;Agent 易错,就叠加评估、反思、自检与多智能体交叉验证。
这些方法都会提升系统可靠性,但它们无法消除一个基本事实:
在开放环境中运行的复杂智能系统,不可能被证明永远不犯错。
这与传统工程最大的差别在于,我们面对的已不再是一个可以穷举状态的有限程序。模型所处的语言环境、工具环境、业务环境与现实状态几乎是开放的——新的输入永远可能出现,新的组合永远可能出现,新的上下文永远可能出现。
因此,成熟的 AI 安全架构不会建立在这样的判断上:
"这个 Agent 已经足够聪明,所以可以相信它。"
而会建立在另一种判断上:
"这个 Agent 一定可能出错,所以系统必须限制它的错误能走多远。"
AI 安全的成熟,不是证明 AI 不会犯错,而是承认它一定会犯错之后,系统依然安全。
七、从 Prevent Failure,到 Bound Consequences
工业安全、航空安全与核工业,早就理解了这条原则。
真正成熟的工程设计从不依赖"发动机永远不故障、飞行员永远不误判、传感器永远不失效"。相反,它们默认某个部件迟早会坏,某个人迟早会错,某个传感器迟早会给出错误数据,然后再问一个问题:
当错误出现时,它能不能直接演变成灾难?
AI 系统正在进入完全相同的阶段。
未来企业安全设计最重要的问题,可能不再是"如何把 AI 的错误率从 3% 降到 1%",而是:
当那 1% 必然发生时,它有没有能力直接改写生产环境?有没有能力一次性移动全部资产?有没有能力删除核心数据?有没有能力跨越多个系统连续执行?
以及最关键的一问:有没有一道与模型彼此独立的边界,可以在最后一刻拒绝这个动作?
这才是 AI 从"工具"迈入"基础设施"之后,真正决定它能否被大规模采用的问题。
可靠性降低错误发生的概率,安全性限制错误造成的后果。二者从来不是同一件事。
八、对抗性完整:安全的下一种形态
把上面几条线索合在一起,一个新的安全形态开始显形。我把它称为对抗性完整(Adversarial Integrity)。
它由两个要求构成。
第一是"对抗性":判断行动的一方,必须独立于提出行动的一方。
这道边界不能与模型共享同一套推理、同一份上下文、同一个目标函数。它不需要比模型更聪明,只需要与模型不同源——它的价值不在于理解得更深,而在于不会与模型一起犯同一个错误。自证清白从来不是安全,它只是同一个判断被复述了一遍。
第二是"完整":这道边界必须覆盖从意图到现实的整条链路,且不可被绕过。
一个只在部分路径上生效的执行边界,等于没有边界。Agent 的能力恰恰在于寻找达成目标的可行路径——只要存在一条未被覆盖的通道,它迟早会走上去。这里的"完整"不是功能完备,而是没有缝隙。
对抗性保证判断不会共谋,完整性保证边界不会被绕行。二者缺一,安全就退化为一种叙事。
这也意味着,AI 安全的重心会经历一次清晰的迁移:
从 Model Safety,走向 System Safety;再从 System Safety,走向 Execution Safety。
它甚至可以被理解为一种"后果工程"——不再试图控制智能本身,而是控制智能能够对现实产生多大的影响。
未来最重要的安全边界,不一定存在于 AI 的大脑里,而更可能存在于 AI 与现实世界之间。
结语:什么事情,最终可以成为现实
过去三十年,我们花了整整一代人的时间研究一件事:如何阻止错误的人进入系统。
接下来,我们可能需要花同样长的时间研究另一件事:
如何阻止正确的人、正确的程序、正确的 AI,在错误的时刻,让错误的事情真正发生。
因为当智能开始拥有执行权之后,安全需要回答的就不再只是"谁可以做"。
而是:什么事情,最终可以成为现实。