摘要
当一家企业的业务跨越多个区域、多种合规体系,"怎么把 AI 跑起来"就不再是单纯的算力问题,而是混杂了数据主权、网络延迟、成本结构与团队能力约束的系统工程。2026 奇点智能技术大会(11 月 20-21 日 · 北京万达文华酒店)"AI Infra 基础设施与 AgenticOps"专题中,Google Cloud 解决方案架构师张宇驰将带来全球化视角的一线经验。本文先行拆解云上 AI 的三层架构、企业上 AI 的四类典型失败姿势、不可回避的多云约束,以及 AI 时代成本治理(FinOps)的变形,为正在规划 AI 基础设施的团队提供可参考的判断框架。
一、为什么 AI Infra 需要全球化视角
很多 AI Infra 讨论默认一个隐含前提:所有计算都在同一个云、同一个区域、同一套合规体系内完成。但对出海企业与跨国业务而言,这个前提几乎不成立。
全球化视角带来三类新增约束。其一是数据主权:不同区域对用户数据的跨境流动有不同规定,数据能否出境、能否用于训练、能否由第三方模型处理,都会直接改变架构设计,而不是事后的合规补丁。其二是延迟与可用性:模型推理链路上的网络往返、跨区调用、单点依赖,决定了终端体验,也决定了容灾设计是否可行。其三是成本结构差异:同一款加速器在不同区域的单价、供给充足度、闲置成本都可能相差显著,这会让"集中训练 + 分散推理"变成更常见的形态。
单区域假设:训练/推理同区 → 架构简单,治理成本低 全球化现实:数据主权 + 延迟 + 成本差异 → 必须分层解耦忽视这些约束的典型后果是:架构在国内跑得很好,一旦复制到海外就出现合规停工或成本失控。解决方案架构师的价值,恰恰在于提前把这些隐性假设显性化。
二、云上 AI 的三层架构与决策点
从大量企业实践抽象,云上 AI 基础设施可以划分为三层,每层的决策点并不相同:
| 层级 | 核心命题 | 关键决策 | 常见误区 |
|---|---|---|---|
| 算力层 | 用什么算 | 加速器选型、配额、拓扑 | 只比峰值算力,忽略供给稳定性 |
| 平台层 | 怎么编排 | 调度、服务化、多租户隔离 | 把平台做成一次性脚本 |
| 数据层 | 数据怎么流 | 血缘、主权、缓存与归档 | 数据与算力分家,链路冗长 |
算力层最常见的问题是把选型压缩成"哪张卡更快"。在真实生产里,供给稳定性、网络拓扑、故障率、以及 supply 的可获得性往往比峰值算力更能决定交付节奏。
平台层的关键是把"能跑"变成"能被多个团队稳定使用"。这需要调度策略、服务化接口、配额与隔离、以及可观测性四件套。把平台做成一次性脚本的代价,是第二个团队上船时必须重造一遍。
数据层最容易被低估。由于训练、微调、检索、评测会反复访问同一批数据,数据放哪里、怎么缓存、跨境如何合规,会长期影响性能与成本。数据离算力越远,链路越贵也越脆。
三、企业上 AI 的四类典型失败姿势
按照出现频率排序,企业 AI 落地最常见的失败可以归纳为四类。
第一类:先买算力,再想用例。在没有明确负载画像的情况下采购资源,结果往往是高峰期不够、平时闲置。合理顺序是先画出负载曲线——训练是脉冲型、在线推理是持续型、批处理是弹性型,再按曲线匹配采购与弹性策略。
第二类:PoC 与生产之间的鸿沟。演示环境里单卡跑通的模型,进入生产后遇到多租户干扰、冷启动延迟、依赖版本漂移。跨越这道鸿沟需要提前定义服务等级目标(SLO),而不是等出问题再补。
第三类:把安全当上线前的检查项。AI 系统涉及数据访问、模型调用、Agent 工具权限等多个新攻击面,事后补加固的成本远高于设计阶段内建隔离。
第四类:成本没有归口。多个团队共享资源池却无人对总账单负责,导致"局部最优、全局失控"。这一条在 AI 场景被显著放大,因为单次训练的费用可能超过过去一个季度的总支出。
四、多云与混合:不可回避的现实约束
理论上集中在一个云最简单,但现实中企业往往必须面对多云或混合部署。驱动因素通常包括合规要求、区域可用性、议价能力、以及历史遗留。
多云策略的关键取舍在于标准化层放在哪里。如果把标准化放在最底层(例如统一虚拟机规格与网络),会被云厂商差异拖垮;合理的做法是在较高的抽象层标准化:
# 以统一的服务接口吸收底层差异classInferenceService:def__init__(self,provider):self.backend=provider.build_backend()# 不同云的适配实现defpredict(self,payload,slo_ms=200):withtracer.start_span("inference")asspan:span.set_attributes({"slo":slo_ms,"provider":self.backend.name})result=self.backend.invoke(payload)metrics.observe_latency(result.latency_ms,slo_ms)returnresult这段代码体现了三条工程原则:接口统一、延迟可观测、SLO 显式化。有了这三条,底层换云、换区域、换加速器形态,对上层业务的冲击都被限制在适配层内。
需要提醒的是,多云不等于"随时可迁移"。真正的可迁移性依赖标准化层的数据格式、身份体系与部署描述,这三项若不统一,多云只会变成双倍运维负担。不要把多云当作保险,而要为它付出持续的一致性成本。
五、FinOps:AI 时代成本治理的变形
传统 FinOps 的核心是可见、可归、可优化。进入 AI 时代后,这套方法的难点发生了位移。
可见性更难,因为一笔费用可能横跨训练作业、推理服务、向量库、数据出口流量,且短时间内剧烈波动。归因更难,因为多团队共享集群与模型服务,需要按请求而非按主机分摊成本。优化更难,因为很多开销与模型选择耦合,换模型的代价不仅是钱,还有质量回归。
可落地的应对方式包括:为每个服务标注明确的业务归属标签;按请求粒度采集 token 消耗与耗时;建立单位业务成本指标(如每千次对话成本),让成本随业务而非随资源来讨论。
成本视角升级:资源成本 → 请求成本 → 单位业务成本 只有到第三层,优化讨论才可能与业务目标对齐六、给出海企业的落地清单
结合上述讨论,建议出海或跨国业务团队按以下顺序推进:先厘清每个区域的数据边界与合规红线,再确定数据与算力的相对位置;然后定义清晰的 SLO 与容灾目标,最后才是加速器与服务的选型。这个顺序看似把技术决策放在最后,却恰恰能避免最常见的返工——因为合规与延迟约束一旦确定,可选的技术方案范围会大幅收敛,决策反而更快。
七、从 PoC 到生产:被低估的三笔工程量
在交流与实践中,一个反复出现的现象是:团队用两周做出了令人满意的演示,却花了半年才把它推上线。这段落差的来源,通常不是模型不够强,而是三笔容易被跳过的工作量。
第一笔是服务化。在演示里直接调用函数即可,进入生产则需要请求排队、批处理、优先级调度、超时与重试、优雅降级。尤其当多个业务共享同一推理集群时,缺少优先级会让关键请求被低价值的批处理挤占,前端体验直接崩塌——这也是很多"演示很惊艳、上线很卡顿"的根源。
第二笔是可观测性。需要按请求维度采集 token 消耗、首 token 延迟、端到端耗时与失败原因分布,并把这些信号与业务指标关联。没有这层数据,任何优化都只能依靠猜测,故障发生时也难以快速定位是模型、网络还是依赖服务的问题。
第三笔是变更管理。模型版本、Prompt 版本、检索索引版本三者必须被统一管理与灰度发布。大量线上事故的真实原因并非模型变弱,而是 Prompt 或索引在无记录的情况下被修改,导致行为漂移却无法回滚。
PoC 关注:能不能做出来 生产关注:能否稳定、可归因、可回滚地持续做下去把这三笔工作量提前计入排期,是从演示走向交付的关键。跳过它们并不会节省时间,只会把成本转移到事故之后的救火过程中——而那时的代价通常是此时的数倍。
八、架构评审的六个必答问题
在进入正式实施前,建议团队用一页纸回答以下六个问题,它们覆盖了全球化 AI Infra 最容易返工的决策点:
其一,数据能否出境、能否用于训练——这决定了推理是本地化还是跨境调用。其二,哪些场景允许使用第三方模型——涉及个人信息与交易数据的场景往往需要受控部署。其三,延迟预算是多少——端到端 200 毫秒与 2 秒的预算会导向完全不同的部署形态。其四,单区域故障时的降级路径是什么——是否需要多活、能否接受分钟级切换。其五,成本由谁承担、如何分摊——没有明确归口的资源池最终都会失控。其六,团队是否具备运维这套系统的能力——复杂的多云架构若无对应人力,其实际可靠性往往低于简单的单区域方案。
这六个问题里,前两个属于合规红线,答错会直接导致方案作废;中间三个属于工程设计,答错会导致返工;最后一个最常被忽略,却决定系统能否长期健康运行。把资源投入与团队能力对齐,比追求架构先进性更重要。
九、大会前瞻
11 月 20-21 日,北京万达文华酒店,2026 奇点智能技术大会。在 AI Infra 议题上,国内视角(国产算力、集群调度、 KV Cache 管理)与全球视角(多云、数据主权、成本治理)恰好互补。张宇驰的分享为正在做出海规划或多云架构的团队,提供了一组在国内实践中较少被系统讨论的约束条件。
带着"如果业务明天要复制到另一个区域,哪些假设会失效"这个问题去听,收获会远比听一次技术介绍更大。
大会信息
2026 奇点智能技术大会 + C++ 及系统软件技术大会
时间:2026 年 11 月 20-21 日
地点:中国·北京万达文华酒店
大会报名链接:点击报名参会
立即报名,锁定 Lukasz Kaiser Keynote 与 70+ 场演讲完整资料!