企业官网建设流程全解析

先说一个反常识的判断：智能驾驶的竞争，早已不是谁跑的里程多，而是谁的数据闭环转得快。一支量产车队每天回传的数据以 TB 计，一年攒下来就是 PB 级——但行业里真正被用于训练、验证和模型迭代的数据，普遍不到 5%。剩下 95% 不是没价值，而是「没有被工程体系接住」：找不到、看不懂、不敢用。

接住这 95%，靠的不是某一个大模型，而是两套彼此咬合的架构：一套是承载全量数据的湖仓底座，一套是从数据里淘金的数据挖掘平台。过去 23 篇文章，我们把这两套架构的每个零件拆开讲了一遍；这一篇，把它们装回去——用一篇文章讲完整体设计：数据从车端出发，如何一路变成训练集、变成模型、再通过 OTA 回到车上，完成一圈闭环。

全文较长，建议先收藏再读。文末有全部系列的导航地图，以及获取完整设计文档的方式。

📖 全文导读 · 九章结构

一、总蓝图：两套架构，一个闭环

二、湖仓底座：四层骨架与 11 个数据域

三、数据进出湖：三通道入湖与双路查询

四、数据挖掘平台：控制面与数据面分离

五、AI 挖掘流水线：从抽帧到文搜图

六、两套架构如何咬合：闭环发动机

七、十条设计哲学

八、行业坐标系

九、系列导航与下一步

一、总蓝图：两套架构，一个闭环

整个方案的素材来自两份设计文档：《智驾数据闭环湖仓架构设计文档》约 1,600 行，回答「数据放在哪、怎么管」；《数据挖掘与多模态检索平台架构设计》约 1,100 行，回答「数据怎么用、怎么变聪明」。两份文档加起来覆盖 8 大业务环节、11 个数据域、90 余张表、16 个平台章节——它们不是两个孤立系统，而是一个闭环的两半。

先看骨架。智驾数据闭环共8 大环节：采集 → 回传 → 标注 → 挖掘 → 训练 → 仿真 → 部署 → OTA，再回到采集。湖仓底座横贯全部 8 个环节，是每个环节的数据中枢；挖掘平台则深耕其中「挖掘」一环，并向上游反哺采集、向下游供给训练。下面这张动图，就是整个体系的心跳：

▲ 智驾数据闭环 8 环节：每转一圈，就是一次模型进化

两套架构的分工，可以用一句话概括：湖仓是骨架，让数据可存、可查、可治理；挖掘是大脑，让数据可发现、可检索、可回补。后面八章，就是沿着数据流动的方向，把这两半逐层拆开、再装回去。

二、湖仓底座：四层骨架与 11 个数据域

▲ ODS → DWD → DWS → ADS 四层骨架，11 个数据域沿闭环环节铺开

湖仓底座以Apache Paimon为存储与建模内核，采用经典四层架构：ODS 贴源层原样承接车端与各业务系统数据；DWD 明细层做清洗、拉平与标准化，是全湖体量最大的一层；DWS 汇总层按主题聚合出日粒度指标；ADS 应用层直面业务，11 张数据产品表开箱即用——从闭环大盘、产线瓶颈到存储成本看板，管理者要的答案都在这里。

四层之上，按业务切分出11 个数据域：10 个业务过程域与闭环 8 环节一一对应（含采集、标注、挖掘、训练等），外加 1 个跨域闭环域专管全链路追溯与效率度量。域间关系一句话：一环主环、一反馈环、一跨域支撑——10 个业务域沿主环单向流转，挖掘域双路回补数据资产域与采集域，闭环域贯穿全程做度量。全湖共90 余张表，统一遵循四段式命名公式（层级_数据域_业务主题_粒度），分区与 Bucket 策略逐表定制。

把散落的数据串成一条链的，是贯穿 7 个环节的三级 ID 体系：data_id（采集单元，一个 clip）、clip_id（标注/挖掘片段）、image_id(单帧，且内嵌 data_id 免查表回溯)。任何一个训练样本，都能凭 ID 一路回溯到车端原始数据——这是后面血缘追溯、Badcase 复盘的地基。

三、数据进出湖：三通道入湖与双路查询

骨架立起来之后，数据怎么进来、怎么出去，是湖仓的两道大门。

▲ 三道入湖通道各管一类数据，双路查询出口各管一类场景

入口是三通道：①Flink CDC 通道实时同步业务库变更，断点续传 + Exactly-Once，平台配置秒级入湖；②Kafka 通道消费车端回传的元信息与事件流；③OSS 通道承接采集大文件（视频/点云），走「车端脱敏 → 合规室上传 → 合规云脱密 → 智驾云入湖」的五步合规链路。所有数据进门前都要过一道五步质量门禁：完整性 → 格式 → 业务规则 → 异常告警 → 隔离重放，坏数据进不了主环。

出口是双路查询：①External Catalog 外部表即席查——StarRocks 直查 Paimon，湖数据零搬迁；②ADS 内表物化毫秒直查——高频场景由 StarRocks 离线物化为内表，双路互为降级。治理上则配齐三件套：血缘追溯（Paimon + Neo4j 湖图双引擎，表级到字段级）、质量门禁、生命周期管理（五级存储分层，预热/降冷/淘汰，让成本增速远低于数据量增速）。

四、数据挖掘平台：控制面与数据面分离

镜头转向第二份文档。数据挖掘平台要解决的矛盾很尖锐：挖掘是重计算的，但平台绝不能成为第二份数据副本——一旦平台自持主数据，两套数据迟早走向不一致，闭环就断了。于是整个平台最重要的一条架构决策是：控制面与数据面分离。

▲ 平台只存任务与配置，主数据全部沉淀湖仓

具体切法：运行态（任务、配置、调度状态）留在平台侧 MySQL，轻量、高频、随改随用；所有主数据（抽帧明细、标签、向量、挖掘结果）全量沉淀湖仓，MySQL 里的配置也通过 Flink CDC 实时同步入湖。平台拆分为 11 个组件服务、K8s 三区部署，GPU 资源分时复用：白天跑 VLM 推理，凌晨 6 点前跑 Embedding 向量化——一份算力，两种产出。

这条决策还带来一个副产品：挖掘域顺带为湖仓贡献了9 张新表（1 ODS + 6 DWD + 1 DWS + 1 ADS），从规则配置到标签覆盖度指标全部登记在册。平台与湖仓不是「对接」关系，而是长在一起。

五、AI 挖掘流水线：从抽帧到文搜图

挖掘平台内部，是一条五站流水线。TB 级采集数据进来，可检索的场景资产出去：

▲ 抽帧 → 统一标签 → 双引擎挖掘 → 向量化 → 多模态检索

第一站，分层抽帧。不是所有帧都值得看：均匀抽帧保底、事件触发抓关键时刻（前后各 10 秒窗口）、场景感知按质量分挑帧，三级闸门把 TB 级数据压缩成高价值帧集合。

第二站，统一标签。采集、规则、VLM 三个来源的标签统一收口：字典映射到五大类别受控词表、幂等去重、血缘填充，四态状态机（candidate/active/deprecated/merged）管住词表不爆炸。

第三站，双引擎挖掘。规则引擎走「规则即数据」——SQL + 可视化双模表达，批流双模执行（T+1 Spark 批跑亿级 4 小时内 + Flink 准实时），擅长结构化条件；VLM 推理引擎让多模态大模型看图说话，输出结构化标签 + caption 双结果，专补规则够不着的长尾语义场景。两者互为补充，共同构成「规则粗筛 → 模型细筛 → 检索扩散」的三级漏斗。

第四站，向量化。CLIP 双塔模型每日凌晨批量生产 Embedding，标签变了图片不变就不重算，向量带版本灰度切换。

第五站，多模态检索。一句「雨天夜间行人横穿」，五步之内（查询向量化 → 标量过滤 → ANN 检索 → 重排 → 结果组装）返回相似场景，P95 ≤ 2 秒。

六、两套架构如何咬合：闭环的发动机

单看两半都清楚，真正的功夫在咬合处。这套体系的咬合点有四个，缺一个闭环就转不起来：

▲ 单一事实源、ID 贯穿、结果回写、覆盖度反哺——四个咬合点

咬合点一：单一事实源。平台不持有任何主数据副本，湖仓（DLF + Paimon）是唯一的权威存储，StarRocks 只做加速——所有消费方读到的永远是同一份数据。

咬合点二：ID 贯穿。挖掘产出的每一行明细都携带 data_id / clip_id / image_id，与采集、标注、训练各域天然对齐，跨域 JOIN 不靠猜。

咬合点三：结果回写。挖掘命中的场景双写回统一标签服务与湖仓结果表，同时异步触发事件补抽帧——挖出一个 Badcase，自动召回它的完整上下文。

咬合点四：覆盖度反哺。标签覆盖度日指标（dws_mining_tag_coverage_daily）暴露「哪类场景还没挖到」，直接反哺采集策略，指挥车队去该去的地方。数据从被动产物变成主动指令，闭环才算真正闭上。

七、十条设计哲学：架构背后的为什么

技术选型会过时，设计原则不会。把两份文档里的关键决策抽出来，浓缩成十条，是这个体系真正的「干货」：

八、行业坐标系：头部厂商在做什么

这套设计不是闭门造车。

🚘 特斯拉的 Data Engine 用触发器 + 影子模式实现百万车队全自动回传，其「自动标注 + 挖掘驱动训练」与本方案的三级漏斗同源；

🌀 Momenta 的数据飞轮强调量产数据反哺算法迭代速度；

🧪 Waymo 以每周数千万英里的仿真验证构筑安全门禁；

🚙 蔚来的群体智能与 🚗 小鹏的众包采集，则展示了量产车队作为采集网络的两条路径。

共同点只有一个：没有一家把宝押在「多跑车」上，全押在「闭环转速」上。下一站，我们就会逐环节拆解特斯拉的完整引擎。

九、系列导航与下一步

本文收拢了三个系列共 23 篇的精华。想深挖某个模块，按图索骥：

📌 本文要点

① 湖仓是骨架、挖掘是大脑，两套架构靠单一事实源、ID 贯穿、结果回写、覆盖度反哺四个咬合点连成闭环发动机；

② 数据进门三通道、出门双路查询，治理三件套保质量保成本；

③ 挖掘五级流水线（抽帧→标签→双引擎→向量化→检索）把 TB 级数据炼成可检索的场景资产；

④ 十条设计哲学是比选型更长久的资产。

📌 下一篇预告

全景收拢完毕，下一站进入「行业对标」系列——S4-01《特斯拉 Data Engine 深度拆解：触发器、影子模式与数据飞轮》。百万级车队的数据引擎是怎么全自动运转的？我们逐环节对标本方案，看看「别人家的闭环」到底强在哪。