企业官网建设流程全解析

• 人工智能
• 多模态
• 媒体生成
• 自动驾驶
• 大模型

Cosmos3-Nano-Transfer-Auto是 NVIDIA 推出的物理 AI 世界模拟模型：它接收一段"控制视频"（WSM，World Scenario Map，世界场景地图）加文字描述，就能把同一个驾驶场景批量重生成——道路、车流、车道线完全保持不变，而天气、光照、时间等"外观"随你的文字提示随意切换，这正是典型的驾驶场景风格迁移。本文带新手从零理解 WSM 是什么、风格迁移是怎么发生的，以及如何用自带示例跑起来。

一句话理解：WSM 是场景的"线稿"

想象给画家画画：你先给一张铅笔线稿（只保留结构，去掉色彩），再口头说明"画成黄昏、下小雨"。画家就会沿着线稿填上全新的色彩与氛围——结构没变，风格全变了。

WSM 就是这张"线稿"。它以MP4 视频的形式存在，每个摄像头视角一条，逐帧编码了驾驶场景的结构信息：

• 🚦 交通标志、红绿灯
• 🛣️ 车道线、道路标记
• 📦 车辆、行人等物体的 3D 包围盒（object cuboids）

而外观属性——天气、光照、一天中的时间——不写在视频里，而是交给文字提示词（text prompt）描述。结构归 WSM，风格归文本，这就是"可控风格迁移"的核心分工。

风格迁移是怎么实现的

Cosmos3-Nano-Transfer-Auto 是 Cosmos3-Nano 基座模型在多传感器驾驶数据（含 LiDAR）上后训练得到的变体，采用 Transformer（Mixture-of-Transformers）架构，可训练参数 16B。生成时的输入条件是：

模型用双向（bidirectional）生成联合去噪整段多视角序列，一次最多支持11 路摄像头（含 120°/30°/70° 标准视角与 200° 鱼眼），输出 480p 或 720p、单视角最多 300 帧、10–30 FPS 的同步视频；请求 LiDAR 时还会同步生成带强度信息的 3D 点云。

也就是说：改一下文本里的 "golden hour"、"rainy night"，同一条路、同一批车流就会以全新外观重新出现——同场景、可复现、可大规模批量生成，这正是训练和评估自动驾驶感知模型最需要的合成数据能力。

动手前先看示例数据

仓库自带一套完整示例场景 assets/sample_data/：白天 7 摄像头同步片段（来自 NVIDIA PhysicalAI Autonomous Vehicles 数据集），目录结构非常清晰：

daytime_scene/ rgb/ # 7 路真实摄像头视频（生成目标） wsm/ # 7 路 WSM 控制视频（风格迁移的"线稿"） captions/ # 原版段落式英文描述 captions_with_timestamp/ # 带时间戳的描述（官方推荐，推理效果更好） lidar/ # 高精地图控制 + 录制 LiDAR 目标

推荐先看几个文件：

• 示例说明：assets/sample_data/README.md
• 一路 WSM 控制视频：assets/sample_data/daytime_scene/wsm/camera_front_wide_120fov.mp4
• 对应的正面广角真实画面：assets/sample_data/daytime_scene/rgb/camera_front_wide_120fov.mp4
• 带时间戳的文本描述：assets/sample_data/daytime_scene/captions_with_timestamp/camera_front_wide_120fov.json
• 推理请求文件：assets/sample_data/input-transfer-auto.jsonl

对照wsm/与rgb/中同名文件播放，你能直观看到"结构线稿"和"最终画面"的对应关系。

快速上手：三种推理方式

方式一：vLLM-Omni 服务化（官方 Quick Start）

在一台带 NVIDIA GPU 的 Linux 主机上用 Docker 启动服务，再把示例的 7 路 WSM 视频与文本描述通过/v1/videos/sync接口提交，即可得到 7 路同步视频（201 帧、832×480、30 FPS）。关键参数：num_inference_steps=35、guidance_scale=3、flow_shift=10。完整命令见 README.md 的Quick Start小节。

方式二：SGLang 服务化

SGLang 通过 OpenAI 兼容的 Videos API 提供同一模型，输入改为"容器内可读的路径"，生成为异步任务（提交后轮询结果），适合需要队列化的批量合成。

方式三：Cosmos Framework 原生推理

直接对示例请求文件运行：

torchrun --standalone --nproc-per-node=4 \ -m cosmos_framework.scripts.inference \ -i input-transfer-auto.jsonl -o outputs/transfer-auto-daytime \ --checkpoint-path <本地checkpoint路径> --cp-size 4 ...

该请求会同时生成 7 路 1280×720 视频和联合 LiDAR（range_m与intensity），适合做完整的多传感器数据生产。

💡 小贴士：想要换天气或昼夜，只需改每个视角的文本描述；WSM 控制视频保持不变，结构和车流就不会漂移。官方也建议优先使用captions_with_timestamp/版本的描述，它更贴近训练风格，实测推理效果更好。

效果如何：官方评测亮点

在 720p 评测中，相比 Cosmos-Transfer2.5-2B Multiview 基线，Cosmos3-Nano-Transfer-Auto 的图像 FID 从 61.9 降到 45.5（T2V）、27.8（I2V），跨视角几何一致性（Cross-view Sampson error）也全面更优；LiDAR 侧 BEV JSD、对象检测 F1 等指标同样领先，说明"迁移风格"的同时结构保真度依然过硬。完整数据表见 README.md 的Quality Benchmark部分。

常见问题 FAQ

WSM 控制视频从哪来？由 WSM 渲染器（renderer，当前示例为 v4.0.1）基于场景结构渲染生成，每个视角一条 MP4，与摄像头视频帧帧对齐（示例为 1280×720、300 帧、30 FPS）。

只能生成 7 路摄像头吗？不是。模型原生支持 1–11 视角（Hyperion 8.1 摄像头组），示例只用了其中 7 路；更换摄像头阵列需要额外后训练适配。

生成的数据能直接用于训练吗？模型定位为"规模化批量合成数据"：同一场景可无限次以不同天气/光照重生成，用来扩充感知与驾驶模型的训练集。但官方提醒，合成数据仍需按 V 模型流程做充分测试与验证后再用于部署。

支持哪些硬件？NVIDIA Blackwell / Hopper 架构 GPU（如 GB200、H100/H200/H20），Linux 系统，运行引擎为 PyTorch、vLLM-Omni、SGLang。

总结

• 🗺️WSM 是场景结构控制视频：用线稿式画面锁定道路、交通元素与物体位置
• ✍️文本负责风格：天气、光照、时间随心切换，实现驾驶场景风格迁移
• 📼多视角 + LiDAR 同步输出：最多 11 路摄像头，最多 300 帧/路
• 🚀三条推理路径：vLLM-Omni、SGLang、Cosmos Framework，示例数据开箱即用

想进一步体验，建议先从 assets/sample_data/ 的白天示例跑起，对比wsm/与rgb/视频，几分钟内就能理解"控制视频 + 文本"这套风格迁移范式的全部精髓。

• 人工智能
• 多模态
• 媒体生成
• 自动驾驶
• 大模型