腾讯发布真3D世界模型HY-World 2.0,游戏引擎直接可用
2026/4/18 10:48:06 网站建设 项目流程

敲下一段文字,或者丢进一张照片,眼前就会长出一个立体街区,就像你直接走进去散步一样。

腾讯最新开源的混元3D世界模型HY-World 2.0,终结了AI生成只能看视频的旧时代,直接输出能无缝接入游戏引擎的真实3D资产。

HY-World 2.0模型支持图文和视频输入,通过精妙的四步流水线,不仅能创造各种风格的可玩3D空间,还能把普通视频瞬间变成高精度的数字孪生,真正打通了AI与现代游戏制作的壁垒。

告别一次性视频

过去的世界模型,比如谷歌的Genie 3或者早期的混元世界模型1.5,本质上是在做像素级视频。

用户输入一段指令,模型给你放一部电影,进度条走完,一切就消失了。

HY-World 2.0直接生成可以编辑、可以永久保存的3D资产。

这种资产包含了多边形网格(Mesh)和3D高斯泼溅(3DGS),能够直接拉进Blender、Unity、Unreal Engine或者Isaac Sim等主流游戏和物理仿真引擎里。

以前是录制一段视频,现在是直接为你搭建一个真正能玩的游戏关卡。

视频模型生成的画面往往存在闪烁,换个视角就会变形,每次互动都要重新消耗算力去推理。

HY-World 2.0生成的真实3D资产具备先天的空间一致性。只要生成一次,后续的渲染成本几乎为0,用普通的消费级显卡就能实时跑起来。

正如以下表格对比展示的那样,新一代3D世界模型在可交互时长、物理一致性和引擎兼容性上,展现了压倒性的优势。

作为首个开源的最先进3D世界模型,它的实际表现已经能与Marble等闭源商业方案并驾齐驱。

官方即将发布所有的模型权重、代码和技术细节,方便全球的开发者复现和研究。

随手造物与复刻现实

给出一句提示词或一张参考图,模型就能精准解析复杂的语义,一键生成风格多样的可漫游世界。写实的现代都市、夸张的卡通小镇,还是游戏里的奇幻森林,都可以按需定制。

在生成的世界里,用户拥有极高的自由度。HY-World 2.0原生支持第一人称和第三人称的角色探索模式。

操控虚拟角色在AI生成的街道、建筑和自然景观中随意走动,没有任何时间限制。

角色撞到墙壁会有真实的物理碰撞反馈,体验和玩主流3D游戏毫无二致。

与其他世界模型相比,它在场景完整度上表现得更好,连物体的侧面和背面都能清晰生成,对输入图片的还原度也更高。

除了无中生有的创造,复刻现实同样拿手。模型内置了一个名叫WorldMirror 2.0的前馈模型。拿手机围着一个房间或一个物件拍一段视频,或者提供几张不同角度的照片,这个模型就能在单次计算中,同时预测出稠密的3D点云、深度图、表面法线和相机参数。

它支持5万到50万像素的灵活分辨率输入,精度达到了行业顶尖水平。只需一段真实空间的视频,一个完美的数字孪生空间就诞生了。

在未来的室内装修预览、城市规划和文化遗产保护等领域,这项技术可以省去大量的人工建模时间,一次生成就能永久复用。

拆解四步造物法

把一张平面的图片变成一个立体的世界,需要经过一个严谨的系统化流水线。开发团队把这个庞大复杂的工程拆解成了四个紧密相连的步骤。

第一步是全景生成。

传统的3D重建方法非常依赖精确的相机参数,但在现实生活中,随手找来的图片根本没有这些数据。

全新升级的HY-Pano-2.0模型采用端到端的隐式学习方案,让AI自己学会从普通平面图片推导360度全景的空间映射,完全不需要任何相机元数据。

配合团队使用真实全景照片和虚幻引擎合成数据的混合训练策略,生成的全景图既清晰又符合物理常识。

有了全景图,第二步是解决怎么走的问题。

模型通过自研的空间代理技术,结合视觉语言模型(VLM)与游戏自动寻路算法中常见的导航网格表征,让大模型理解空间语义。

模型会智能规划出有意义的漫游轨迹,确保镜头能覆盖场景里最有价值的区域,完全避开穿墙或者飞出边界等错误。

针对不同场景的语义,它还能自动规划出环绕物体或最大漫游等五类运镜轨迹,让用户在3D世界中的探索路径自然又有趣。

第三步是世界扩展。

沿着刚刚规划好的路线,模型通过视频生成技术不断向外延展世界。这里的核心支撑是业界领先的新视角生成(NVS)模型HY-WorldStereo。

通过精确的相机控制、细腻的视觉细节保持和空间一致性记忆机制,新生成的区域能和原本的区域在几何结构与视觉色彩上完美缝合。

后训练算法的加入,保证了模型在保持快速生成的同时,画质不会出现衰减。

第四步是世界组合。

所有的生成片段会被送进世界组合模型,整合成一个统一的、可交互的3D世界。

借助定制的深度对齐和自适应遮罩高斯场景优化算法,最终输出的场景采用3DGS表示,同时可以转出高质量的多边形网格。此时的资产已经可以无缝导出到主流游戏引擎,供创作者进行二次编辑。

从首个开源的1.0版本,到支持实时互动的1.5版本,再到今天能够一键生成完整高质量3D空间资产的2.0版本,腾讯混元正在一步步把AI造世界从科幻概念,落地为实打实的生产力工具。

技术的演进总是致力于消除创作的门槛,把想象力直接转化为触手可及的虚拟空间,正是这套模型最迷人的底色。你想用它为你生成一个什么样的专属世界呢,快去体验吧。

体验地址:

https://3d.hunyuan.tencent.com/sceneTo3D

开源地址:

https://github.com/Tencent-Hunyuan/HY-World-2.0

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询