企业官网建设流程全解析

基本信息

题目：Deformable Beta Splatting

作者：Rong Liu, Dylan Sun, Meida Chen, Yue Wang, Andrew Feng

单位：University of Southern California / Institute for Creative Technologies

时间：2025 年 5 月，arXiv:2501.18630v2

方向：Novel View Synthesis、Radiance Fields、3D Gaussian Splatting、Real-time Rendering

是否开源：https://github.com/RongLiu-Leo/beta-splatting。

摘要：
这篇论文提出Deformable Beta Splatting（DBS），目标是改进 3D Gaussian Splatting 在几何细节、锐利边界、镜面高光和参数效率方面的不足。传统 3DGS 使用 Gaussian Kernel 表示几何，用低阶 Spherical Harmonics（SH）表示视角相关颜色，但 Gaussian 的平滑、长尾和无界特性容易导致边缘模糊、细节损失，而低阶 SH 又难以刻画尖锐高光。DBS 的核心做法是：用可变形的Beta Kernel替代 Gaussian Kernel 表示几何，用Spherical Beta替代 SH 表示视角相关颜色，并提出一种Kernel-Agnostic MCMC稠密化策略，使优化过程不再依赖 Gaussian 的特殊性质。实验显示，DBS 在多个数据集上取得更好的 PSNR、SSIM、LPIPS，同时参数量约为 3DGS-MCMC 的 45%，渲染速度约为 3DGS-MCMC 的 1.5 倍。

Introduction

研究背景

NeRF 通过隐式神经网络和体渲染实现了高质量新视角合成，但其主要问题是计算量大、推理慢、难以实时应用。3D Gaussian Splatting 则用显式的 3D Gaussian primitives 表示场景，通过 point-based splatting 实现实时渲染，在效率上显著优于传统 NeRF 方法。

但是，3DGS 的核心组件存在两个瓶颈：

第一，Gaussian Kernel 太平滑。Gaussian 是连续、长尾、无界的核函数，天然倾向于产生平滑结果。在表示平面、锐利边缘、薄结构或高频纹理时，容易出现模糊、边界扩散和细节缺失。

第二，低阶 SH 表达高光能力有限。3DGS 通常使用低阶 Spherical Harmonics 表示 view-dependent color。SH 的参数量随阶数平方增长，因此实际系统一般只能使用低阶 SH，导致颜色变化过于平滑，难以建模尖锐镜面反射，也很难自然分离 diffuse 和 specular 分量。

研究问题与目标

这篇论文的目标可以概括为：

在保持 3DGS 实时渲染优势的前提下，提升几何表达能力、视角相关外观表达能力和模型参数效率。

具体来说，作者希望解决三个问题：

1. 如何设计一种比 Gaussian 更灵活的 splatting kernel，使其既能表示平滑区域，也能表示平面、锐边和高频细节？

2. 如何设计比低阶 SH 更高效的 view-dependent color 表达，使其能刻画尖锐高光，并支持 diffuse/specular 分解？

3. 如何让 MCMC densification 不再绑定 Gaussian Kernel，使其可以适配任意 splatting kernel？

Related Works

NeRF 系列方法

NeRF 使用 MLP 表示连续体密度和颜色，通过体渲染进行新视角合成。其优势是渲染质量高，能够表达复杂场景；不足是需要密集 ray marching 和大量网络推理，因此实时性较差。后续如 Instant-NGP、Mip-NeRF 360、Zip-NeRF 等方法通过哈希编码、多尺度抗混叠和网格结构提升速度和质量，但整体仍偏隐式表示，难以直接融入实时图形管线。

分析：
NeRF 的强项是高质量，弱项是实时性和工程集成。3DGS 的出现本质上是将辐射场从“神经网络隐式表示”转向“显式 primitive 表示”，从而大幅降低渲染成本。

3D Gaussian Splatting 系列方法

3DGS 使用一组各向异性 3D Gaussian primitives 表示场景，每个 primitive 包含位置、旋转、尺度、不透明度和颜色特征。它不需要体渲染式的 dense ray marching，而是通过 rasterization/splatting 完成快速渲染。

后续工作主要从几个方向改进 3DGS：

一是抗混叠，如 Mip-Splatting、多尺度 Gaussian Splatting 等；
二是去模糊，如 DeblurGS、BAD-Gaussians 等；
三是 appearance modeling，如 Texture-GS、BBSplat、Spec-Gaussian 等；
四是 kernel 设计，如 Generalized Exponential Splatting、Linear Kernel Splatting、3D Convex Splatting、Deformable Radial Kernel Splatting 等；
五是 densification 优化，如 3DGS-MCMC、Pixel-GS、Scaffold-GS 等。

分析：
这篇论文不是单点改进，而是同时改了 3DGS 的三个关键部件：几何核函数、颜色编码方式和稠密化优化策略。因此它的定位不是简单的 “Gaussian Splatting 加一个 trick”，而是试图重构 3DGS 的底层表示范式。

Method

论文的方法由三个核心模块组成：

1. Deformable Beta Kernel：用于几何表达

2. Spherical Beta：用于视角相关颜色表达

3. Kernel-Agnostic MCMC：用于优化和 densification

1. Deformable Beta Kernel

基本思想

传统 3DGS 使用 Gaussian Kernel，而 DBS 使用从 Beta 分布启发而来的 Beta Kernel。论文中将 Beta Kernel 写为：

之后又将 () 重新参数化为：

最终得到：

这里的关键参数是 (b)。当 (b=0) 时，Beta Kernel 的形状接近 Gaussian；当 (b<0) 时，kernel 更平、更接近实心支撑区域，适合表达平面和锐利边界；当 (b>0) 时，kernel 更尖锐，适合表达高频细节。论文第 4 页图 2 直观展示了不同 (b) 值下 kernel 的形状变化。

分析

这个设计的核心优势是：一个 primitive 不再只能是固定形状的 Gaussian，而是可以学习自己的形状频率。

Gaussian Kernel 的问题在于形状固定，只能通过 scale、rotation、opacity 等参数间接适配场景。而 Beta Kernel 多了一个形状控制参数 (b)，使每个 primitive 可以在训练中自动变成“平坦型”“Gaussian-like 型”或“尖峰型”。这使 DBS 在几何表示上拥有更大的自由度。

技术亮点

论文不是随便换了一个核函数。作者还用 inverse Abel transform 说明，满足一定条件的 2D radial kernel 可以对应一个 multi-view consistent 的 3D kernel。因此 Beta Kernel 不只是经验上可用，而是在 splatting 几何一致性上有一定数学支撑。

2. 3D Ellipsoidal Beta Primitive

DBS 中每个 3D Beta primitive 的参数包括：

其中：

• ()：primitive 的 3D 中心；

• (o)：opacity；

• (q)：旋转四元数；

• (s)：尺度；

• (b)：Beta Kernel 的形状控制参数；

• (f)：颜色特征。

可以看到，DBS 继承了 3DGS 的基本 primitive 结构，但额外加入了 (b) 参数。这意味着它并不是完全推翻 3DGS，而是在 3DGS 框架内增强 kernel 表达能力。

分析

这个设计的工程价值很高，因为它保持了与 3DGS pipeline 的兼容性。位置、旋转、尺度、opacity 等参数仍然沿用 3DGS 的设定，渲染过程仍然是投影、排序、alpha compositing。新增的 (b) 参数只是在 kernel 计算处引入形状可变性，因此不会彻底破坏原有系统结构。

3. Spherical Beta

为什么不用 SH？

3DGS 使用 SH 表示 view-dependent color。对于 (N) 阶 SH，特征维度大约随 (3(N+1)^2) 增长。阶数越高，参数越多；阶数太低，又无法表示尖锐高光。因此实际 3DGS 通常使用低阶 SH，导致高光过于平滑。

Spherical Beta 的思想

论文借鉴 Phong Reflection Model，将颜色拆为 base color 和若干 specular lobes：

其中：

• ()：diffuse/base color；

• ()：视角方向；

• ()：第 (m) 个反射方向；

• ()：高光锐度；

• ()：高光颜色。

论文第 5 页图 3 展示了不同 () 值下的 Spherical Beta 高光形状。较小的 (b) 对应更宽的反射区域，较大的 (b) 对应更尖锐的 specular highlight。

分析

Spherical Beta 的意义在于：它把 view-dependent color 从“频域基函数拟合”转成了“反射 lobe 建模”。

SH 更像是用一组球面基函数去拟合颜色变化，而 Spherical Beta 更接近图形学中的反射模型：基础颜色负责 diffuse，若干 lobe 负责 specular。这种设计在表达高光时更直接，也更可解释。

论文指出，相比 3 阶 SH，Spherical Beta 只需要约 31% 的参数，却能更好地表达 diffuse/specular 分解和尖锐高光。

4. Kernel-Agnostic MCMC

问题背景

3DGS 中的 densification 通常依赖 Gaussian 的性质，比如 clone、split、prune 等操作。3DGS-MCMC 将 Gaussian primitive 的 opacity 看作概率，通过 Markov Chain Monte Carlo 方式重采样和重新放置 primitives，使模型优化更加稳定。

但是，这些方法大多是为 Gaussian Kernel 设计的。如果换成 Beta Kernel，原有的 scale adjustment、Gaussian-specific heuristic 就不一定成立。

论文的解决方案

DBS 提出Kernel-Agnostic MCMC。核心结论是：只要对 opacity 做正则化，使每个 primitive 的 opacity 保持较小，那么 densification 时只调整 opacity 就可以近似保持原始分布，而且这个结论与具体 kernel 类型无关。

论文的推导大意如下：

原 primitive 的贡献为：

复制 (N) 次后，每个副本 opacity 为 (o')，总贡献为：

当 (o) 较小时，有：

因此：

也就是说，当 opacity 被正则化到较小范围时，复制后的分布与原分布在一阶近似下保持一致。这个结论不依赖 (f(x)) 的具体形式，所以适用于 Gaussian、Beta 或其他 splatting kernel。

分析

这是论文中比较有理论价值的部分。很多 3DGS 改进方法在 densification 上依赖经验启发式规则，而 DBS 试图将 densification 从 Gaussian-specific 操作中解耦出来，变成一种 kernel-agnostic 的概率保持策略。

这对后续研究很有启发：如果未来继续探索其他 kernel，比如 linear kernel、convex primitive、radial deformable kernel，也可以参考这种“opacity regularization + kernel-agnostic densification”的思路。

Experiments

数据集与指标

论文在多个常用新视角合成数据集上进行实验，包括：

• Mip-NeRF 360

• Tanks and Temples

• Deep Blending

• NeRF Synthetic

评价指标包括：

• PSNR：越高越好；

• SSIM：越高越好；

• LPIPS：越低越好。

与现有方法对比

在 Table 1 中，DBS 在多个数据集上超过了 3DGS、3DGS-MCMC、Mip-Splatting、Zip-NeRF 等方法。以 Mip-NeRF 360 为例，DBS full 达到 PSNR 28.75、SSIM 0.845、LPIPS 0.179；而 3DGS-MCMC 为 PSNR 28.29、SSIM 0.840、LPIPS 0.210。

在 NeRF Synthetic 上，DBS full 达到 PSNR 34.66、SSIM 0.973、LPIPS 0.028，也优于 3DGS-MCMC 的 PSNR 33.80、SSIM 0.970、LPIPS 0.040。

效率对比

Table 2 显示，在 Mip-NeRF 360 上：

• Zip-NeRF：训练约 5h29m，渲染 FPS 仅 0.184；

• 3DGS：训练约 21m，存储约 797MB，渲染 116.15 FPS；

• 3DGS-MCMC：训练约 31m，存储约 733MB，渲染 82.46 FPS；

• DBS full：训练约 22m，存储约 356MB，渲染 123.09 FPS

分析：
DBS 的优势不是单纯“质量更高”，而是质量、速度、存储三者同时改善。尤其是相比 3DGS-MCMC，DBS 在质量更好的同时，存储接近减半，渲染速度提升明显。

消融实验

Table 3 展示了 Beta Kernel、Kernel-Agnostic MCMC 和 Spherical Beta 的贡献。结果显示：

• 从 3DGS-MCMC 换成 DBS kernel 后，PSNR 提升；

• 再加入 Kernel-Agnostic MCMC，PSNR 继续提升；

• 使用 Spherical Beta 后，内存大幅降低；

• sb=2 通常是质量和内存之间的较好平衡点

分析：
这个消融设计比较完整，说明论文的提升不是来自单一组件，而是三个模块共同作用。其中 Beta Kernel 提升几何表达，Spherical Beta 降低颜色参数量并提升高光表达，Kernel-Agnostic MCMC 稳定优化和 densification。

主要创新点

1. 用 Beta Kernel 替代 Gaussian Kernel，提升几何表达能力

这是论文最核心的创新。Gaussian Kernel 固定、平滑、无界，天然不擅长表达锐利边界和平坦表面。Beta Kernel 是有界支撑的，并且通过 (b) 参数控制形状，可以在平坦、Gaussian-like、尖锐之间连续变化。

这一点的意义在于：DBS 不只是增加 primitive 数量来补细节，而是提高了单个 primitive 的表达能力。

2. 用 Spherical Beta 替代 SH，提升高光建模和参数效率

传统 SH 更适合表达平滑的 view-dependent color，但对尖锐 specular highlight 不友好。Spherical Beta 用 learnable reflection lobe 显式建模 specular component，并自然分离 diffuse 和 specular。

这使 DBS 在反光物体、金属、桌面、黑色长椅等场景中表现更好。论文第 8 页图 6 展示了 DBS 相比 3DGS-MCMC 更好地分离 diffuse/specular 分量。

3. 提出 Kernel-Agnostic MCMC，使 densification 不再绑定 Gaussian

现有 densification 策略大多是 Gaussian-specific 的。DBS 通过 opacity regularization 证明，只调整 opacity 就可以在小 opacity 假设下保持 densified distribution，且该结论与 kernel 类型无关。

这个创新的价值不只服务于 DBS，也可能服务于未来更多 non-Gaussian splatting 方法。

4. 几何与光照的可分解性更强

由于 Beta Kernel 的 (b) 参数具有频率意义，论文可以根据 (b) 值将场景分为结构部分和细节部分。第 6 页图 4 展示了几何分解效果：低频 primitive 更偏向整体结构，高频 primitive 更偏向纹理和细节。

同时，Spherical Beta 又能将 base color 和 specular component 分离，从而实现光照分解。这个特性对后续编辑、材质分解、重光照和资产制作都有潜在价值。

值得借鉴的地方

1. 从底层表示出发，而不是只做 pipeline trick

很多 3DGS 改进方法是在已有 Gaussian 表示上增加正则项、调 densification、加后处理或换训练策略。而这篇论文直接回到最底层问题：Gaussian Kernel 本身是否是最优表示？

这种思路非常值得借鉴。对于一个成熟框架，真正有效的创新往往不是局部调参，而是重新审视其基础假设。

2. 几何表达和颜色表达要协同设计

DBS 同时改了几何 kernel 和 view-dependent color encoding。这个组合很重要。只改几何 kernel，可能提升边缘和结构，但高光仍然受 SH 限制；只改颜色编码，几何模糊问题仍然存在。DBS 的优势来自几何和外观两条线同时增强。

这对做 3DGS、NeRF、SLAM 建图或三维重建的人都有启发：几何、颜色、优化不是孤立模块，表达能力瓶颈经常来自多个组件之间的不匹配。

3. 可解释参数设计很重要

Beta Kernel 的 (b) 参数不仅是一个可学习参数，而且具有明确解释：控制 kernel 的频率和形状。Spherical Beta 的 lobe 参数也有明确图形学含义：反射方向、颜色、锐度。

这比黑盒 MLP 或高维 latent feature 更容易分析、可视化和编辑。对于希望将 3D 表示用于工程系统、内容生产或可控编辑的场景，这种可解释性非常有价值。

4. 理论推导与工程实现结合较好

论文没有停留在“换一个 kernel 效果更好”的经验结论，而是补充了 inverse Abel transform 的一致性分析，以及 kernel-agnostic densification 的近似推导。与此同时，方法又能落地到 CUDA 和 gsplat pipeline 中，保持实时性能。

这种“理论上讲得通，工程上跑得动”的论文结构非常适合学习。

5. 消融实验比较充分

论文分别验证了 Beta Kernel、Spherical Beta、Kernel-Agnostic MCMC、不同 sb 数量、opacity regularization、压缩效果等因素。尤其是附录中的 kernel-only comparison，在关闭 view-dependent color 后比较 Gaussian 和 Beta，能够更清楚地证明 Beta Kernel 本身的表达能力优势。

局限性分析

1. 仍然是 rasterization-based，存在 popping artifacts

论文在 Conclusion 中明确指出，由于 DBS 仍然基于 rasterization，排序过程中存在深度近似误差，因此偶尔会产生 popping artifacts。

分析：
这其实是 splatting 系列方法的共性问题。只要依赖近似深度排序和 alpha compositing，就可能在视角变化、遮挡关系复杂或 primitive 交叠严重时出现闪烁、跳变或错误遮挡。

2. 对镜面反射和各向异性高光仍然不足

虽然 Spherical Beta 比低阶 SH 更擅长表示高光，但论文也承认，它仍然难以处理 mirror-like reflection 和 anisotropic specular highlight。

分析：
Spherical Beta 本质上仍是有限数量的反射 lobe。对于镜子、玻璃、拉丝金属等强反射或方向性很强的材质，仅靠几个 lobe 可能不够。未来可能需要结合更强的 BRDF 模型、环境光建模或显式材质分解。

3. 远处背景可能导致 Beta Kernel 形状分布异常

论文指出，frustum model 会导致 Beta Kernels 在远处背景上倾向于优化出 flat geometries，从而影响整体 beta geometry distribution。

分析：
这说明 (b) 参数虽然可解释，但它的统计分布会受到成像几何、尺度和远近关系影响。因此，如果直接用 (b) 做几何/纹理分解，可能需要考虑深度、尺度归一化或场景区域差异。

4. 小 opacity 假设是 Kernel-Agnostic MCMC 的关键前提

Kernel-Agnostic MCMC 的理论推导依赖小 opacity 近似。论文通过 opacity regularization 让平均 opacity 接近 0.1，并在附录中验证该设定效果较好。

分析：
这个假设在 volumetric representation 中是合理的，但也带来一个问题：如果某些任务更需要 surface-like、高 opacity 的几何表达，例如 mesh extraction、物理碰撞、精确表面重建，那么小 opacity 先验可能不一定最优。DBS 更偏向高质量视觉渲染，而不一定直接适合几何精度优先的表面重建任务。

5. 对动态场景、开放世界大场景尚未充分验证

论文主要实验集中在标准新视角合成数据集，如 Mip-NeRF 360、Tanks and Temples、Deep Blending、NeRF Synthetic。

分析：
这些数据集能验证静态场景渲染质量，但还不能充分说明 DBS 在动态场景、大规模城市级场景、在线建图、机器人实时感知等任务中的表现。由于 Beta Kernel 和 Spherical Beta 增加了新的可学习参数，未来还需要验证其在增量式训练、动态更新、低算力设备上的稳定性。

总结

Deformable Beta Splatting 是一篇针对 3DGS 底层表示能力进行系统性改造的论文。它的核心贡献不是简单提升某个指标，而是从三个关键模块重新设计了 3DGS：

第一，用Deformable Beta Kernel替代 Gaussian Kernel，使 primitive 可以自适应表示平面、锐边和平滑区域；

第二，用Spherical Beta替代低阶 SH，使 view-dependent color 更适合表达尖锐高光，并支持 diffuse/specular 分解；

第三，用Kernel-Agnostic MCMC改造 densification，使优化策略不再依赖 Gaussian 的特殊性质。

从实验结果看，DBS 在重建质量、渲染速度和存储效率之间取得了很好的平衡。它比 3DGS-MCMC 更快、更省参数，同时在多个数据集上取得更好的 PSNR、SSIM 和 LPIPS。

我认为这篇论文最值得关注的地方在于：它证明了 3DGS 的性能瓶颈并不只来自训练策略或参数数量，而是来自Gaussian Kernel + SH这套基础表示本身。未来的 3DGS 改进，很可能会继续沿着“更灵活的 primitive、更物理一致的 appearance model、更通用的 densification 策略”这三个方向发展。