3DGS技术详解（二）：视觉重建到物理仿真，3DG

▍文章来源于康谋自动驾驶

01 引言

在《3DGS技术详解（一）：3DGS如何融合动态天气与光照等环境因素？》文章中，我们系统梳理了3D高斯泼溅（3DGS）如何突破静态重建的局限，实现对动态天气、移动光源等复杂环境因素的建模与仿真。这标志着3DGS已不再仅仅是“高保真场景重建工具”，而开始具备承载真实世界多变性的潜力。

然而，一个能够以假乱真的视觉场景，对于自动驾驶仿真、数字孪生等工业应用而言，仍然只是起点。仿真系统的真正价值，在于提供一个“可交互、可验证、可推演”的数字环境。这意味着，场景中的物体必须能够响应碰撞、发生形变；表面材质需要符合物理光学规律，呈现真实的反射与光泽；环境光照也应支持动态变化，以模拟从正午到深夜、从晴天到雨雾的完整观测条件。

过去两年，围绕3DGS的研究正迅速从“视觉重建”向“物理与光学表达”延伸。从为高斯赋予物理属性的PhysGaussian，到精确建模镜面反射的MirrorGaussian，再到支持动态重光照的GS^3——这些前沿工作共同指向一个趋势：3DGS正在演化为一种更统一的场景表达技术，有潜力同时承载几何、材质、运动与光照等多维信息，成为连接真实世界与工业仿真的新接口。

本文将聚焦这一演进趋势，梳理3DGS在物理交互、反射建模与动态光照三大方向上的关键技术突破，并结合仿真软件aiSim的工程实践，探讨这些能力如何被组织进一个稳定、可控的工业级验证体系中，推动仿真从“视觉真实”走向“物理一致”。

02 从重建到表达

3DGS 的核心思想，是使用一组三维高斯对场景进行显式表示，并通过可见性感知的 splatting 渲染，实现高质量的新视角合成。相较于传统 NeRF，3DGS 在训练效率、渲染速度以及细节保真度方面表现出明显优势，因此迅速成为三维重建与神经渲染领域的重要路线。

但 3DGS 的真正潜力，并不只体现在渲染效率上。

更关键的是，这种表示方式是显式的、可编辑的，并且天然适合附加更多属性。一个高斯不仅可以用于表达颜色和密度，还可以逐步绑定与几何、材质、运动、应力相关的状态信息。这意味着，3DGS 不只是一个“显示世界”的方法，也有机会成为一个“组织世界”的方法。

从技术演进的角度看，这一点非常重要。因为一旦一种三维表示既能服务于重建，又能服务于交互、光照和物理求解，它就具备了成为统一场景底座的条件。

03 3DGS物理交互与光学仿真技术

3DGS物理交互

在仿真场景中，仅仅完成高保真重建是不够的。

一个场景如果只能被观看，而不能发生接触、碰撞、形变和响应，那么它依然更接近静态资产，而不是可用于验证的数字环境。因此，3DGS 是否能够进入物理交互层，是其能否真正走向仿真的关键一步。

CVPR 2024的PhysGaussian 提供了一个具有代表性的方向[1]。这项工作尝试让同一组三维高斯同时承担渲染与物理仿真的职责，并通过定制化的 Material Point Method 为高斯附加运动学形变和机械应力属性，以支持弹性体、塑性材料、流体、颗粒体以及碰撞等场景。

这类研究的意义，不在于单纯“让模型动起来”，而在于开始打通真实场景重建与物理动态求解之间的表示鸿沟。过去，真实世界采集、三维建模和物理仿真往往属于分离流程，中间需要大量人工建模与数据转换。PhysGaussian 这类工作则表明，研究界正在尝试让“观测到的场景”更直接地转化为“可求解的场景”。

CVPR 2025的Gaussian Splashing又进一步将 3DGS 与 Position-Based Dynamics 结合起来，试图用统一粒子表示同时处理固体与流体的运动合成和渲染[2]。这一方向说明，3DGS 在物理层面的潜力，已经不再局限于局部运动拟合，而是在逐步触及接触、交互、流动和多对象耦合等更复杂的问题。

从产业应用角度看，这意味着 3DGS 的价值正在从“高质量重建”延伸到“可交互场景建模”。对于自动驾驶仿真、机器人训练和数字孪生验证而言，这是一个非常关键的变化。

3DGS反射建模

如果说物理交互回答的是“场景如何运动”，那么反射建模回答的则是“场景为何看起来真实”。

这一问题在仿真系统中尤为重要。因为镜面反射、高光变化、间接光照和多次反射，并不仅仅影响画面观感，它们还会直接影响摄像头观测结果，进而影响感知算法和验证结论。对于面向传感器的工业仿真而言，反射不是附加效果，而是场景真实性的一部分。

SIGGRAPH 2024的“3D Gaussian Splatting with Deferred Reflection”给出了一条兼顾质量与效率的实现路径[3]。该方法在高斯渲染阶段生成反射强度、法线和基色等屏幕空间信息，再在延迟着色阶段计算反射方向与环境光响应，从而实现更合理的反射效果。

这类方法的重要性在于，它并没有放弃 3DGS 的实时性优势，而是将传统图形学中较为成熟的反射处理机制有效地接入到了高斯表示体系中。

对于更复杂的镜面场景，ECCV 2024的 MirrorGaussia 进一步提出了“镜像高斯”的思路[4]。通过在镜面约束下构造虚拟镜像空间，并联合优化真实高斯与镜像高斯，该方法在镜中成像建模上更进一步。这表明，3DGS 在反射问题上的研究，正在从“视觉近似”走向“几何约束下的真实建模”。

到了 2025 年，这一方向继续向全局光照与多次反射推进。ICLR 2025的 GI-GS 将全局光照分解引入 Gaussian Splatting 逆渲染，并结合 deferred shading 与轻量级 path tracing 处理间接光照[5]。CVPR 2025的 IRGS 则提出基于 2D Gaussian ray tracing 的框架，用于更明确地建模 inter-reflection，即物体之间的多次反射与光能交换[6]。GI-GS效果展示如下：

这些研究共同说明，3DGS 正在逐步具备更接近物理真实的光学表达能力，而这恰恰是高可信仿真所需要的基础条件。

3DGS动态光照

在实际工业场景中，光照从来不是固定条件。

时间变化、天气变化、太阳位置变化、路灯开启、车灯照射以及复杂环境下的阴影移动，都会显著改变摄像头和其他传感器的观测结果。因此，一个只能复现静态采集光照的场景，即使外观逼真，也很难满足高强度验证需求。

这也是为什么，动态光照能力正成为 3DGS 进入仿真领域的重要门槛。

SIGGRAPH Asia 2024的 GS^3 在这一方向上给出了较有代表性的结果[7]。它通过空间高斯与角度高斯的联合表示来描述材质的方向性反射，再通过面向光源的 splatting 估计自阴影，并结合额外网络补偿全局光照效应，从而实现高质量、实时的 relighting。

这项工作的关键意义在于，它让 3DGS 不再被采集时刻的光照条件完全锁定，而是能够在训练后对场景进行新的光照控制。这种能力对于仿真系统而言，本质上意味着场景从“被记录”走向“可推演”。

ICCV 2025的 GaRe 则将 relighting 推进到更复杂的户外环境中[8]。该方法面向非约束户外照片集，将环境光拆分为太阳直射、天空辐射和间接照明，并结合基于光线追踪的阴影建模，实现更自然的户外重光照效果。

从应用层面理解，这类研究正在回答一个非常现实的问题：当外部环境改变时，三维场景能否保持物理一致性，并持续输出可信的视觉结果。对于自动驾驶与机器人仿真来说，这一点具有直接价值。

04 aiSim工程落地

从近两年的研究进展可以看到，3DGS 正在从单一的重建技术，逐步演进为能够同时承载几何、外观、材质、反射、光照乃至部分动力学信息的统一场景表示。

而对于仿真行业来说，真正重要的问题并不是论文中某个单点能力是否成立，而是这些能力能否被组织进一个稳定、可控、可扩展的工程系统中。

这也是我们在介绍 siSim 时最关注的部分。

aiSim 6是最新一代仿真工具，aiSim 面向的是 ADAS/AD 场景下可复现、可验证、可扩展的仿真体系，而不是单纯的视觉展示平台。

aiSim World Extractor支持 3D Gaussian Splatting与 NeRF，用于从真实世界记录中快速生成高保真三维环境。这一流程还能够进一步衔接AI reconstruction & rendering、动态资产注入、物理准确的传感器模拟以及实时 HiL 测试等应用。

这意味着 3DGS 在研究层面建立起来的能力，正在 aiSim 仿真平台中获得更明确的工程承接：

3DGS 用于高效率重建真实环境，可显著缩短数字孪生场景生成链路。

3DGS 在反射与动态光照方面的进展，可提升面向摄像头等传感器的场景真实性。

3DGS 逐步具备的可编辑、可控制、可附加物理属性能力，更适合进入需要确定性与可复现性的工业验证体系。

因此，学术界当前关注的是“3DGS 能否承载一个更真实、更可控的世界”，而 aiSim 所回答的，则是“这些能力如何被稳定地转化为仿真生产力”。

05 总结

我们认为 3DGS 的价值，已经不应再只从“新一代三维重建方法”的角度来理解。

更准确地说，3DGS 正在成为现实世界数据进入仿真系统的一种新接口。它使真实采集、神经重建、动态光照、反射建模、场景编辑以及传感器仿真之间的连接变得更加直接，也使数字孪生环境的构建方式发生变化。

在这一趋势下，仿真平台的作用不是替代 3DGS，而是把 3DGS 的能力组织成一个真正可用的验证系统。对于自动驾驶、机器人以及更广泛的数字孪生应用而言，真正有价值的并不是单点技术本身，而是从真实数据到虚拟场景、从视觉还原到物理一致、从模型展示到系统验证的完整闭环。

3DGS 与 aiSim 的结合，代表的并不是一项单一功能升级，而是一条更明确的产业路径：让真实世界更高效地进入工业级仿真，并让仿真结果更接近可验证、可复现、可落地的工程标准。

▍参考文献

[1]https://arxiv.org/pdf/2311.12198

[2]https://openaccess.thecvf.com/content/CVPR2025/papers/Feng_Gaussian_Splashing_Unified_Particles_for_Versatile_Motion_Synthesis_and_Rendering_CVPR_2025_paper.pdf

[3]https://gapszju.github.io/3DGS-DR/static/pdf/3DGS_DR.pdf

[4]https://arxiv.org/pdf/2405.11921

[5]https://arxiv.org/pdf/2410.02619

[6]https://openaccess.thecvf.com/content/CVPR2025/papers/Gu_IRGS_Inter-Reflective_Gaussian_Splatting_with_2D_Gaussian_Ray_Tracing_CVPR_2025_paper.pdf

[7]https://gsrelight.github.io/pdfs/GS3.pdf

[8]https://baihyyut.github.io/GaRe/