從實驗室到量產:3D高斯潑濺仿真還缺什么?

一、引言

在一線從事高階ADAS仿真測試的工程師,大概率都經歷過這樣的困境:在CARLA等傳統仿真器中表現良好的感知算法,一旦部署到實車上,就會出現漏檢和誤觸發。

根本原因在于,傳統圖形學仿真器基于人工建模的幾何網格與光線追蹤,渲染出的攝像頭畫面過于理想化,缺少真實世界中普遍存在的非均勻光照、鏡頭畸變、運動模糊和多源噪聲。這種“虛實域差異”使得耗費巨資搭建的仿真系統難以有效服務于端到端模型的測試驗證。

2023年底以來,神經渲染技術帶來了新的方向。3D高斯潑濺(3D Gaussian Splatting, 3DGS)憑借其顯式的三維空間表征和實時渲染保真度,能夠基于實車采集的數據快速構建高保真的數字孿生場景,直接回應了仿真感知域的核心訴求。

傳統圖形學仿真

從實驗室到量產:3D高斯潑濺仿真還缺什么?的圖1


神經渲染仿真3DGS

從實驗室到量產:3D高斯潑濺仿真還缺什么?的圖2


然而,從實驗室走向工程量產,3DGS仍然面臨多模態傳感器物理建模缺失、路網語義斷層、硬實時接入延遲等系統性瓶頸。本文旨在梳理當前技術現狀,并探討面向量產落地的雙軌策略:“功能級 HiL 確定性物理注入 + 云端前饋可泛化 SiL 高并發生成”。

二、六大工程瓶頸

為了弄清楚 3DGS 到底離量產還有多遠,我們需要從多模態感知適配、場景交互能力、工程落地效率等量產核心維度出發,可將3DGS技術的量產落地瓶頸拆解為六大核心問題,全面覆蓋傳感器仿真、場景重建、動態編輯、算力效率等關鍵環節。

1、攝像頭仿真

在攝像頭仿真方面,學術界與工業界推進最快。基于 nuScenes 和 Waymo 數據集,諸如 SplatAD 和 AutoSplat 等方案已經能夠實現實時的相機渲染,峰值信噪比較傳統的 NeRF 提升了 2~3dB。

然而,量產車型標配的超大畸變魚眼鏡頭以及周視相機的接縫重疊區域,在 3DGS 中極易出現“印象派畫作”般的偽影拉伸。3DGUT 等環視適配方案,在解決多視角曝光不一致、動態鬼影方面,工程調優成本依然高昂

2、LiDAR 仿真

目前 LiDAR-GS 和 GS-LiDAR 能夠較好地模擬反射強度、回波以及射線漏檢。但對于 50 米以外的遠距離物體,由于點云稀疏,高斯基元的擬合精度斷崖式下跌

更致命的是,雨雪霧等極端天氣下光束的散射與衰減,3DGS 目前缺乏嚴密的物理機制支撐,導致生成的點云數據無法直接用于極端工況的測試。

3、Radar仿真

相較于光學傳感器,毫米波雷達的 3DGS 仿真目前處于極早期階段。盡管有 RadarSplat 和 NeuRadar 等前沿探索,但雷達波在金屬、路面、植被上的電磁散射具有極強的多徑效應和多普勒效應。3DGS 的顯式高斯點表征難以抽象這些物理特性,其仿真精度距離量產的感知評測要求仍有顯著差距。

4、路網與語義重建

仿真需要的是車輛要在里面跑起來。3DGS在重建大范圍城市場景時,由于缺乏長距離幾何約束,容易出現路面微小起伏或塌陷。

同時,它無法直接導出符合OpenDrive規范的高精地圖語義拓撲。如果仿真場景在視覺上逼真但缺乏車道線拓撲,則該場景只能用于感知評估,無法支持完整的規劃控制閉環測試

5、動態編輯

在 ADAS 測試中,我們需要靈活修改主車周圍的交通流行為如突發的(Cut-in)。目前通過解耦靜態背景動態物體的 StreetGaussians 方案,雖然支持對背景和車輛進行獨立編輯,但在車輛大角度轉向或加速時,高斯點云往往會出現撕裂或瞬間漂移。

由于缺乏足夠的泛化能力,該方法難以生成從未采集過且符合物理規律的長尾碰撞場景。

6、訓練與渲染效率

傳統的 3DGS 依賴于“逐場景優化”。重構一段 20 秒的剪輯,往往需要數十分鐘甚至數小時的訓練。在功能級 HiL(硬件在環)測試中,每置換一個新場景就要重新加載數百兆的高斯文件,PCIE 總線的數據拷貝延遲直接打破了系統對確定性硬實時的要求。

三、 量產落地的雙軌策略

針對上述技術瓶頸,結合硬件在環、軟件在環的差異化測試場景需求,本文提出“HiL確定性物理注入+云端SiL高并發生成”的雙軌并行落地策略,兼顧實時閉環測試的確定性與大規模場景測試的泛化性、高效性

從實驗室到量產:3D高斯潑濺仿真還缺什么?的圖3


1、左軌:功能級 HiL 確定性物理注入

硬件在環階段,不追求大范圍城區的無死角重建。而是針對固定的封閉測試場、特定路線(如高精測試場地、特定危險彎道)進行極度精細的 3DGS 顯式重建,固化其高斯基元分布。

物理鏈路方面,通過定制化的渲染GPU服務器,將高保真相機渲染畫面通過全鏈路視頻注入到智能駕駛域控制器中。

雷達與高精地圖部分:在3DGS負責視覺與LiDAR近場仿真的同時,通過基于數據驅動的Radar模型和高精地圖提供完整的測試環境,通過多源融合打通硬實時閉環。

從實驗室到量產:3D高斯潑濺仿真還缺什么?的圖4


2、右軌:云端前饋可泛化 SiL 高并發生成

在云端大規模軟件在環(SiL)測試中,每天需要運行數百萬個場景。目前耗時的“逐場景優化”可能無法滿足,可以轉向前饋式可泛化高斯技術數據驅動世界模型的合流。

(1)前饋式 3D/4D GS 技術的工業化

近兩年的學術突破為這一路線提供了支撐。DGGT框架實現了無需相機外參、單次前饋推理即可預測包含動態運動信息和高斯點分布的4D驅動場景。這種免訓練、直接推理的特性使云端高并發仿真成為可能。

同時,ADGaussian(ICRA 2026)等技術通過融合稀疏LiDAR深度信息和單目圖像進行多模態聯合學習,增強了3DGS在未知場景下的幾何泛化視角切換穩定性

從實驗室到量產:3D高斯潑濺仿真還缺什么?的圖5


(2)世界模型賦能長尾場景閉環

可泛化高斯動作條件化的世界模型(如Waabi World、GAIA-1)結合時,仿真系統可以具備場景生成能力。輸入“前車爆胎并向左偏擺”等行為描述,世界模型負責生成符合物理邏輯的動態演化軌跡,可泛化高斯負責高保真渲染。此時的仿真系統兼具交互靈活性物理真實感

四、結語

3DGS在視覺保真度上的優勢使其成為高階智駕感知評測的重要技術路徑。通過功能級硬件在環注入解決當前的感知閉環痛點,通過云端前饋高斯世界模型攻克大規模泛化與長尾場景生成難題,行業正在以更高的精度和效率推動高階自動駕駛的量產安全落地。

登錄后免費查看全文
立即登錄
App下載
技術鄰APP
工程師必備
  • 項目客服
  • 培訓客服
  • 平臺客服

TOP