Question

論文(arXiv 2510.10903)中有提到使用 Gaussian Splatting 來作為資料收集相關的幫助嗎?

Answer

直接回答:是,但用途是資料擴增(Augmentation)和示範合成,而非原始資料收集

論文中 Gaussian Splatting 和資料最相關的用途是「一次收集 → 多次合成」的模式,出現在兩個主要位置:

§7.1.2 Data Augmentation — Robo-Pearls

在「生成式視覺 / 視角 / 體態擴增」子類別:

“Robo-Pearls leverages 3D Gaussian Splatting to create editable, photorealistic reconstructions for language-guided demonstration synthesis.”

先掃描真實場景建出 3DGS,再透過語言指令編輯場景(換物件、換視角、換光線),自動生成大量多樣化的合成示範,不需要重新遙操作。

§5.6 3D Representation as Planner — RoboSplat

“RoboSplat directly edits 3DGS reconstructions to synthesize diverse demonstrations (objects, poses, views, lighting, embodiments), substantially boosting one-shot visuomotor policy generalization.”

一個人類示範出發,用 3DGS 編輯出多種變體(不同物件、姿態、視角、光線、機器人體態),讓 one-shot 策略能泛化到大量情境。

其他 3DGS 相關用途(非資料收集)

方法用途
GaussianGrasper / GraspSplats / SparseGrasp從場景幾何抽取抓握點(感知規劃層)
Splat-MOVER可編輯 3DGS 作場景 digital twin,用於開放詞彙操作規劃
ManiGaussian動態 3DGS 作世界模型(multi-task 操作)
Physically Embodied GS物理粒子 + 3DGS 組合,用於即時可修正的世界模型

核心模式

3DGS 在資料層面的價值是:降低邊際示範成本。掃描成本是固定的(一次),但合成出來的示範數量和多樣性可以很大,有效緩解遙操作速度慢的瓶頸。

Sources

Follow-up Questions

  • Robo-Pearls 和 RoboSplat 在實驗中各提升了多少成功率?
  • 3DGS 掃描的場景重建精度是否足以讓合成示範的接觸動力學保持正確?
  • 是否有比較 3DGS 增強 vs 擴散模型增強(RoVi-Aug)對策略泛化的效果?

Connections