Question
論文(arXiv 2510.10903)中有提到使用 Gaussian Splatting 來作為資料收集相關的幫助嗎?
Answer
直接回答:是,但用途是資料擴增(Augmentation)和示範合成,而非原始資料收集
論文中 Gaussian Splatting 和資料最相關的用途是「一次收集 → 多次合成」的模式,出現在兩個主要位置:
§7.1.2 Data Augmentation — Robo-Pearls
在「生成式視覺 / 視角 / 體態擴增」子類別:
“Robo-Pearls leverages 3D Gaussian Splatting to create editable, photorealistic reconstructions for language-guided demonstration synthesis.”
先掃描真實場景建出 3DGS,再透過語言指令編輯場景(換物件、換視角、換光線),自動生成大量多樣化的合成示範,不需要重新遙操作。
§5.6 3D Representation as Planner — RoboSplat
“RoboSplat directly edits 3DGS reconstructions to synthesize diverse demonstrations (objects, poses, views, lighting, embodiments), substantially boosting one-shot visuomotor policy generalization.”
從一個人類示範出發,用 3DGS 編輯出多種變體(不同物件、姿態、視角、光線、機器人體態),讓 one-shot 策略能泛化到大量情境。
其他 3DGS 相關用途(非資料收集)
| 方法 | 用途 |
|---|---|
| GaussianGrasper / GraspSplats / SparseGrasp | 從場景幾何抽取抓握點(感知規劃層) |
| Splat-MOVER | 可編輯 3DGS 作場景 digital twin,用於開放詞彙操作規劃 |
| ManiGaussian | 動態 3DGS 作世界模型(multi-task 操作) |
| Physically Embodied GS | 物理粒子 + 3DGS 組合,用於即時可修正的世界模型 |
核心模式
3DGS 在資料層面的價值是:降低邊際示範成本。掃描成本是固定的(一次),但合成出來的示範數量和多樣性可以很大,有效緩解遙操作速度慢的瓶頸。
Sources
- Clippings-datalab-output-2510.10903v1.pdf — §5.6(RoboSplat)、§7.1.2(Robo-Pearls)
Follow-up Questions
- Robo-Pearls 和 RoboSplat 在實驗中各提升了多少成功率?
- 3DGS 掃描的場景重建精度是否足以讓合成示範的接觸動力學保持正確?
- 是否有比較 3DGS 增強 vs 擴散模型增強(RoVi-Aug)對策略泛化的效果?