Question

vault 中有哪些關於 3D/4D 重建搭配 safety(安全性)的文章或筆記?

Answer

Vault 中與此主題相關的文章分三層:直接交叉、3D/4D 重建端、Safety 端。

直接交叉(兩個主題同時出現)

research/world-models-robot-safety.md — 目前 vault 中最完整的綜合分析,包含一節「3D/4D 安全差距分析」,指出 3D/4D 重建模型的幾何一致性優勢目前尚未被安全框架充分利用。涵蓋 ParticleFormer、幾何感知 4D 生成、SafeDreamer、Bayesian Risk Fields 五篇論文的架構對比。

Clippings/semantic-metric-bayesian-risk-fields-vlm-robot-safety.md (arXiv:2512.08233) — 在語義度量 3D 場景表示中計算 VLM 控制機器人的貝氏風險場;是目前最接近「在 3D 空間中直接推導安全性」的工作,而非在 latent space 中。

2026-W15 arXiv: Tex3D (arXiv:2604.01618) — 對 3D 紋理進行對抗性優化以攻擊 VLA 模型,達到 96.7% 任務失敗率。屬於安全攻擊面的 3D 重建角度;揭示 VLA 對物理 3D 攻擊的脆弱性。

2026-W16 arXiv: HRI 異常偵測 — 明確使用 reconstruction-based 異常偵測模型來偵測 HRI 中的非預期事件(用於安全),指出單模態重建的局限。

3D/4D 重建端(技術基礎,間接支援安全分析)

  • Clippings/dust3r-geometric-3d-vision-made-easy.md — DUSt3R:3D 幾何視覺基礎模型,pointmap 對齊方法也被 4D 生成論文繼承
  • Clippings/geometry-aware-4d-video-generation-robot-manipulation.md (ICLR 2026) — 幾何感知 4D 影片生成,跨視角 pointmap 對齊,輸出可供安全預測的 RGB-D 序列
  • Clippings/particleformer-3d-point-cloud-world-model-robot-manipulation.md — 3D 點雲動態世界模型,建模物件在操作中的時序幾何變化
  • Clippings/pointworld-scaling-3d-world-models-in-the-wild-robotic-manipulation.md — PointWorld:在 3D 點雲空間中擴展世界模型
  • 2026-W16 BLaDA (arXiv:2604.08410) — 在 3DGS(3D Gaussian Splatting)場景中建立語言到靈巧動作的管線

Safety 端(依賴場景表示,但多在 latent space 運作)

  • Clippings/safevla-safety-alignment-vla-constrained-learning.md — SafeVLA(NeurIPS 2025 Spotlight):約束優化在 VLA 訓練中強制安全對齊
  • Clippings/safedreamer-safe-reinforcement-learning-world-models.md — SafeDreamer:在 Dreamer 系列 latent 世界模型中使用 Lagrangian 方法滿足安全約束
  • Clippings/safety-security-cognitive-risks-world-models-2604.01346.md — 世界模型的安全、保安與認知風險綜述
  • Clippings/llm-vlm-controlled-robotics-vulnerability.md — LLM/VLM 控制機器人的漏洞分析
  • Clippings/vlmpc-vision-language-model-predictive-control.md (RSS 2024) — VLMPC:VLM 預測控制,在生成軌跡前進行安全篩選

核心差距(來自 world-models-robot-safety.md)

現有安全框架(SafeVLA、SafeDreamer、VLMPC)主要在 2D 或 latent space 中運作。Semantic-Metric Bayesian Risk Fields 是唯一在明確 3D 語義度量空間中推導風險的工作。這個差距意味著:3D/4D 重建提供的幾何保真度(pointmap 對齊、點雲動態)尚未被用來強化安全約束的幾何可解釋性

Sources

Vault 文件:

Follow-up Questions

  • Semantic-Metric Bayesian Risk Fields 是否已在真實機器人上部署,或仍停留在模擬?
  • 幾何感知 4D 生成的 RGB-D 輸出能否直接用來做 pre-execution safety probing(在執行前在虛擬中預演並偵測危險狀態)?
  • 目前有沒有在 3DGS 場景表示中同時做語義安全約束的工作?

Connections