Context
Discord 深度導讀 Geometry-Aware 4D Video Generation for Robot Manipulation（ICLR 2026，arxiv:2507.01099），從問題定義、方法、實驗到限制逐步拆解，重點釐清 cross-attention 與 pointmap 的作用。
Key Insights
- 問題核心是視角泛化：傳統模仿學習模型只記 2D 像素模式，換相機角度就失效。本文的解法是讓模型學習隱式 3D 幾何，而非直接處理視角不變性
- Pointmap 是橋樑：每像素存 (x, y, z)，將 2D 影片生成與 3D 場景理解連結起來。靈感來自 DUSt3R；兩視角的 pointmap 投影到同一座標系後必須對齊，這個約束就是幾何監督訊號
- Cross-attention 的具體作用：Decoder A 的 Q 查詢 Decoder B 的 K/V，讓兩視角在生成時互相知道對方看到的內容，mIoU 從 0.41 提升到 0.70 是直接證據
- 不直接預測動作的設計哲學：先生成「未來場景影片」，再用 FoundationPose 追蹤 gripper 姿態提取軌跡。影片生成學的是物理動態（與相機無關），姿態追蹤學的是幾何形狀（也與相機無關），兩層抽象疊加得到自然的視角泛化
- 推論不需要相機姿態：訓練時的幾何對齊讓模型學到隱式幾何，省去標定需求，對真實部署意義大
- 主要瓶頸：推論慢（30秒/10步）、需要多視角 RGB-D 採集設備；64% 成功率在相對簡單的任務上，複雜操作未測試