ICRA 2026 Beyond Teleoperation Workshop
Workshop URL: https://icra-beyond-teleop.github.io/
地點/時間: ICRA 2026
Workshop 核心問題
Teleoperation 推動了機器人學習的進展，但存在根本限制：控制介面帶來延遲並限制自由度，使示範缺乏人類在日常操作中展現的自然靈巧性與多樣策略。
Workshop 核心辯題：
- 是否真的需要超越遙操作？應倚重大量（但嘈雜）的人類/模擬資料，還是少量（但乾淨）的機器人資料？
- 使用人類/模擬資料的「隱性成本」是什麼？能否結合兩者取長補短？
- 少量高品質 teleop 資料是否是大規模人類影片/模擬訓練的必要「錨點」？
Spotlight 論文（4 篇）
1. MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
arXiv: 2603.16861 | Allen AI / UW
方向： 大規模模擬 → Zero-shot sim-to-real
挑戰「模擬訓練無法有效遷移到真實機器人」的傳統認知。使用大規模多樣化合成資料，不需任何真實機器人資料或微調，直接 zero-shot 部署。
- MolmoBot-Engine：開源程序化資料生成 pipeline，跨多種機器人、任務、環境
- MolmoBot-Data：180 萬條 expert trajectory（鉸接物件 + pick-and-place）
- 桌面 pick-and-place 真實環境成功率 79.2%，優於 π₀.₅（39.2%）
2. UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data
相關 arXiv:
- UniDex: 2603.22264（多機構，CVPR 2026）
- DexViTac: 2603.17851（華中科技大學）
方向： 人類 egocentric 影片 + 觸覺 → 靈巧手統一策略
融合視覺、觸覺、運動學資訊的靈巧操控框架。UniDex 端從 egocentric 影片提取 50K+ 多手型軌跡訓練統一 VLA；DexViTac 端設計可攜式多模態示範收集系統。
- FAAS（Function-Actuator-Aligned Space）：對齊 8 種靈巧手（6–24 DoF）的動作表示
- UniDex-VLA 工具使用任務平均 81% 成功率，支援 zero-shot 跨手型泛化
- DexViTac 系統收集效率 248 示範/小時，2,400+ 多模態示範，4 個任務成功率 >85%
3. DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy
arXiv: 2506.20668 | Sungjae Park, Homanga Bharadhwaj, Shubham Tulsiani (CMU)
方向： 單次人類示範 → 免訓練機器人執行
只需一個人類示範影片，無需成對人機資料、無需 RL。流程：手部動作 kinematic retargeting → 預訓練 diffusion policy 修正軌跡至可行機器人動作。
- 8 個任務平均成功率 83.8%
- 遠優於 raw retargeting（52.5%）和基礎 diffusion policy（13.8%）
- 不需額外訓練或獎勵函數
4. Humanoid Bimanual Dexterous Manipulation Driven by Egocentric Video
arXiv: 待查
方向： 人形機器人雙手靈巧操控，從 egocentric 影片學習
從人類第一人稱影片中提取雙手操作知識，遷移至人形機器人雙臂靈巧控制。相關工作：EgoDex（2505.11709）829 小時 egocentric 影片含 3D 手部追蹤。
Poster Session 1 論文
5. Reconstructing Hand-Held Objects in 3D from Images and Videos
arXiv: 2404.06507 | Jane Wu, Georgios Pavlakos, Georgia Gkioxari, Jitendra Malik（UC Berkeley / UT Austin / Caltech）
方向： 手持物件 3D 重建（操控前置任務）
從單目 RGB 影片重建被手遮擋的操作物件幾何形狀。兩階段方法：MCC-HO 聯合重建手與物件 → RAR 用 GPT-4V 檢索匹配 3D 模型並精確對齊。為 in-the-wild 手物互動影像自動生成 3D 標籤。
6. MotionTrans: Human VR Data Enable Motion-Level Learning for Robotic Manipulation Policies
arXiv: 2509.17759 | Chengbo Yuan et al.（Tsinghua / CMU）
方向： 人類 VR 資料 → 動作知識遷移
機器人操控的影像/語言知識可從網路資料學習，但「動作知識」仍難以取得。MotionTrans 利用人類 VR 示範，透過多任務 co-training 直接遷移動作知識。全部資料、程式碼、模型開源。
- 30 個任務同時 co-training → 13 個任務成功遷移動作，其中 9 個 non-trivial zero-shot 成功
- pretraining-finetuning 提升 +40% 成功率
7. One-Shot Learning of Manipulation from RGB-D Videos via Object-Centric Interaction Reasoning
arXiv: 待查（相關：ORION 2405.20321）
方向： 單次 RGB-D 示範影片 → 操控技能泛化
從單一 RGB-D 示範影片提取以物件為中心的操控計畫，訓練可條件化於該計畫的策略，泛化到 open-world 環境中的新物件。
8. YUBI: Yielding Universal Bidigital Interface for Bimanual Dexterous Manipulation at Scale
網站: https://yubi.airoa.io/ | AIRoA
方向： 大規模雙手靈巧操控資料收集介面
手指對齊夾爪設計，直接映射人類手指動作至夾爪運動，Quest 控制器提供高頻 6-DoF 追蹤，搭載廣角相機。目標：建立大規模雙手操控資料集推進機器人基礎模型。
- 兩種模式：桌面固定裝置 + 手持可攜式
- VR 高精度追蹤保障資料品質
9. Dex4D: Task-Agnostic Point Track Policy for Sim-to-Real Dexterous Manipulation
arXiv: 2602.15828 | Yuxuan Kuang, Sungjae Park, Katerina Fragkiadaki, Shubham Tulsiani（CMU）
方向： 通用 task-agnostic 靈巧策略，zero-shot sim-to-real
訓練一個能「將任何物件移動到任意目標姿態」的單一策略。以 3D 點軌跡作為統一視覺條件，模擬中覆蓋數千種物件與姿態，部署時用生成影片萃取目標點軌跡作為提示。
- Zero-shot 遷移真實世界，不需微調
- 執行時線上點追蹤進行閉環控制
- 強泛化：對新物件、場景、背景、軌跡
10. Tune to Learn: How Controller Gains Shape Robot Policy Learning
arXiv: 2604.02523 | Antonia Bronars, Younghyo Park, Pulkit Agrawal（MIT Improbable AI）
方向： 控制器增益如何影響策略學習
傳統上增益選擇依據任務柔順性，但本文指出「有效剛性」來自學習反應與控制動力學的交互作用，增益選擇應以「可學習性」為準。
- BC 受益於柔順/過阻尼增益
- RL 在任何增益下均可成功（需配合超參數調整）
- sim-to-real 受剛性/過阻尼增益傷害
11. CRAFT: Video Diffusion for Bimanual Robot Data Generation
arXiv: 2604.03552 | craftaug.github.io
方向： 影片擴散模型生成雙手機器人示範資料
以邊緣結構（Canny）為條件，從模擬軌跡生成時間連貫的真實感操控影片並保留動作標籤。從少量真實示範出發，生成大量視覺多樣的訓練資料，繞過真實機器人重放。
- 統一增強 pipeline：物件位姿、相機視角、光照、背景、跨身體遷移、多視角合成
- 雙臂任務成功率優於現有增強策略與直接資料擴展
12. Whole-Body Mobile Manipulation using Offline RL on Sub-optimal Controllers
arXiv: 2604.12509
方向： 離線 RL 改善次優全身控制器
觀察：次優全身控制器（WBC）仍是強大的結構先驗，可在任務相關的狀態-動作空間中收集資料，再透過離線 RL 提升行為。
- 兩階段：隨機化 WBC 生成多樣示範 → 離線 RL 透過獎勵信號識別並拼接改進行為
- 任務：開門、拉抽屜、開櫃門等鉸接物件操作
13. Point Bridge: 3D Representations for Cross Domain Policy Learning
arXiv: 2601.16212 | Haldar, Johannsmeier, Pinto, Gupta, Fox, Narang, Mandlekar（NVidia / CMU）
方向： 3D 點表示解鎖合成資料 zero-shot sim-to-real
以統一、域無關的點表示，無需顯式視覺或物件級對齊，直接從合成資料 zero-shot 遷移至真實操控策略。
- VLM 自動提取點表示 + Transformer 策略學習
- 純合成資料訓練，部署到真實機器人
14. IFG: Internet-Scale Guidance for Functional Grasping Generation
arXiv: 2511.09558 | Ray Muxin Liu, Mingxuan Li, Kenneth Shaw, Deepak Pathak（CMU）
方向： 網路規模先驗 → 靈巧功能性抓握
結合大型視覺模型的語意理解（部件分割）與模擬中的力封閉抓握生成 pipeline，蒸餾成在相機點雲上即時運行的擴散模型。輸入：場景點雲 + 文字提示 → 輸出：可行抓握。
15. HumanoidMimicGen: Data Generation for Loco-Manipulation via Whole-Body Planning and Adaptation
arXiv: 待查（RSS 2024）
方向： 人形機器人 loco-manipulation 資料自動生成
從少量示範出發，透過全身規劃與適應自動合成大量 loco-manipulation 軌跡。
16. X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations
arXiv: 2511.04671 | Cornell
方向： 跨身體人類示範訓練擴散策略
核心洞察：隨著擴散步驟加入雜訊，低層動作差異消退而高層任務引導保留。訓練分類器區分人類/機器人動作，只在分類器無法區分時整合人類動作，即「最小不可區分步驟」以下。
Poster Session 2 論文
17. PHABS: A Handheld Haptic Device for Force-Annotated Bimanual Demonstration Data
arXiv: 待查
方向： 帶力標注的雙手示範資料收集手持觸覺設備
提供力覺回饋的手持裝置，在收集雙手示範資料時同步標注力資訊，彌補純視覺遙操作的觸覺資訊缺失。
18. Learning Whole-Body Humanoid Locomotion via Motion Generation and Motion Tracking
arXiv: 2604.17335 | Zewei Zhang, Kehan Wen, Michael Xu et al.（ETH Zurich / UCB）
方向： 擴散模型生成地形感知參考動作 + RL 追蹤
兩階段：先訓練擴散模型在人類動作資料上進行地形感知參考動作預測，再同步訓練全身 RL 追蹤器。解決直接 RL 容易導致下半身主導行為的問題。
19. Learning Quadruped Locomotion from Casual Videos
arXiv: 待查
方向： 從日常影片學習四足步態
相關工作：Reinforcement Learning from Wild Animal Videos（2412.04273），從網路野生動物影片中學習奔跑、三腳步態、雙足行走、後空翻等激進動作。
20. HOMimic: Distilling Manipulation Trajectories from Human Videos via Multi-Stage Interaction Reasoning and Taxonomy-Aware Retargeting
arXiv: 待查
方向： 多階段互動推理 + 分類感知身體映射
從人類操作影片中蒸餾操控軌跡，透過多階段互動推理分解動作意圖，再以分類感知的方式映射到機器人身體。
21. Few-Shot Learning of Tool-Use Skills with Proximity and Tactile Sensing
arXiv: 2507.13200 | Marina Y. Aoyama, Sethu Vijayakumar, Tetsuya Narita（IEEE RA-L 2025）
方向： 近接 + 觸覺感測少樣本工具使用技能遷移
在模擬中預訓練捕捉工具使用通用接觸狀態的基礎策略，再用少量真實示範微調跨越域差距。近接與觸覺感測組合增強接觸狀態辨識。
22. Object-Centric Reward Learning from Action-Free Videos for Long-Horizon Manipulation Beyond Teleoperation
arXiv: 待查
方向： 從無動作影片學習以物件為中心的獎勵函數
從不含動作標籤的人類操作影片中學習物件中心的獎勵函數，用於指導長時域操控任務的強化學習，繞過對遙操作資料的依賴。
23. Semantic–Geometric Task Representations for Bimanual Manipulation from Human Demonstrations to Robot Action Planning
arXiv: 2601.11460 | Franziska Herbert, Vignesh Prasad, Han Liu, Dorothea Koert, Georgia Chalvatzaki（TU Darmstadt）
方向： 語義幾何任務圖表示 → 雙手操控規劃
從人類示範中學習語義幾何任務圖表示，編碼物件身份、物件間關係及其時間幾何演變。MPNN 編碼器 + Transformer 解碼器，預測未來動作序列、關聯物件及物件運動。成功遷移至真實雙臂機器人。
24. MobileEgo Anywhere: Open Infrastructure for Long-Horizon Egocentric Data on Commodity Hardware
arXiv: 2605.05945
方向： 手機硬體大規模 egocentric 資料收集基礎設施
利用現代智慧型手機的感測器套件，提供高保真度、長時間相機姿態追蹤，移除傳統機器人資料收集的高硬體門檻。
- 200 小時多樣化長程 egocentric 資料集（含持久狀態追蹤）
- 開源手機 App + 完整處理 pipeline（轉換為 VLA / 基礎模型訓練格式）
25. Learning Sim-Grounded Policies for Bimanual Rope Manipulation from Human Teleoperation Data
arXiv: 待查
方向： 以模擬為基礎的雙手繩索操控策略，從人類遙操作資料學習
結合模擬物理先驗與人類遙操作示範，學習雙手繩索操控策略，處理可變形物體的高度不確定性。
26. Overcoming Distribution Shifts with Autonomous Embodied Data Collection
arXiv: 待查
方向： 自主資料收集克服分布偏移
讓機器人自主識別和收集分布外狀態的資料，主動縮小訓練與部署環境之間的差距，減少對人類監督資料收集的依賴。
27. Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow
arXiv: 2512.24766 | Karthik Dharmarajan, Wenlong Huang, Jiajun Wu, Li Fei-Fei, Ruohan Zhang（Stanford）
方向： 影片生成模型 → 3D 物件流 → 開放世界操控
以 3D 物件流作為中介表示，橋接影片生成與機器人控制。從生成影片重建 3D 物件運動，再透過軌跡優化或 RL 轉換為可執行低層指令，克服身體差距。
- 支援剛體、鉸接、可變形、顆粒狀等多種物件
- 純 off-the-shelf 模型（影片生成 + 深度估計 + 點追蹤）自動 pipeline
28. UniLatent: Cross-Embodiment Transfer via Latent Observation Alignment
相關 arXiv: 2601.15419
方向： 潛在觀測對齊實現跨身體遷移
構建跨身體潛在空間，使語義相似的動作無論來源身體為何都緊密對齊。以 c-VAE 框架從人類資料學習目標條件潛在控制策略，直接部署於多種機器人平台。
29. Learning Structured Policies for General Humanoid Loco-Manipulation
arXiv: 待查
方向： 人形機器人通用 loco-manipulation 結構化策略
針對同時需要移動和操控的人形機器人任務，學習具有結構化先驗的統一策略，處理高維控制空間與多樣任務需求。
整體觀察
主要研究方向分類：
① 模擬大規模訓練 → Sim-to-Real MolmoB0T、Dex4D、Point Bridge — 純合成資料 zero-shot 遷移
② 人類影片 → 機器人政策 DemoDiffusion、X-Diffusion、HOMimic、UniDex-ViTac、Humanoid Bimanual — 從人類示範蒸餾技能
③ 替代資料收集介面 YUBI、DexViTac、PHABS、MobileEgo Anywhere — 降低遙操作依賴，提高收集效率
④ VR / 動作遷移 MotionTrans — 人類 VR 動作知識直接遷移
⑤ 世界模型 / 影片生成輔助 CRAFT、Dream2Flow — 用生成模型擴增或替代真實資料
⑥ 跨身體遷移 UniLatent、X-Diffusion — 解決人機或機機身體差距
⑦ 人形 / 四足全身控制 HumanoidMimicGen、Whole-Body Locomotion、Quadruped Locomotion、Learning Structured Policies
⑧ 感知與表示 Reconstructing Hand-Held Objects、Semantic-Geometric Representations、IFG
⑨ 訓練與系統設計 Tune to Learn、Whole-Body Mobile Manipulation、Overcoming Distribution Shifts、One-Shot Manipulation RGB-D、Object-Centric Reward、Few-Shot Tool-Use、Learning Sim-Grounded Rope
共同主軸： 所有論文都在嘗試用模擬、人類影片、VR 或新型介面取代昂貴的機器人遙操作，降低資料取得成本的同時維持遷移品質。
注：標記「待查」的論文在搜尋時未找到對應 arXiv ID，可能為 workshop-only 論文或尚未上傳 arXiv。