AutoMate：跨多樣幾何形狀的 Sim-to-Real 裝配技能訓練
作者： Bingjie Tang 日期： 2024 年 7 月 11 日 來源： NVIDIA Technical Blog 合作機構： USC + NVIDIA Seattle Robotics Lab
核心目標
讓機器人能在 Simulation（模擬環境）中學習裝配技能，並直接遷移至真實世界執行，不需要額外 Fine-tuning（微調）。挑戰在於不同零件具有不同幾何形狀，需要訓練出能夠泛化的 Generalist Policy（通才策略）。
主要貢獻
- Dataset（資料集）：100 種裝配任務，附帶相容的 Simulation 環境與可 3D 列印的零件（基於 Autodesk 裝配資料）
- 訓練演算法：結合 Reinforcement Learning 與 Imitation Learning 的新框架
- 知識蒸餾：將 Specialist Policy（專才策略）提煉為 Generalist Policy
- 完整部署流程：從感知初始化到真實機器人執行
技術方法
Assembly-by-Disassembly（拆解反演示範）
不直接收集裝配示範，而是記錄 100 個拆卸示範後反向播放作為裝配訓練資料，繞過手動收集裝配示範的困難。
RL Enhancement（強化學習增強）
獎勵函數中加入 Imitation Term（模仿項），鼓勵機器人在學習的同時模仿示範。使用 Dynamic Time Warping（DTW）演算法在訓練中動態配對最佳示範片段。
Generalist 三階段訓練
- Behavior Cloning：從 Specialist Policy 蒸餾初始 Generalist Policy
- DAgger（Dataset Aggregation）：互動式資料擴充精化策略
- Curriculum RL：漸進式難度的 Curriculum Learning 微調
實驗結果
Specialist Policy（專才策略）：
- Simulation：80 種裝配 ≈80% 成功率，55 種 ≈90%
- 真實世界：平均 86.5% 成功率（Sim-to-Real Gap 僅 4.2%）
Generalist Policy（通才策略）：
- Simulation：20 種裝配 80.4% 成功率
- 真實世界：84.5%（甚至超過模擬成績 4.1%）
- 感知初始化完整流程：86.0%
硬體設置
- 機器人本體：Franka Panda
- 視覺：手腕安裝 RealSense D435 相機
- 6D Pose Estimation：FoundationPose
- 末端執行器：Schunk EGK40 夾爪
意義
本研究示範了在 High-mix, Low-volume Manufacturing（多品種小批量製造）場景中，機器人可以從 Simulation 學到足夠泛化的裝配技能。4.2% 的 Sim-to-Real Gap 顯示 Domain Randomization 結合 Imitation Learning 的策略在精密操作任務中的有效性。