MIT RialTo：Real-to-Sim-to-Real 家用機器人訓練系統
作者： Rachel Gordon（MIT CSAIL） 日期： 2024 年 7 月 31 日 來源： MIT News
核心概念
MIT CSAIL 研究人員開發了 RialTo，一套「real-to-sim-to-real」訓練流程。與傳統 sim-to-real（先建模擬再遷移）不同，RialTo 先掃描真實環境建立高保真數位孿生，再在其中進行 Reinforcement Learning（強化學習），最後遷移回真實世界。
工作流程
- 環境掃描：用手機搭配 NeRFStudio 等工具掃描家庭環境
- Digital Twin（數位孿生）建立：上傳掃描結果至 RialTo 介面，自動生成可用於模擬的 3D 場景
- Simulation 訓練：在數位孿生中執行 GPU 平行化 Reinforcement Learning，收集等同於「100 天」的資料只需三小時
- 真實世界部署：策略直接遷移至真實機器人執行
關鍵結果
- 相比傳統 Imitation Learning（模仿學習）提升 67% 的操作成功率
- 在以下任務中驗證通過：開烤麵包機、放置書籍、操作餐具、開抽屜與櫥櫃
- 在物件位置隨機化、視覺干擾、物理擾動等困難條件下仍保持穩健性
技術優勢
- Speed（速度）：GPU 平行模擬大幅縮短訓練時間
- Safety（安全性）：失敗在模擬中發生，不損害真實設備
- Personalization（個人化）：任何人都能用手機掃描自己的家，訓練針對自家環境優化的機器人
限制與挑戰
- 訓練仍需約三天
- Deformable Object（可形變物體）與液體的 sim-to-real 遷移困難
- 需要初始的人類示範（Human Demonstrations）
未來方向
研究團隊計畫整合 Pre-trained Model（預訓練模型）來加速學習、減少人工輸入，並提升跨環境泛化能力。
重要性
RialTo 示範了一條讓家用機器人訓練「去中心化」的路徑：不需要大型實驗室基礎設施，任何有手機的人都可以客製化機器人行為，是 Embodied AI（具身智能）大眾化的重要一步。