機器人資料集比較表
欄位說明：
- Scale — 軌跡數或 episode 數 / 總時長（小時）
- Tasks — 任務數量
- Embodiment — 機器人或人體部位
- EE — End-effector：Gripper / Dexterous / Mixed
- Bimanual — 雙臂操作
- Views — RGB 相機數量
- Depth — 深度資訊
- F/T — Force / Tactile 感測
- Lang — 自然語言標注
- Open — 開放程度：✓ 完全開源 / partial / ✗ 未釋出
- LeRobot — 是否支援 LeRobot 格式
1. Teleoperation（遙操作）
| Dataset | Scale (traj/hrs) | Tasks | Embodiment | EE | Bimanual | Views | Depth | F/T | Lang | Open | LeRobot | Year |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AgiBot World | 1M+ / 2,976h | 217 | Humanoid | Gripper | ✓ | multi | ✓ | ✗ | ✓ | ✓ (Alpha 92k / Beta 1M) | ? | 2025 |
| DROID | 76k / 350h | 86 | Single-arm (Franka) | Gripper | ✗ | 3 | ✓ | ✗ | ✓ (partial) | ✓ | ✓ | 2024 |
| BridgeData V2 | 60k / ~240h | 82 | Single-arm (WidowX) | Gripper | ✗ | 2–3 | ✗ | ✗ | ✓ | ✓ | ✓ | 2023 |
| RoboMIND | 107k / — | 479 | Multi (Franka+UR5e+AgileX+humanoid) | Mixed | ✓ | multi | ✓ | partial | ✓ | ✓ | ? | 2024 |
| RoboMIND 2.0 | 310k+ / — | 739 | Multi (6 platforms) | Mixed | ✓ | multi | ✓ | ✓ | ✓ | partial | ? | 2025 |
備注：
- DROID：Oculus Quest 2 VR 遙操作；2024/12 後補 95% 語言標注；13 機構跨 564 場景
- BridgeData V2：同時支援 goal image + language 條件化；Open-X 的主要資料來源
- RoboMIND 2.0（arXiv:2512.24653）：新增 12k 觸覺 episodes、20k 移動操作、20k 模擬資料
- AgiBot World：Alpha 精選子集（92k）/ Beta 完整版（1M+）分層釋出；GO-1 策略
2. Natural Demonstration（自然示範）
| Dataset | Scale (traj/hrs) | Tasks | Embodiment | EE | Bimanual | Views | Depth | F/T | Lang | Open | LeRobot | Year |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| UMI | 10k+ / — | 22 | Handheld gripper | Gripper | ✗ | 1–2 | ✗ | ✗ | ✗ | ✓ | ? | 2024 |
| DexWild | 9.5k / 33h | 5 | Bimanual dex (Leap Motion + Manus gloves) | Dexterous | ✓ | 4+ | ✓ (ZED) | ✗ | ✗ | ✓ (HF, 2.14TB) | ✗ | 2025 |
| HoMMI | — / — | — | Whole-body mobile (TRI RB-Y1) | Gripper | ✗ | ego+wrist | ? | ✗ | ? | ✗ (Unreleased) | ✗ | 2024 |
| GenRobot (RealOmni) | 1M+ clips / — | multi | DAS Gripper / DAS Fingers / DAS Dex | Mixed | ? | Omni | ? | ? | ? | ✓ (HF, free) | ? | 2025 |
備注：
- UMI：免機器人示範，手持夾爪在野外收集後遷移至機器人；FastUMI-100K 延伸版含 100k+ episodes
- DexWild：93 個不同環境，強調 in-the-wild 多樣性；HDF5 格式，2.14TB
- HoMMI：使用 UMI gripper 附加自我中心感測；數據尚未開放
- GenRobot：DAS 系列設備（含靈巧手選項）；量化為 clip 而非軌跡
3. Passive Observation — Egocentric Video（被動觀察）
| Dataset | Scale (episodes/hrs) | Tasks | Embodiment | EE | Bimanual | Depth | F/T | Lang | Open | LeRobot | Year |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Being-H0 (UniHand-2.5M) | 2.5M samples / — | multi | Human (video aggregation) | Dexterous | ✓ | ? | ✗ | ? | partial (model only) | ✗ | 2025 |
| EgoDex | 338k / 829h | 194 | Human hands (Apple Vision Pro) | Dexterous | ✓ | ✓ | ✗ | ✓ | ✓ (GitHub) | ✗ | 2026 |
| EgoLive | — / large | multi | Human (head-mount device) | Dexterous | ✓ | ✓ | ✗ | ✓ | ✓ (CC BY 4.0) | ✗ | 2026 |
| VITRA | 1M+ episodes / — | multi | Human hands (egocentric) | Dexterous | ✓ | ✗ | ✗ | ✓ | ✓ (GitHub: microsoft/VITRA) | ✗ | 2026 |
| EgoVerse | 80k / 1,362h | 1,965 | Human (smartphone) | Dexterous | ✓ | ✗ | ✗ | ✓ | ✓ (egoverse.ai) | ? | 2026 |
| Xperience-10M | 10M / 10,000h | multi | Human (6-cam rig) | Dexterous | ✓ | ✓ (stereo, 720M frames) | ✗ | ✓ (16M captions) | partial (non-commercial) | ✗ | 2025 |
| EgoScale | — / 20,000h+ | 5 (focus) | Human hands (egocentric) | Dexterous | ✓ | ✓ (wrist cam) | ✗ | ✓ | ✗ (Coming Soon) | ✗ | 2026 |
備注：
- Being-H0：VLA 預訓練模型（非資料集），以人手姿態為動作標注，資料集本身未釋出
- EgoDex：Apple 出品，Apple Vision Pro 收集，90M 幀，包含精確 3D 手部關節追蹤
- EgoLive：最大開源標注自我中心資料集（自稱），含深度、3D 手部關節點、子任務分段
- VITRA：從 in-the-wild 人手影片後處理為 VLA 格式；Microsoft 出品
- EgoVerse：4 個學術實驗室 + 3 個業界夥伴（GTech、Stanford、UCSD、ETH Zurich、MIT、Meta、Scale AI）
- Xperience-10M（ropedia-ai）：6 cam（4 fisheye + 2 stereo）+ IMU + MANO 全身 mocap；16M 語言標注；~1 PB；需簽 DocuSign 協議，僅限非商業研究
- EgoScale（NVIDIA GEAR Lab，arXiv:2602.16710）：20k+ 小時自我中心人手影片；22-DoF 靈巧手；VLA 架構；資料集尚未釋出（Coming Soon）
快速對照：按維度排名
規模最大（時長）： EgoScale (20,000h+) > Xperience-10M (10,000h) > EgoVerse (1,362h) > EgoDex (829h)
任務最多： EgoVerse (1,965) > RoboMIND 2.0 (739) > RoboMIND (479) > EgoDex (194)
靈巧手支援： DexWild、EgoDex、EgoLive、EgoVerse、VITRA、Being-H0、Xperience-10M、EgoScale
Force/Tactile： RoboMIND 2.0 (✓)、RoboMIND (partial)
LeRobot 支援確認： DROID (✓)、BridgeData V2 (✓)
未釋出： HoMMI、Being-H0 (dataset)
Sources
- Clippings-droid-large-scale-in-the-wild-robot-manipulation-dataset
- Clippings-bridgedata-v2-dataset-robot-learning-at-scale
- Clippings-robomind-multi-embodiment-manipulation-dataset
- Clippings-agibot-world-colosseo-large-scale-manipulation-platform
- Clippings-rh20t-acomprehensive-robotic-dataset-for-learning-diverse-skills-in-one-shot
- teleoperation-robot-datasets-droid-comparison