Motion Capture 手套靈巧手控制:指尖 Admittance Control vs Retargeting

Research Question

使用 Motion Capture 手套時,把指尖位置作為靈巧手各手指的 Cartesian 端點目標(Admittance Control),和把靈巧手做 Motion Retargeting(關節空間映射),在技術上有什麼核心差異?各自適合什麼場景?

Knowledge Map

  • Admittance Control — 力的輸入導致位置/速度輸出的控制框架。理解它是前提,才能知道「以指尖為端點」在接觸時的行為。
  • Impedance Control — Admittance 的對偶:位置輸入導致力輸出。兩者合稱 Interaction Control,適用接觸豐富場景。
  • Inverse Kinematics(IK) — Cartesian 端點目標需透過 IK 轉換為關節角度。IK 的奇異點和多解問題直接影響 Admittance 端點方法的可靠性。
  • Motion Retargeting — 人手和機器手形態不同(DOF 數、比例、關節耦合),Retargeting 是解決此形態差異的映射問題。
  • Dexterous Hand Kinematics — 靈巧手(如 Shadow、Allegro、ByteDexter)各有不同 DOF 耦合設計,影響哪種控制方式更適合。

Sources Gathered

新收錄來源:

Vault 中已有的相關筆記:

Key Findings

  1. 控制空間根本不同:Admittance Control 以指尖為端點是在 Cartesian 空間操作(Task Space),透過 IK 解出關節角;Retargeting 是在關節空間或幾何空間操作(Joint/Geometric Space),直接映射關節構型。

  2. 接觸順從性的差異是最關鍵的分岔:Admittance Control 天然具備接觸順從性——接觸力 → 指尖位置偏移,機器手在接觸時會「讓步」;純 Retargeting(位置控制模式)是剛性的,接觸時會施加無限制的力,需要外加獨立的力控制層才能順從。

  3. 形態差異處理方式相反:Admittance 端點方法的 IK 可以自然吸收人機手指比例差異(目標點相同,解路徑不同);Retargeting 必須顯式設計縮放因子、關節耦合映射和碰撞避免懲罰才能處理形態差異(如 ByteDexter 的 Keyvector + 加權優化)。

  4. 中間關節構型的保真度相反:Admittance 端點方法只保證指尖到達目標位置,中間關節(PIP、DIP)由 IK Null-space 決定,可能與人手構型差異很大;Retargeting 保留整個手部構型的視覺相似性,適合 Imitation Learning 需要全關節觀測的場景。

  5. 資料品質對 Robot Learning 的意義:做 LfD 示範收集時,Retargeting 資料有完整的關節構型資訊(適合 Behavior Cloning);Admittance 端點資料有精確的接觸力資訊(適合接觸豐富任務)。兩者各有不可替代的優勢。

Open Questions

  • 同一靈巧手能否混合兩種方式:部分手指用 Retargeting(需要構型保真),部分手指(如拇指)用 Admittance 端點(需要接觸順從)?
  • IK 奇異點在手指接近完全伸直或完全彎曲時如何處理?現有系統多採用 Damped Least Squares 或 Joint Limit 約束。
  • 若使用 Admittance 端點方法,Null-space 的 Secondary Objective 如何設計才能讓中間關節構型接近人手?

Report

方法一:以指尖為端點的 Admittance Control

運作方式

操作者戴 Motion Capture 手套,手套輸出各手指指尖的 3D 位置。這些 Cartesian 位置直接作為靈巧手各手指的「期望端點位置」輸入 Admittance Controller。Admittance Controller 的作用是:

輸入:接觸力 F_contact
輸出:端點位置修正量 Δx

期望端點 = 手套指尖位置 + Δx(由接觸力計算)
最終關節角度 = IK(期望端點)

當手指接觸物體產生接觸力時,Admittance 方程式 M·ẍ + B·ẋ = F_contact 決定指尖的讓步量。IK 在每個控制週期把修正後的指尖位置轉換成關節角度。

優勢

  • 接觸順從性內建:碰到東西不會用暴力,適合精密抓握脆弱物體
  • 尺寸差異自然吸收:人手和機器手指尖比例不同,IK 自動適應
  • 直覺對應:操作者感受到的就是「指尖被限制在某個位置」

缺點

  • IK 計算量大,且在奇異構型(手指完全伸直等)不穩定
  • Null-space 無法保證中間關節(PIP、DIP)構型與人手相似
  • 需要可靠的 F/T 感測器在每根手指,硬體門檻高
  • 適合剛體抓握,對需要精確手指構型的靈巧操作(如翻轉物體)控制直覺差

方法二:Motion Retargeting

運作方式

手套輸出關節角度(或關節角速度),透過映射函數轉換成機器手的關節角度指令。最常見的方法:

  1. 直接角度映射:人手關節角 → 縮放/偏移 → 機器手關節角(最簡單,但忽略形態差異)
  2. FK-IK 管道(如 DOGlove):FK 計算人手指尖位置 → IK 計算機器手對應關節角,中間加縮放因子
  3. 幾何優化(如 ByteDexter Keyvector):提取人手幾何向量 → 最小化人機手幾何向量差異的優化問題 → 機器手關節角

優勢

  • 保留完整的手部構型:適合 Behavior Cloning,示範資料包含全部關節信息
  • 計算可預測:固定映射的延遲穩定,不依賴 F/T 感測器
  • 形態差異可顯式設計:可針對特定靈巧手的機械特性(耦合、限位)定制映射
  • 現有系統成熟(Manus、DOGlove、Glovity 都採用此路線)

缺點

  • 無內建接觸順從性:位置控制模式下接觸時會施加無限制力,需外加獨立力控制層
  • 形態差異需顯式處理:拇指 Opposition 差異、DOF 不對稱等問題需大量工程調整
  • 操作者必須手動感知和調節接觸力(認知負荷高)

核心差異總表

維度指尖 Admittance ControlMotion Retargeting
控制空間Cartesian Task SpaceJoint/Geometric Space
接觸順從性內建(Admittance 公式)需外加力控層
中間關節保真低(IK Null-space 決定)高(映射保留構型)
形態差異處理IK 自然吸收比例差需顯式縮放/優化設計
IK 奇異點風險無(關節空間操作)
LfD 資料品質接觸力資訊豐富構型資訊完整
硬體需求每指需 F/T 感測器只需關節角感測
適合任務接觸豐富、精密抓握構型相似性重要的靈巧操作

實際選擇建議

  • 目標是 Robot Learning 資料收集(Imitation Learning):Retargeting 優先,因為完整關節構型資訊更利於 Behavior Cloning;可在 Retargeting 基礎上加輕量 Impedance 層保護設備。
  • 目標是接觸豐富的精密操作(組裝、插入、拿脆弱物體):Admittance 端點方法更安全、更直覺,但要解決 IK 奇異點和 Null-space 問題。
  • 兩者結合:部分研究(如 Glovity 的架構概念)將 Retargeting 作為主要映射,再在機器人端加局部接觸 Impedance,是目前最實用的折中方案。

中文版

研究問題

Motion Capture 手套控制靈巧手時,「指尖位置作為 Admittance Control 端點」vs「靈巧手 Retargeting」的技術核心差異是什麼?

知識地圖

  • Admittance/Impedance Control — 接觸順從性的控制理論基礎
  • Inverse Kinematics — Cartesian 端點轉關節角的工具,有奇異點問題
  • Motion Retargeting — 解決人機形態差異的映射設計
  • 靈巧手運動學 — 各手的 DOF 耦合決定哪種方法更可行

關鍵發現

  1. 控制空間不同:Admittance 在 Cartesian 空間;Retargeting 在關節空間
  2. 接觸順從性:Admittance 內建;Retargeting 需外加
  3. 構型保真度:Admittance 只保證指尖;Retargeting 保留全部關節構型
  4. 形態差異:Admittance 透過 IK 自然吸收;Retargeting 需顯式設計映射
  5. LfD 資料:Admittance 富含力資訊;Retargeting 富含構型資訊

未解問題

  • 混合方法(部分手指 Admittance、部分 Retargeting)的可行性
  • IK 奇異點的實作解法
  • Null-space Secondary Objective 的設計以提升構型相似性

報告

詳見上方英文 Report 章節——包含完整技術比較表格與場景建議。