Question
除了 physical HRI safety constraints(ISO/TS 15066、能量/力限制)之外,HRI Safety 還有哪些分類或面向可以做為大歸類?
Answer
vault 中除了 Physical HRI Safety Constraints Review(能量/力限制)之外,還有一整條獨立發展的「世界模型 × 機器人安全」研究線(research/world-models-robot-safety.md),可以拆出至少五個與物理安全並列的大歸類:
1. 演算法安全 / 決策層安全 (Algorithmic & Decision-Time Safety)
不是限制機器人「碰到人的力道」,而是限制機器人「規劃出的動作本身」是否安全:
- Safe RL in latent space — SafeDreamer 在 DreamerV3 的世界模型潛在空間中用 Lagrangian 鬆弛約束想像出的軌跡,在 Safety-Gymnasium 上達到接近零約束違反
- 不確定性即安全訊號 — RWM-U 用 ensemble 分歧度懲罰「世界模型不理解的狀態」,把資料覆蓋範圍變成安全包絡,已在 ANYmal 四足與人形機器人真實硬體驗證
- 模擬式安全探測 — 用世界模型做離線策略評估與 OOD 測試,在碰觸真實硬體前找出失敗模式
- VLA 安全對齊 — SafeVLA 用 CMDP 約束強化學習直接對 VLA foundation model 做安全對齊(違規減少 83.58%)
來源:research/world-models-robot-safety.md
2. 對抗式與資安安全 (Adversarial / Security Safety)
這是與物理安全完全不同維度的威脅模型——不是「機器人太用力」,而是「有人刻意攻擊機器人的感知/決策管線」:
- 世界模型本身是攻擊面(Parmar 2026):資料投毒(training-time poisoning)、潛在空間破壞(inference-time latent attack)、規劃幻覺(planning hallucination — 世界模型自信但錯誤地預測「安全路徑」,且與認識論不確定性不同,ensemble 可能一致地錯)
- VLM/LLM 感知脆弱性:簡單的輸入擾動(指令改寫、影像雜訊)就能讓成功率下降 14–22%——若把 VLM 拿來當安全過濾器(如下一類),這個弱點會直接變成安全漏洞
- 循環問題:用 VLM 當安全 oracle 去檢查世界模型的輸出,但 VLM 自己也容易被攻擊——目前沒有方法同時解決兩層漏洞
來源:research/world-models-robot-safety.md(引用 Parmar 2026, arXiv:2604.01346;LLM/VLM vulnerability, arXiv:2402.10340)
3. 對齊與人因安全 (Alignment & Human-Factors Safety)
介於「演算法」與「社交」之間的一類,關注人類如何被系統的自信度誤導:
- 獎勵駭客 / 欺騙性對齊:策略找到世界模型認為安全但實際違反現實限制的「高獎勵路徑」
- 自動化偏見 (automation bias):操作者過度信任世界模型的預測,超出其有效範圍
- 治理框架:NIST / EU AI Act 合規性被列為緩解方向,但作者自陳「缺乏技術具體性,仍是開放領域」
來源:research/world-models-robot-safety.md
4. 社交 / 心理安全 (Social & Psychological Safety)
這條軸線在你上一則問題引用的 research/human-robot-interaction.md 中已出現,但值得單獨歸類為「安全」的一種——不是身體傷害,而是心理/情感層面的「感覺不安全」:
- 恐懼反應被歸類為 7 個維度,包括恐怖谷效應(uncanny valley)、隱私擔憂、技術陌生感——尤其在老年人對社交機器人的反應中明顯
- 信任雖在幾乎每份 HRI 調查中出現,卻很少被操作化定義;領域缺乏統一的「信任如何建立與崩潰」模型
- 這與物理安全的差異:物理安全有明確的量化指標(力、能量),社交/心理安全目前沒有等價的量化基準
來源:research/human-robot-interaction.md
5. 感知 / 預測性安全 (Perceptual & Predictive Safety)
把「預測未來場景 → 檢查是否安全 → 接受/修改/拒絕動作」當作獨立於物理限制和演算法約束之外的一條安全管線:
- 3D/4D 生成模型作為隱式世界模型:Gaussian-Splatted Foresight、ParticleFormer、geometry-aware 4D video generation,先預測動作後的場景再檢查碰撞/掉落/形變
- VLM 語意風險場:Semantic-Metric Bayesian Risk Fields 用 VLM 產生「這個物體危不危險」的語意先驗,疊加到像素密度風險圖上——這是少數把「語意理解」帶入安全判斷的方法(傳統安全過濾器只看最小距離,不懂「刀子」比「杯子」危險)
- vault 筆記明確指出:這條「3D/4D 生成 + VLM 安全檢查」的完整管線目前尚未有人整合實作,是明確的研究缺口(延遲太高、VLM 輸入格式不匹配生成場景、缺乏 ground-truth 安全標籤)
來源:research/world-models-robot-safety.md(Extended Scope I–III)
小結:與物理安全的關係
物理安全(能量/力)回答的是「機器人碰到人會不會受傷」;上述五類回答的是機器人「決策本身」「有沒有被攻擊」「有沒有被誤信任」「人感覺舒不舒服」「能不能预先看到危險」——彼此正交,且 vault 中目前沒有一份文件把六類(物理+這五類)放進同一個統一分類法。research/world-models-robot-safety.md 自己也指出:「Safe-RL、offline 方法、模擬式安全探測針對不同威脅模型,沒有單一框架能涵蓋全部」——這個「缺乏統一 HRI safety taxonomy」的觀察,本身就是一個值得記錄的 vault 發現。
Sources
Vault notes consulted:
- world-models-robot-safety — 演算法安全、對抗式安全、對齊/人因安全、感知預測性安全四大類的主要來源
- human-robot-interaction — 社交/心理安全(信任、恐懼 7 維度)的來源
- Clippings-physical-hri-safety-constraints-review — 物理安全基準對照
Follow-up Questions
- vault 中目前沒有任何一篇文件嘗試把「物理安全」與「世界模型/演算法安全」放進同一個分類架構下比較——這兩條研究社群(pHRI 控制理論 vs. embodied AI safety)是否互相引用?值得開一個
/research-vault主題去查證。 - 社交/心理安全缺乏量化基準這件事,是否可以借用物理安全的「energy/force 作為統一量測基準」的思路,找到心理安全的等價量測方式(例如某種「信任預算」)?
- Parmar 2026 的「規劃幻覺」(planning hallucination)與物理安全中「機器人有效質量被低估」是否是同一類問題的不同面貌——都是「模型自信但錯誤」導致安全機制失效?值得深入比較。