ArtHOI4D 真机扩展:Related Work 必读清单(14 篇)¶
读者:已参与 ArtHOI4D、已理解现有 reconstruction / CoDA / physics pipeline 的本科生;目标是做 articulated-object 的真机 humanoid 扩展。
原则:这不是“humanoid 领域入门书单”,而是回答一个窄问题:怎样把已有的 articulated 4D reference 与 physics result 接成一个安全、可观测、可复现的真机闭环。文献截点为 2026-07-30;preprint 不应被当作同行评审共识。
先看全局:真机版本缺的是什么¶
当前项目已有 asset / reconstruction / simulation / evaluation 的主体。真机扩展最缺的不是更多的 HOI generation,而是下列接口:
下面 14 篇分别覆盖这条链的一个关键接口。每篇阅读时都记录五件事:robot 与传感器、policy input/output、privileged state、真机安全措施、success 定义。
A. Humanoid motion foundation(3 篇)¶
- Perpetual Humanoid Control for Real-time Simulated Avatars (PHC) — ICCV 2023。大规模、带噪 reference 的 physics tracking 与跌倒恢复;用于理解低层 tracker 为什么不能被高层视觉模型直接取代。
- Universal Humanoid Motion Representations for Physics-Based Control (PULSE) — ICLR 2024。把动作模仿器蒸馏成可复用 motion latent;用于理解 whole-body motion prior 和 interaction residual 如何分层。
- SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control — 2025 preprint。可扩展的 whole-body tracker,并提供接 VR、视频和 VLA 的统一 motion-token interface;是真机路线最重要的当前控制底座。
B. 从视频 / 合成场景到真实 humanoid(4 篇)¶
- GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors — 2026 preprint。3D asset / 场景与 video prior 合成 metric 4D HOI,训练 object-aware tracker 并部署到 G1;它是 ArtHOI4D 最相似的真机链条。
- VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes — 2026 preprint。VLK = Vision–Language–Kinematics:在 metric 3DGS 场景合成 image–language–kinematic supervision,高层预测短时 whole-body trajectory、低层 tracker 执行。重点看这两个层之间的接口。
- HDMI: Learning Interactive Humanoid Whole-Body Control from Human Videos — 2025 preprint。单目人类视频 → retargeted reference → robot–object co-tracking policy → G1;重点看 unified object representation、residual action 和真机验证协议。
- SPIDER: Scalable Physics-Informed Dexterous Retargeting — 2025 preprint。用 physics-based sampling 和 virtual contact guidance,把 kinematic human demonstrations 变为动态可行的多 embodiment robot trajectories;直接补 human-to-robot retargeting 这一环。
C. Articulated contact、部件与关节状态(3 篇)¶
- CoDA: Coordinated Diffusion Noise Optimization for Whole-Body Manipulation of Articulated Objects — 2025 preprint。项目已有的直接来源。只需重新阅读其与真机有关的 contract:body/hand/object/joint representation、接触约束,以及 physics rollout 的 success 定义。
- ArtiGrasp: Physically Plausible Synthesis of Bi-Manual Dexterous Grasping and Articulation — 2023。关节物体不是“跟踪物体 pose”就够了:需要稳定 grasp、精细手部控制和 articulation curriculum。重点看它怎样从简单静态单手逐步升到动态双手。
- GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts — CVPR 2023。真机必须识别 handle、lid 等 actionable part,并估计 part pose;这是把当前 asset annotation 转成真机感知目标的最好锚点。
D. 真机数据、执行与安全(3 篇)¶
- ALOHA 2: An Enhanced Low-Cost Hardware for Bimanual Teleoperation — 2024。即便最终控制对象是 humanoid,也应先理解可复现 demonstration 的硬件、同步、system identification 与日志要求;它是采集/回放的系统性参照。
- Diffusion Policy: Visuomotor Policy Learning via Action Diffusion — RSS 2023 / IJRR。若第一版需要真机 imitation-learning baseline,它比从零训练 VLA 更合适;重点看 receding-horizon action chunk 与控制频率。
- A Contact-Safe Reinforcement Learning Framework for Contact-Rich Robot Manipulation — 2022。把 contact force、joint-space constraint、异常碰撞响应写进运行时 safety layer;真机 trial 前必须读。
E. 高层视觉–语言接口(1 篇)¶
- Isaac GR00T N1: An Open Foundation Model for Generalist Humanoid Robots — NVIDIA technical report / release。只在要做语言指令、第一人称视觉或高层 task selection 时阅读。它应位于 SONIC / VLK 风格低层 tracker 的上游,不是第一版 articulated contact controller 的替代品。
推荐阅读与产出顺序¶
| 顺序 | 论文 | 读完后的项目产出 |
|---|---|---|
| 1 | PHC、PULSE、SONIC | 画出本项目拟采用的 high-level reference → whole-body tracker → robot action 接口,并列出 real/sim state 的差别。 |
| 2 | GRAIL、VLK、HDMI、SPIDER | 写一页 data contract:真机可观测什么、哪些是 simulator privilege、reference 如何 retarget、失配后如何恢复。 |
| 3 | CoDA、ArtiGrasp、GAPartNet | 为单个 drawer / cabinet / door 定义 link、joint axis/type、handle、contact region、目标 \(q\) 与失败标签。 |
| 4 | ALOHA 2、Diffusion Policy、Contact-Safe RL、GR00T | 写真机 SOP:采集/回放、速度和力限制、保护停止、人工接管、日志格式、trial success/failure。 |
第一版真机项目的边界¶
第一版建议是:一台指定 humanoid、一个固定安装的 drawer/cabinet/door、一种低速动作、可重复初始位姿、以接触改变 joint state \(q\) 为唯一主成功条件。完成 state-based sim-to-real 和安全日志后,再增加 onboard vision、语言和多物体泛化。
有意移出主清单的 DeepMimic、MaskedMimic、PhysHOI、ARCTIC、DROID、Open X-Embodiment、OpenVLA/\(\pi_0\) 等,并非不重要;它们要么是本项目成员已具备的背景,要么对首个真机闭环不构成瓶颈。需要时可从 完整 Articulated HOI 相关工作综述 回查。
检索与筛选说明¶
本清单保留“真实 humanoid 的 whole-body tracking / loco-manipulation”“human/video-to-robot retargeting”“passive articulated contact / actionable part”“真机 data collection、policy execution、safety”四类一手来源。筛选时优先真实机器人验证、可复用的系统接口与 ArtHOI4D 当前缺口;只保留 14 项,且对近期工作明确标注 preprint。