Articulated HOI 相关工作综述¶
本文以论文的 Related Work 为目标，按研究问题组织。它覆盖三条相互靠近、但尚未完全重合的路线：物理全身 tracking、接触驱动的关节操作、以及从视频恢复 articulated HOI reference。数据与 benchmark 见 Datasets & Benchmarks。
本文关心的任务链可以写为：
\[
I_{1:T}
\longrightarrow
(\widehat H_{1:T},\widehat O_{1:T},\widehat q_{1:T};\mathcal C^{intent}_{1:T})
\longrightarrow
\pi
\longrightarrow
(H^{\rm sim}_{1:T},O^{\rm sim}_{1:T},q^{\rm sim}_{1:T}).
\]
其中 \(I\) 是视频，\(H\) 是全身人体状态，\(O\) 是物体 root state，\(q\) 是内部关节状态， \(\mathcal C^{intent}\) 是单独带 provenance 的接触意图输入；当前代码不把它伪装成 Recon 稳定预测输出。 已有工作通常只覆盖其中一段，或改变了人体/机器人 embodiment。
1. 全身 humanoid Physics tracking¶
1.1 从 motion imitation 到鲁棒全身 tracker¶
DeepMimic 将 reference motion imitation 与 task reward 放进同一个 RL 控制问题，使物理角色既保持动作风格，也能响应扰动和任务目标。后续工作主要在“如何从大而不完整的 motion source 得到一个稳定 tracker”上扩展它。
| 工作 | 输入与主体 | 核心思想 | 对 HOI 的边界 |
|---|---|---|---|
| DeepMimic | motion clip；物理 humanoid / robot / creature | example-guided RL imitation，并可叠加 task objective | 建立物理 motion imitation 基线；不建模物体或接触图 |
| AMP | 无结构 motion corpus + 高层 task | adversarial motion prior 作为风格 reward，避免显式 clip selection | 提供可组合 motion prior；不是 reference-following HOI tracker |
| SimPoE | 单目 pose estimate、下一帧图像；物理角色 | 将 kinematic pose refinement 与 RL dynamics control 联合起来，逐帧修正 video pose | 最早把 video observation 直接放入 physics character control；只处理 human pose |
| Physics-based Human Motion Estimation and Synthesis from Videos | 单目 video pose；物理人体 | 以接触/动力学约束修正 HMR，再从修正后的 motion 学 generative model | 说明 video pose 需要 physics correction；没有 object 或 HOI contact |
| PHC / PHC-X | 大规模 human motion 与带噪 pose；物理 humanoid | progressive multiplicative control，处理视频 pose noise、跌倒和长期恢复 | 是强 human-only tracker；没有 object/contact/articulation 任务语义 |
| PULSE / PULSE-X | 大规模 human motion；物理 humanoid | 从全动作 imitator 蒸馏可采样的 universal motion latent，可供 hierarchical RL 和 tracking 复用 | 强 motion prior，不给出 HOI object/contact state 或被动关节控制 |
| MaskedMimic | partial keyframe、object、text 等被 mask 的条件 | 将 physics control 写成 masked motion inpainting | 说明 partial observation 与 structured masking 可形成统一控制接口；不解决被动关节 actuation |
这一脉络回答“怎样让 humanoid 在物理中持续地接近不完美 reference”，而不回答“如何通过接触推动物体内部关节”。
1.2 全身 rigid HOI 的物理执行¶
| 工作 | 输入与主体 | 核心思想 | 任务范围 |
|---|---|---|---|
| PhysHOI | kinematic whole-body HOI demonstration；SMPL-X humanoid | 显式 contact graph 与 contact-graph reward，做 dynamic HOI imitation | whole-body 物理交互，但公开任务以 rigid object 为主 |
| Physically Plausible Full-Body Hand-Object Interaction Synthesis | object、grasp / target trajectory；full-body + dexterous hand | 先分别学习 body/hand skill prior，再在 latent space 中用高层 RL 完成接近、抓取和搬运 | 说明 full-body motion prior 与 dexterous interaction 可分层结合；任务是 rigid grasp / transport，不是 reference tracking |
| OmniGrasp | object mesh、desired object trajectory、pre-grasp；simulated humanoid | 利用预训练 humanoid motion representation 学抓取和物体 trajectory following | 大规模 rigid grasp / transport；没有成对全身 reference 或内部 \(q\) |
| Learning Physics-Based Full-Body Human Reaching and Grasping | brief walking motion、scene 与 object | 用生成 grasp pose 和 active data generation 从很少的 walking reference 扩展至 reaching/grasping | 解决 reference 覆盖不足；任务目标仍是 rigid grasp，不是视频 HOI replay |
| SkillMimic / SkillMimic-V2 | human-ball demonstration；humanoid | 以统一 HOI imitation reward 学可组合 skill；V2 再用 trajectory graph、state-transition field 与 adaptive sampling 抵抗 sparse/noisy demo | contact-rich dynamic rigid HOI 的可扩展 skill learning；对象为球，未处理 articulated kinematics |
| InterMimic | imperfect MoCap HOI；SMPL-X humanoid | 先训练 subject-specific teacher 修正 motion，再 distill 到 universal student，并以 RL fine-tune | 强调大规模全身 HOI tracker；原生物体表示不包含 articulated joint state |
| InterPrior | 大规模 HOI motion、物体观测与高层 intent；humanoid | 将 full-reference imitation expert 蒸馏为 goal-conditioned generative policy，再以物理扰动增强和 RL post-training 扩展到未见目标/初始状态 | 可泛化的 rigid HOI motion prior；物体仍以刚体交互为主，未定义被动关节 \(q\) 的跟踪目标 |
| WristMimic | human HOI reference、object motion；SMPL-X humanoid | body/wrist 跟踪 kinematic target；手指只按 object/contact outcome 学习，不硬跟 reference finger pose | 精确指出 hand pose 并不等价于接触力；对象为 rigid，未给出 passive articulation \(q\) 的 reference-tracking protocol，且官方项目页截至 2026-08-14 仍标注 code coming soon |
| ContactMimic | keypoint trajectory、逐帧 body-part binary contact command；Unitree G1 | contact-conditioned tracking、contact-following reward 与 paired trajectory augmentation，使相同 keypoints 下的 contact 可显式切换 | 把 contact 从隐含结果提升为控制输入；官方代码已发布，但主体是 G1，场景/物体不定义 passive articulated \(q\) tracking，因此作为 related work 而非 matched baseline |
| RePHO | monocular kinematic HOI reconstruction | 以 RL rollout 反过来修正 noisy reconstruction，并用 adaptive sampling 聚焦可靠状态 | 直接连接 monocular reconstruction 与 Physics；论文任务为 rigid HOI |
| InterReal | human HOI reference；humanoid robot | contact-constrained data augmentation 与自动 reward learner | 面向全身 robot HOI control；报告 box picking / pushing，而非 articulated joint tracking |
| SceneBot | reference motion、per-link contact label 与 scene；Unitree G1 | 以 contact prompt 显式指定角色—场景接触，并从 retargeted motion hindsight-reconstruct scene-interaction graph | 统一自由运动、地形和搬箱等接触任务；没有 object-internal \(q\) state |
| GRAIL | 已知尺度的 3D asset/scene、video foundation model；Unitree G1 | 在可控 3D 场景中生成并重建 metric 4D HOI，再训练 object-aware whole-body tracker | 将 video prior、3D asset 与物理 tracker 串为闭环；公开任务主要是 rigid pick-up、搬运与场景交互 |
这些方法已经证明：whole-body controller 可以追踪 HOI reference，也可以用物理 rollout 修复或蒸馏带噪动作。WristMimic 与 ContactMimic 进一步说明，kinematic hand/keypoint tracking 不足以唯一确定物理接触，contact outcome 或 contact command 必须被明确建模。但这些工作的主要 object state 仍是 rigid root pose，接触并不等价于对内部关节 \(q\) 的控制。
1.3 全身 articulated HOI¶
| 工作 | 输入与主体 | 核心思想 | 与当前问题的距离 |
|---|---|---|---|
| CoDA | text / keyframe / hand trajectory；SMPL-X whole body；two-part articulated object | 生成可控的 articulated whole-body motion，并展示将其放入物理 simulator 后由 humanoid 接触驱动物体 | 最接近“完整人体 + articulated object”的工作；论文的核心是 reference generation，而非公开 tracker 方法 |
| VLM-RMD | language、scene 与 object part；physical humanoid | VLM 生成 part-relative movement dynamics，并自动构造 goal 与 RL reward | 覆盖 static、dynamic 与 articulated object 的长程 HOI synthesis；输入不是 monocular reference，且不以逐帧 \(q\) tracking 为目标 |
| HDMI | monocular human video；Unitree G1 | 从视频建立 structured human-object reference，以统一 object representation、residual action 与 interaction reward 学 whole-body control | 已覆盖 articulated object 和真实机器人部署；embodiment 是 G1，不是 SMPL-X human tracker |
| ResMimic | human motion；Unitree G1 与 object | 在 general motion tracker 上训练 residual policy，并加入 object tracking、contact reward 与逐渐减弱的 virtual object controller | 说明 residual 可把通用 tracker 转为精细 loco-manipulation；对象与身体模型均不同 |
这里的关键事实是，articulated tracking 并非空白：CoDA 与 HDMI 已分别展示了物理执行和 articulated robot interaction。仍然缺少的是在带噪视频 reference、全身 human embodiment 与被动物体关节之间同时建立可验证的闭环。
1.4 Residual adaptation¶
residual learning 是一条训练范式，不应和 hand-only manipulation 混为一类。它把“维持自然 motion”的 base policy 与“完成精细交互”的小修正分开。
| 工作 | residual 的位置 | 主要启示 |
|---|---|---|
| ManipTrans | pretrained dexterous imitator 之后的 task residual | 冻结 base、限制 residual action、RSI 与 early termination 可以把 interaction 学习集中在少量自由度 |
| ResMimic | general motion tracker 之后的 object-aware residual | residual 与 contact / object reward 结合，可保留全身 motion prior 并提高操作精度 |
| HDMI | whole-body action space 中的 residual action | residual 可与统一 object representation 和 interaction reward 共同服务于 video-derived humanoid control |
这些工作说明 residual action 本身不是 novelty；它的价值取决于 residual 是否真的只修正 interaction 需要的局部误差，以及 base motion 是否被保留。
2. 接触驱动的 articulated manipulation¶
2.1 Hand-only 物理操作¶
| 工作 | 输入与主体 | 核心思想 | 任务范围 |
|---|---|---|---|
| D-Grasp | object 6D pose、static grasp reference；MANO hand | 将 stable grasp 与 global object motion 分成层级控制，并能修正不完美 grasp label | 物理 hand-object grasp synthesis；对象是 rigid 6D pose |
| ArtiGrasp | hand pose reference；双 MANO | 单一 RL policy 联合 grasp 与 articulation，并以单手→双手、静态→非静态的 curriculum 训练 | 抓取、搬运和 1-DoF articulation；无全身平衡 |
| SynHLMA / HAOI-Lang | language、articulated object point cloud；MANO hand | 以离散 hand-articulated-object token 生成长时操作，并用 joint-aware loss 保证 grasp 随关节运动变化 | HAOI generation/prediction/interpolation，并展示 ShadowHand 的 RaiSim transfer；不是 full-body Physics tracking |
| StructBiHOI | object geometry、task semantics；双手 | 将长时 joint planning 与 frame-level hand refinement 解耦，显式建模 bimanual articulated interaction | hand-motion generation，不提供 contact-driven simulator controller |
| DragMesh-2 | GAPartNet asset、hand state / trajectory；floating SMPL-X hand | 被动关节只能由持续 hand-handle contact 驱动；PICA 提升不同 contact load 下的鲁棒性 | 最直接的公开 contact-driven articulated hand task；不含 full-body reference tracking |
这组工作把“手是否真的建立并维持足够的接触，再推动关节”处理得比全身 tracker 更细。它们不解决 root/balance，也不能由 hand-only success 推出 full-body HOI success。
2.2 Robot、跨 embodiment 与 object-level 任务¶
| 工作 | 输入与主体 | 核心思想 | 任务范围 |
|---|---|---|---|
| DexMachina | human bimanual demonstration；robot hands；articulated object state | 用逐渐减弱的 virtual object controller，让 policy 从被辅助的 object-state tracking 过渡到真实接触操作 | 长时 bimanual articulated manipulation；研究 human-to-robot embodiment gap |
| CHORD | human demonstration、object part/contact reference；robot | 以 object-centric contact-wrench guidance 做 retargeting | rigid 与 articulated robot manipulation，不是 human reference tracking |
| RSRD | monocular human demo + static object scan；YuMi robot | 先以 differentiable part model 重建 4D part motion，再按 robot morphology 规划双臂动作实现 part trajectory | 直接验证 video→articulated part motion→robot execution；是 arm planning，不是 full-body RL tracker |
| DITTO | 单段 RGB-D human demo；robot | 提取相对 object trajectory，针对当前场景 re-detect 后做 trajectory transformation | 覆盖 articulated manipulation 的 one-shot imitation；没有全身 human state、dense contact 或 passive-\(q\) Physics tracker |
| DragMesh | mesh 与 user drag | 从 part geometry 与 joint structure 生成 articulated part motion | object-only kinematic generation，没有 hand/humanoid physics rollout |
这些路线贡献了 handle、moving link、\(q\)、contact curriculum 与 task reward 的表达，但其主体通常是 robot hand 或 object；不能替代全身人体物理 tracking。
3. Kinematic full-body HOI 与 scene interaction generation¶
这一支直接生成或预测 human、hand 与 object trajectory。它们是 Recon/Reference 的重要前序，却不等于用接触力执行该轨迹；因此与本项目的 Physics 层互补而不可替代。
| 工作 | 输入与输出 | 核心思想 | 与当前问题的边界 |
|---|---|---|---|
| GOAL | object、初始 SMPL-X pose → full-body/hand/head grasp motion | 分别生成 goal whole-body grasp 与通往该 goal 的 motion | 建立全身+手 grasp generation；输出 kinematic rigid-object interaction |
| COUCH / Learning to Sit | chair geometry、contact/relative configuration → human-chair motion | 前者预测 contact-aware hand control，后者用 hierarchical controller 组合坐下子技能 | 接触条件化的 human-scene interaction；不恢复或执行 articulated object state |
| InterDiff | past 3D HOI → future human/object trajectory | diffusion 预测长时 HOI，再用 physics-informed correction 约束接触关系 | 物理知识进入生成器，但没有 simulator rollout 的 contact actuation |
| CHOIS | language、初始 human/object state、sparse waypoint → synchronized HOI | conditional diffusion 同时生成 human/object motion，以 geometry/contact guidance 对齐场景 | 面向 scene-level rigid HOI synthesis；没有 passive joint state \(q\) |
| InterAct | 多来源 HOI motion → 统一 SMPL-H corpus / generation benchmark | 统一表示并以 contact invariance 修正 hand、penetration 和 floating artifact，再扩充 motion variation | 是大规模 rigid 3D HOI motion prior / benchmark；不是 video reconstruction 或 articulated control |
| InterPhys | human motion、dynamic scene/object → force-aware motion | 用 human-object、human-scene 与内部 body force/torque balance 的 soft constraints 生成 motion | physics-aware kinematic synthesis，不是 simulator 中的 contact-driven tracking policy；没有 explicit \(q\) trajectory objective |
4. Video-based articulated HOI reconstruction 与 reference generation¶
4.1 从视频恢复人、物体与关节¶
| 工作 / 数据 | 输出 | 主要贡献 | 物理边界 |
|---|---|---|---|
| D3D-HOI / 3DHOI family | object pose、part motion、articulation parameter | 建立单目视频下的 articulated object reconstruction 问题 | 输出是 kinematic object state，不执行全身 Physics |
| ARCTIC | 双手、物体 root、joint angle、contact 的同步 capture | 提供 hand-articulated-object motion 与 object asset 的高质量 reference | 以 hand-object capture 为主，不是视频到全身 physics tracker |
| HOPformer | egocentric single RGB → 双 MANO hands + object category/pose/articulation | recent joint hand-object transformer；official code/checkpoint 包含 ARCTIC ego protocol | 单帧 hands+object，不输出 full-body/contact intent；只能进 ARCTIC overlapping Recon panel |
| CHAIRS | full-body articulated human-object interaction | 扩展 full-body articulated HOI 的 capture 与建模范围 | 任务集中于 sittable furniture interaction，未给出 contact-driven Physics controller |
| VideoArtGS | monocular articulated-object video | 以 3DGS 表示联合恢复 object geometry、part segmentation 与 articulation | object-only digital twin；没有 human/contact reference 或 physics execution |
| RHINO | moving-camera monocular video | 将 human、novel object 与 scene 置于共同 world frame，恢复时序一致的 4D interaction | 解决 monocular world-frame/occlusion 问题；物体为 rigid，未估计 articulated \(q\) |
| ArtHOI (video-prior synthesis) | diffusion-generated monocular video prior | 先恢复 object articulation，再条件化地合成人体 motion，得到 4D articulated HOI | 直接针对 video-prior articulated HOI；强调 geometry/contact consistency，而非在 simulator 中训练 contact-driven tracker |
| Hand-ArtHOI | monocular hand pose、object geometry、part motion、contact alignment | 结合 foundation-model priors 解决单目 4D hand-articulated-object reconstruction | 只建模 hand，不提供全身物理执行 |
4.2 从生成或重建 reference 到 Physics¶
| 工作 | 连接方式 | 已解决的问题 | 尚未覆盖的部分 |
|---|---|---|---|
| Zero-Shot HOI Synthesis with Multimodal Priors | text / multimodal prior → 3D HOI milestones → physics tracking | 从开放词汇图像/视频先验恢复 human 与 rigid object milestone，再以物理 tracking 提升可行性 | 物体为 rigid 6D pose；没有 articulation state 或 contact-driven joint execution |
| CoDA | articulated whole-body reference generation → physical deployment | 证明生成的 articulated motion 可以进入接触驱动的模拟执行 | 公开方法重点是 generation；未给出可独立复现的公开 tracker |
| DeVI | initialized 3D scene + text → synthetic video → full-body physics policy | 以 refined 3D SMPL-X human、2D object-vertex tracks 和 pseudo contact 组成 hybrid target；直接处理视频 reference 的噪声与 HOI 对齐 | object 只有 rigid global SE(3)，没有 \(q\)、link state 或 passive articulation；官方代码尚待发布，当前只能作 reported-only related work |
| Human-Object Interaction from Human-Level Instructions | instruction → full-body/finger/object reference → RL tracking | 生成带详细 finger motion 的长程 whole-body HOI，并以 physics policy 执行 | 面向 task synthesis；目标对象为 rigid，非从单目 observation 恢复 \(q\) |
| HA-HOI / SimGenHOI | monocular / generated HOI → physics rollout | 研究从 reconstruction 或 generation 到物理交互的流程 | 没有 passive articulated joint reference 与 actuation 闭环 |
| RePHO | monocular reconstruction → physics-guided repair | 以 simulator rollout 反向改善 kinematic HOI | 论文对象是 rigid，未定义 articulated \(q\) repair |
DeVI 是当前最直接的「synthetic video → full-body dexterous physics」参照：它说明不精确的 video cue 可以进入 RL，而不必先得到精确 6D object trajectory；但它有意以 2D rigid-object point tracks 避开 3D object pose。因而它不能回答 passive articulated \(q\) 如何 reset、observe 或由 contact actuation；也不能在代码发布前成为可复现实验。完整核对见 DeVI audit。
这一方向表明 video-to-physics 并不等于在 simulator 中播放 kinematic trajectory：reference 中的 scale、root、contact 和 object state 都会决定 rollout 是否可执行。对 articulated HOI 而言，还必须区分初始关节状态与带噪的时间序列关节 observation。
5. 文献留下的交叉缺口¶
现有工作已经分别解决了重要部分：
- DeepMimic、PHC、MaskedMimic 等建立了大规模、带噪或部分观测下的物理 humanoid tracking；
- PhysHOI、InterMimic、RePHO、OmniGrasp 将 whole-body control、接触、物体 trajectory 或 monocular reconstruction 接入物理执行；WristMimic 与 ContactMimic 分别强调 dexterous outcome 和显式 contact control；DeVI 已把 synthetic video 的 3D human / 2D rigid-object hybrid target 接入 full-body physics；
- ArtiGrasp、DragMesh-2、DexMachina 直接处理被动关节、handle contact 与 articulation curriculum；
- D3D-HOI、ARCTIC、CHAIRS、Hand-ArtHOI 与 CoDA 提供 articulated state、全身/手部 interaction 或视频/生成 reference。
但这些能力大多分属不同输入、embodiment 和任务：强 whole-body tracker 通常面对 rigid object；WristMimic 与 ContactMimic 建模 hand/contact control，却没有 articulated state；DeVI 处理 noisy synthetic-video cue，却没有 articulation state；明确的 passive articulation 多在 hand/robot setting；单目 reconstruction 通常停在 kinematic output。CoDA 与 HDMI 是最接近的 articulated control 交点，因此论文不应声称“首次 video-to-physics”“首次物理 articulated HOI”“首次显式 contact control”或“首次 tracking \(q\)”。更准确的研究问题是：在带噪 monocular full-body reference 下，人体能否只靠接触驱动 passive articulated object，并保持可验证的全身物理执行。