跳转至

Method Design

ArtHOI4D 将单目视频转换为可执行的 full-body articulated interaction。方法只通过四类显式数据连接:asset、reconstruction reference、case inventory 与 physics rollout。

\[ (V,\mathcal A) \longrightarrow \widehat{\mathcal R} \longrightarrow \pi \longrightarrow \tau^{\rm sim}. \]

其中 \(\widehat{\mathcal R}=\{\widehat H,\widehat T^o,\widehat q,\widehat s\}\)。contact intent \(\mathcal C^{intent}\) 是另行带 GT/人工/VLM provenance 的 preprocess side input, 不是当前 result.pt 稳定预测变量;\(\tau^{\rm sim}\) 是 simulator 中实际发生的状态与 接触,而不是 kinematic replay。

系统边界

输出 不能做什么
Articulated asset visual mesh、kinematic tree、collision、joint limit 不能以 visual mesh 代替物理 collider
Reconstruction noisy human/root/\(q\)/scale reference 不能把 GT 或手工修正偷偷写进 policy 输入
Contact-intent preprocess 带 provenance 的 \(\mathcal C^{intent}\) side input 不得冒充 Recon prediction 或 achieved contact
Case inventory asset identity、joint type/limit 与初始 \(q_0\) 不能被 recon 第 0 帧覆盖
Physics policy human action;由接触改变 object state 不能直接 actuator-drive object joint
Evaluator tracking、contact、articulation、shortcut audit 不能用单个距离或局部成功替代完整任务

四个设计页面

页面 核心问题
Articulated Assets 不同数据集的 asset 如何进入同一 visual/physics contract?
Reconstruction 如何输出时序一致的 human、object、\(q\) 与 scale reference?
Human / Ground / Contact 如何让视觉结果成为可信而不泄漏 oracle 的 physics 输入?
Passive Articulated Physics 如何在 noisy reference 下只靠接触驱动关节?

Recon 与 Physics 如何耦合

“两阶段”不表示两个独立问题。Recon 决定 Physics 的 reference、metric scale、接触可达性与 articulation target;Physics 的 success、coverage 和 first-failure 又是判断 Recon 输出是否可执行的 下游证据。因此论文依次报告 direct Recon quality、真实 RGB→Recon→Physics 主结果、captured-reference Physics control 和 stage/component ablation。

这个耦合首先是输入依赖与最终 outcome 的耦合。只有最终实现确实把 simulated state、contact assignment 或 refined target 回写到 Recon/reference 时,才进一步称为 bidirectional feedback,并设置 对应 off / initialization-only / target-update / full ablation;否则保持单向 Recon → Physics 的准确表述。

具体 adapter、训练入口、schema 和测试位于 Project Guide。需要验证什么、怎样比较,见 Experiments