ArtHOI 问题解答（2026-06-07）¶

这是历史调研记录，不定义当前 Physics baseline 排期。方法可比性使用 articulated_hoi_related_work_matrix.md，唯一权威实验优先级使用 docs/experiments/physics_baselines.md；其中 2026-07-25 协议已覆盖本文较早的 InterMimic/RePHO/PhysHOI 优先级判断。

本文档回答关于 ArtHOI、D3D-HOI、3DADN、ArtGS、Replica/Infinigen 评测、physics refinement baseline 与 ablation 的问题。结论基于当前仓库的定向代码阅读和公开论文/项目页/代码仓库检索。由于部分项目仍缺少可下载数据、完整 revision diff 或本地 submodule，下面不会声称 100% 确定；不确定项在末尾单独列出。

0. 本地检查与阅读范围¶

执行前先检查了当前 git 状态：worktree 已经是 dirty 状态，包含大量已有修改/未跟踪文件。本文档和实验计划文档采用新文件名创建，不覆盖已有用户文件。

创建前检查了 docs/ 下是否已有与 ArtHOI、baseline、metric、ablation、D3D-HOI、3DADN、Replica、Infinigen 相关的总结。未发现同名目标文件。为避免泛读旧文档，只用 rg / rg --files 定位了与本任务直接相关的文件。

本地重点阅读的文件包括：

historical b005-0001 active-goal notes (currently missing from the worktree)
docs/archive/d3dhoi_b0050001_physics_refinement_handoff.md
historical b009-0001 recon-state note (currently missing from the worktree)
cli/pipeline/recon.py
cli/pipeline/physics.py
pipeline/hoi_reconstructor.py
pipeline/reconstruction/optimization/run.py
pipeline/reconstruction/optimization/hoi_align.py
pipeline/reconstruction/optimization/solver/losses.py
pipeline/reconstruction/optimization/solver/joint_search.py
pipeline/physics/input.py
pipeline/physics/common_rollout.py
pipeline/physics/run.py
pipeline/physics/backends/phcx.py
pipeline/physics/evaluation.py
scripts/experiments/evaluate_d3dhoi_full270_recon.py
scripts/experiments/evaluate_d3dhoi_hoi_align_suite.py
scripts/data_preparation/d3dhoi.sh
configs/methods/physics/phcx.yaml
configs/methods/physics/studio.yaml

本地 submodule 相关发现：

当前仓库根目录没有 submodules/d3d-hoi。
同级旧仓库 /DATA/intern/hoi4d/projects/zhanbaiting/ArtHOI4D/submodules/d3d-hoi 存在 D3D-HOI 代码。
在当前仓库和同级 d3d-hoi clone 中未找到明显名为 3DADN / 3dadn / Articulation3D 的 submodule 或 baseline wrapper。
3DHOI benchmark 项目页明确说 baseline code for 3DADN, D3DHOI, LASR, ViSER, Ditto 在其 baselines/ 文件夹内。因此用户记忆中的 “3DADN submodule 在 3dhoi 代码里面” 很可能指的是 3DHOI benchmark repo，而不是当前 checkout 中已有的 D3D-HOI repo。

主要外部来源：

ArtHOI arXiv: https://arxiv.org/abs/2603.04338
ArtHOI project page: https://arthoi.github.io/
ArtHOI GitHub: https://github.com/Inso-13/ArtHOI
ArtHOI OpenReview withdrawn ICLR 2026 submission: https://openreview.net/forum?id=NE1yczn1Qz
ArtHOI OpenReview PDF: https://openreview.net/pdf?id=NE1yczn1Qz
ArtGS / ArticulatedGS OpenReview PDF: https://openreview.net/pdf?id=ix2yRWarPn
ArtGS arXiv: https://arxiv.org/abs/2503.08135
D3D-HOI GitHub: https://github.com/facebookresearch/d3d-hoi
D3D-HOI arXiv: https://arxiv.org/abs/2108.08420
3DHOI benchmark page: https://3dlg-hcvc.github.io/3dhoi/
3DADN / Articulation3D GitHub: https://github.com/JasonQSY/Articulation3D
3DADN CVPR 2022 paper: https://openaccess.thecvf.com/content/CVPR2022/papers/Qian_Understanding_3D_Object_Articulation_in_Internet_Videos_CVPR_2022_paper.pdf
TRUMANS: https://jnnan.github.io/trumans/
LINGO: https://pku.ai/publication/hoi2024siggraphasia/
CHOIS: https://lijiaman.github.io/projects/chois/
ZeroHSI: https://awfuact.github.io/zerohsi/
InterMimic: https://arxiv.org/abs/2502.20390 and https://github.com/Sirui-Xu/InterMimic
ResMimic: https://resmimic.github.io/ and https://arxiv.org/abs/2510.05070
InterPhys: https://arxiv.org/abs/2605.01036
InterDiff: https://arxiv.org/abs/2308.16905
Hand-ArtHOI reconstruction: https://arxiv.org/abs/2603.25791 and https://arthoi-reconstruction.github.io/
D-Grasp / RaiSim evidence: https://www.researchgate.net/publication/356817221_D-Grasp_Physically_Plausible_Dynamic_Grasp_Synthesis_for_Hand-Object_Interactions
ArtiGrasp / RaiSim evidence: https://www.researchgate.net/publication/373754156_ArtiGrasp_Physically_Plausible_Synthesis_of_Bi-Manual_Dexterous_Grasping_and_Articulation and arXiv 2309.03891
SynHLMA / HAOI-Lang / RaiSim evidence: https://openreview.net/pdf?id=EzJowEZ1UJ

1. ArtHOI baseline 版本问题¶

当前公开证据不支持 “ArtHOI 早期 arXiv 版本对比 D3D-HOI 和 3DHOI，后来改成 3DADN” 这个说法。

我查到的 ArtHOI arXiv 2603.04338 只有一个公开版本，提交日期是 2026-03-04，没有可见的 arXiv v2/v3 历史。因此从 arXiv 版本历史上看不到 baseline 被替换的证据。

更早的 OpenReview withdrawn ICLR 2026 submission 标题为 “Articulated Human-Object Interaction Synthesis via Dynamics Distillation”，页面显示 posted 2025-09-02，modified 2025-11-13。这个 OpenReview PDF 中的 articulated object dynamics baseline 已经是 D3D-HOI 和 3DADN。对 PDF 文本检索没有发现把 3DHOI 作为 ArtHOI baseline 的明确描述。

更合理的解释是：这里有三个名字容易混淆。

D3D-HOI: “Learning 3D Dynamic Human-Object Interactions from Video”，也是 ArtHOI 当前表格中的 baseline。
3DHOI: “Articulated 3D Human-Object Interactions from RGB Videos”，3DV 2022 benchmark / dataset / wrapper 项目。其项目页提到集成了 D3DHOI, 3DADN, LASR, ViSER, Ditto 等 baseline。
3DADN: “Understanding 3D Object Articulation in Internet Videos” 中的 3D Articulation Detection Network，也是 ArtHOI 当前表格中出现的 baseline。

因此我的判断是：目前更像是记忆把 3DHOI benchmark 和其中的 3DADN baseline 混在了一起，而不是 ArtHOI 公开 arXiv 版本发生了 baseline 替换。

需要谨慎表述：

We checked the public arXiv record and the earlier OpenReview submission. The public versions we found use D3D-HOI and 3DADN for articulated-object dynamics; we did not find a public ArtHOI version that reports a separate 3DHOI baseline. 3DHOI appears to refer to the 3DV 2022 benchmark/wrapper that includes multiple methods such as D3D-HOI and 3DADN.

仍需补证据：

用 OpenReview API 拉取全部 revision/attachment diff，而不是只看当前公开 PDF。
检查 ArtHOI GitHub early commits、project page archive 或 Wayback 记录。
如果能拿到作者早期 PDF，需要直接 diff table caption、baseline name 和 appendix。

2. ArtHOI dataset / ArtGS / D3D-HOI 对比策略¶

ArtHOI 的 articulated object dynamics evaluation 看起来不是在完整 D3D-HOI 上跑的。

ArtHOI OpenReview PDF 明确说 articulated object dynamics 使用的是 “single-view videos rendered from scenes in the ArtGS dataset with ground truth annotations”。它的 interaction quality evaluation 又是按 ZeroHSI 设置，在 Replica/Replica-style scenes、XHumans human motions、Trellis-generated objects 上做评测。这和 D3D-HOI real monocular video benchmark 是两个不同设置。

ArtGS 也不是 D3D-HOI。ArtGS / ArticulatedGS 论文中列出的数据构成包括：

PARIS benchmark: 10 个 synthetic PartNet-Mobility articulated objects，加 2 个 real-world articulated objects。
DTA-Multi: 2 个 synthetic PartNet-Mobility multi-part articulated objects。
ArtGS-Multi: 5 个复杂 PartNet-Mobility objects，包含 3 到 6 个 movable parts。

D3D-HOI 官方 GitHub 和论文中则是 8 类、256 videos 的 monocular HOI dataset。用户记忆里的 239 很可能是某个过滤后的 valid subset；当前仓库 evaluation script 又出现 full270 命名，说明本地 manifest 还需要进一步核对。无论具体是 239、256 还是本地 270 entries，ArtHOI 的 ArtGS table 都不是完整 D3D-HOI table。

建议的对比策略：

主表放 full D3D-HOI 或本地 verified valid D3D-HOI subset。这里比较我们、D3D-HOI、3DHOI benchmark wrappers、可运行的 object-only 3DADN、CAD fitting / track refine variants 等输入假设匹配的 baseline。
增加一个 ArtGS / ArtHOI-compatible subset table。如果 ArtGS assets、3DGS scenes 或 ArtHOI demo scenes 可用，就在同一 ArtGS-rendered setting 下跑我们方法或做最接近的输入转换。该表的定位是 “articulated object dynamics on rendered 3DGS assets”，不是 full D3D-HOI。
不建议承诺直接在 full 239/256 D3D-HOI videos 上跑 ArtHOI。原因不是逃避比较，而是 ArtHOI 的 dynamics pipeline 依赖 3DGS object/scene representation 和对应初始化；D3D-HOI benchmark 没有提供这些 per-video 3DGS assets。强行转换会引入额外 asset reconstruction pipeline，改变 ArtHOI 的输入假设、失败模式和公平性。

Reviewer-facing 解释可以写成：

ArtHOI evaluates articulated dynamics on single-view videos rendered from ArtGS 3DGS assets, while full D3D-HOI contains real monocular HOI videos without the required 3DGS object/scene assets. Running ArtHOI directly on all D3D-HOI cases would require an additional asset-conversion pipeline that is not part of ArtHOI and would change the input assumptions. We therefore report a matched ArtGS/ArtHOI-style subset when possible and use full D3D-HOI for methods whose inputs match that benchmark.

3. Replica / TRUMANS / LINGO / CHOIS / ZeroHSI 是否需要比较¶

结论：它们不应该作为我们 D3D-HOI articulated reconstruction 主表的 baseline；但如果论文里有 Replica / Infinigen 场景下的 interaction synthesis、human-scene interaction 或 generated video quality claim，就应该在那个任务设置下比较。

ArtHOI 自己也把 baseline 分开了：

articulated object dynamics: D3D-HOI 和 3DADN
interaction quality / synthesis: TRUMANS, LINGO, CHOIS, ZeroHSI

这说明这些方法的任务定义不同。我们应该遵循这个拆分，否则会把 “重建/物理 refinement” 和 “生成/合成” 混成一个不公平表格。

各 baseline 的适配差异：

TRUMANS: 面向 human-scene interaction motion generation / full-body human motion，重点是 scene interaction 和 motion quality，不输出 D3D-HOI 风格的 articulated object state、joint axis、joint qpos trajectory。
LINGO: 语言驱动的 human-scene interaction generation，适合 text-conditioned scene interaction setting；不直接解 monocular video articulated object reconstruction。
CHOIS: 面向可控 human-object interaction synthesis，通常更偏 object trajectory / human motion generation，而不是从 real video 中重建 articulated CAD/object joint。
ZeroHSI: zero-shot human-scene interaction synthesis，适合 Replica/scene-level interaction quality comparison；不是 D3D-HOI reconstruction baseline。

如果需要比较：

任务：Replica / Infinigen scene 中的人体-场景/人体-物体 interaction synthesis 或 video prior guided synthesis。
数据：Replica/Replica-style scene、Infinigen scene，或和 ArtHOI/ZeroHSI 设置对齐的 XHumans + generated object/scene。
指标：human-scene penetration、contact precision/recall、motion naturalness、path goal success、object-scene collision、rendering perceptual quality、user study preference。

如果不比较：

理由：这些方法不输出我们主任务需要的 articulated object reconstruction + physical refinement 状态，不能计算 D3D-HOI object pose、joint qpos、part alignment 和 physics rollout metrics。我们会在相关工作中讨论，并在 synthesis/generalization setting 中提供可比实验或 qualitative comparison。

4. D3D-HOI / Infinigen / Replica 应评测哪些指标¶

4.1 Reconstruction / alignment 指标¶

适用于 D3D-HOI、ArtGS subset，以及有 GT 或 pseudo-GT 的 Infinigen/Replica：

2D silhouette / mask IoU: human mask、object mask、part mask。
2D reprojection error: human keypoints、object keypoints、part anchors、joint endpoints。
depth alignment: rendered depth vs observed/estimated depth 的 L1、scale-invariant depth error、foreground depth consistency。
3D pose error: object rotation/translation error、camera-relative CAD pose error、scale error。
mesh / point alignment: Chamfer distance、F-score、part Chamfer、surface-to-depth distance。
temporal alignment: object trajectory smoothness、human-object relative pose consistency、frame-to-frame jitter。
initialization / tracking success rate: pipeline 是否产生有效轨迹、是否通过 mask/depth/contact gates。

4.2 Articulation 指标¶

joint type accuracy: revolute/prismatic/fixed。
joint axis angular error。
joint origin / pivot error。
joint qpos RMSE / MAE。
qpos velocity / acceleration / jerk。
joint limit violation count / magnitude。
part pose error: articulated part rotation/translation error。
part mask IoU / part depth error。
articulation range coverage: 是否恢复真实开合范围。
invalid articulation rate: 反向开合、穿透、超过机械限制、静止但预测运动等。

4.3 Physical plausibility 指标¶

仓库 physics refinement 应重点报告这些：

human-object penetration depth / volume / percentage。
object-scene penetration and support-plane violation。
contact precision / recall / F1: predicted contact vs observed or inferred contact。
sustained contact success: 接触是否持续到需要的时段。
hand-object distance at contact windows。
contact force gate pass rate、wrong-contact rate、missing-contact rate。
object stability: object drift、falling、unphysical spin、support loss。
articulation stability: joint limit violation、joint explosion、uncontrolled qpos drift。
dynamic smoothness: acceleration/jerk、root residual norm、object qpos residual。
physics rollout success rate: simulator rollout 能否完成、不发散、不超限、不严重穿透。

4.4 Human motion / contact / interaction 指标¶

MPJPE、PA-MPJPE、root translation/orientation error。
foot skating、foot penetration、ground contact consistency。
human-object contact timing error。
hand-object minimum distance and contact duration。
interaction success rate: 开门/抽屉/柜子等 articulation 是否达到目标。
affordance consistency: 接触点是否在 handle、door edge、drawer front 等合理区域。
human-scene collision / body penetration。
motion naturalness: acceleration/jerk、pose prior likelihood、motion prior score。

4.5 Video / rendering / perceptual 指标¶

有 GT video 时：

PSNR / SSIM / LPIPS。
foreground LPIPS / mask-weighted LPIPS。
depth/video temporal consistency。
optical-flow consistency。
FVD 或其他 video distribution metric，前提是有足够样本规模。

没有 GT 或偏 generation 时：

CLIP / text-image alignment，若任务包含 text prompt。
human preference / realism score。
contact realism preference。
task success preference。
qualitative failure taxonomy。

4.6 是否需要 user study¶

对于 D3D-HOI reconstruction 主表，不建议把 user study 作为核心证据，因为有明确几何、关节、接触、物理指标。User study 可以作为补充图表。

对于 Replica/Infinigen/ArtHOI-style synthesis setting，user study 更有必要，因为：

场景通常没有完整 GT articulated state。
synthesis quality、interaction naturalness、contact plausibility 不完全由单个自动指标覆盖。
reviewer 可能会质疑 “看起来更自然” 这类 claim。

5. 3DADN baseline 可行性¶

3DADN 相关，但不一定是必须跑 full pipeline 的主 baseline。

3DADN 做的是从 RGB image/video 中理解 3D object articulation，核心输出是 articulated plane、axis、articulation parameters 等。它是 object articulation baseline，不是 full-body HOI reconstruction baseline。它不输出人体运动、human-object contact、physics rollout，也不直接产出我们 pipeline 里的 articulated CAD state + SMPL/SMPL-X + simulator state。

为什么仍然值得尝试：

ArtHOI 当前公开表格把 3DADN 作为 articulated dynamics baseline。
3DHOI benchmark 项目页也把 3DADN 作为 baseline wrapper 之一。
对 reviewer 来说，3DADN 是 “articulation from video/image” 方向的代表方法。

复现成本和风险：

官方代码是 JasonQSY/Articulation3D，依赖较老的 PyTorch、Detectron2、PyTorch3D、articulation dataset 格式。
模型主要面向 planar articulation / internet videos，和 D3D-HOI CAD category、joint tree、part mesh 不完全匹配。
输出格式需要转换成 D3D-HOI / 我们 pipeline 的 joint axis、qpos、part pose 或 part mask metrics。
若没有 3DHOI benchmark baselines/ wrapper，本地从零搭环境和转换会有明显时间风险。

与 D3D-HOI 的兼容性：

可以在 object-only 子任务上兼容：给定 D3D-HOI frame/video，评估 articulation axis、joint motion、part mask/pose、object-side IoU。
不能直接兼容 full HOI pipeline：没有人体、接触、物理 refinement、sim rollout 输出。

建议：

P1 优先级尝试跑。先定位 3DHOI benchmark repo 或 baselines/3DADN wrapper；如果找不到，再尝试官方 Articulation3D。
如果 1-2 天内能跑通 inference 和输出转换，就放进 main reconstruction table 的 object-articulation 子列或 supplementary table。
如果跑不通，不要硬塞 full table。采用 ArtHOI/3DHOI published number + object-only qualitative comparison + failure/compatibility explanation。

Reviewer-facing 解释：

3DADN targets object articulation estimation and does not output the human motion, contact state, or simulator-ready articulated HOI state required by our full metric suite. We include it on the compatible object-articulation subset when its outputs can be converted, and otherwise cite its reported numbers under the original setting.

我们的方法包含 recon 后的 physics refinement，因此主表必须拆出 internal controlled baselines。外部 physics work 需要谨慎：多数不是从 monocular articulated HOI reconstruction 输入开始，也不输出同一格式。

6.1 必须比较的 internal baselines¶

这些最能支撑 “physics refinement 真的有贡献”：

Recon only: 只用 reconstruction 结果，不进 simulator。
Kinematic replay: 把 recon trajectory 直接 replay 到 simulator，不优化 control / residual / contact。
Tracking-only mimic: 只追踪 human/object reference，不加 contact reward 或物理约束。
No contact reward: 去掉 contact / sustained contact / force gate 相关 reward。
No object articulation reward: 只追 object rigid pose，不追 articulated joint qpos。
No joint limit / weaker joint limit: 检验 mechanical constraint 的贡献。
No stability / support reward: 去掉 support、upright、object stability 相关项。
No residual：用 PHC-X tracking 对照 residual policy。
Restricted-body vs full-body residual：使用当前两份 ours 配置。
Bad/noisy initialization: 用不同 recon quality 初始化，测 physics 成功率下降。

6.2 外部 baseline 的定位¶

InterMimic: full-body human-object interaction imitation。相关性高，但主要是 imitation/control，不一定处理 articulated object joint 和 D3D-HOI reconstruction noise。若代码/输入可转换，可作为 physics table P1 baseline；否则 related work + qualitative。
ResMimic: residual imitation / physically plausible interaction direction。和我们 physics refinement 目标相近，但需要确认是否支持 articulated objects、输入 reference 格式、对象动力学。可作为 P1/P2。
InterPhys: human-object interaction physics direction。需要查代码可用性和是否支持 articulated object；如果没有 code 或输入不兼容，放 related work。
CoDA-PhysicalArtiObj：作者后续已提供 PhysHOI-based articulated task/trainer，当前 P0 是严格复现该实现并接入本项目 Recon；不再自行实现 PhysHOI-articulated-minimal。
PhysHOI official：只保留 rigid native smoke 与方法 ancestry，不进入 articulated 主表。
InterDiff: interaction diffusion/generation，不是 reconstruction-to-physics refinement baseline。适合 Replica/interaction synthesis comparison 或 related work。

6.3 Hand articulated-object / RaiSim 相关工作¶

用户提到的 “radisim” 很可能是 RaiSim。这里最相关的是：

D-Grasp: dynamic hand-object grasp synthesis in RaiSim，偏 dexterous hand grasp，主要不是 articulated object full-body HOI。
ArtiGrasp: bi-manual dexterous grasping and articulation，使用 RaiSim，处理 ARCTIC-style articulated objects。它最符合 “hand articulated object + RaiSim” 的记忆。
SynHLMA / HAOI-Lang: language-conditioned hand articulated-object manipulation，包含 RaiSim/ShadowHand transfer 线索。
Hand-ArtHOI 2026: monocular 4D hand articulated-object reconstruction，和 ArtHOI 名字接近但不是 full-body ArtHOI，也不是 RaiSim baseline。它对 hand articulated reconstruction framing 很有用。

这些不适合放进 full-body D3D-HOI physics main table，因为输入、机器人/手模型、输出状态都不同。可以作为 related work，或在 hand-only supplementary qualitative 中比较。

6.4 Physics metrics¶

Physics table 应至少报告：

rollout success rate。
contact success / sustained contact / missing contact / wrong contact。
penetration depth/volume: human-object、object-scene、human-scene。
joint qpos RMSE、joint limit violation。
object pose RMSE、object drift、stability failure。
support-plane violation、fall/slip rate。
human tracking MPJPE/root error。
residual norm / action energy / acceleration / jerk。
task success: door/drawer/lid opening amount、target qpos reached。

7. Ablation study 设计¶

当前 pipeline 的 ablation 应覆盖 recon、recon-to-physics coupling 和 physics refinement 三层。

7.1 Recon 阶段 ablation¶

P0 必做：

No HOI align: 关闭或跳过 hoi_align，直接用前序 track/recon。
HOI align stage ablation: 去掉某些 staged loss 或缩短 stage。
No contact loss: 去掉 human-object contact / grasp contact。
No local contact region: 去掉 object-local contact region 或 handle/contact prior。
No mask loss / predicted mask vs GT mask: 检查 silhouette 对 object pose 和 qpos 的影响。
No depth loss: 检查 depth 对 scale、z translation、penetration 的影响。
No support plane: 去掉 support-plane/upright/ground 约束。
No joint limit: 去掉 qpos limit / articulation range 约束。
No smoothness: 去掉 object/human trajectory smoothness、velocity/acceleration/jerk。
No track refine: 只用原始 object/human track，不做 refine。
No joint search: 固定初始 joint，不搜索 joint axis/pivot。
Freeze global object pose: 只优化 articulation 或只优化 human-object relative alignment。

P1 视时间做：

GT mask vs SAM/estimated mask。
GT depth vs monocular depth。
CAD init noise sweep。
contact threshold sweep。
joint search candidate count sweep。
loss weight sweep: mask/depth/contact/support/smoothness。

预期趋势：

HOI align、mask、depth 对 object pose、scale、occlusion frame 稳定性影响最大。
contact/local contact 对 hand-object distance、physics contact success 影响最大。
joint limit/joint search 对 qpos error、part motion和物理稳定性影响最大。
smoothness 对 jitter、physics rollout explosion、unphysical acceleration 影响明显。

风险：

某些 ablation 会导致完全无法初始化，需要报告 failure rate，而不是只在成功样本上算均值。
GT mask/depth ablation 需要明确不是主设置，只是 upper-bound 或 sensitivity study。

7.2 Recon 对 physics 成功率的影响¶

这是本文必须强调的连接实验。

设计：

选择相同 D3D-HOI cases。
用不同 recon variants 产生 physics initialization。
保持 physics config 固定。
记录每个 recon variant 的 physics rollout success、contact success、joint violation、penetration、object drift。

推荐分组：

Full recon。
No HOI align。
No contact。
No depth。
No joint limit。
No smoothness。
No joint search。
No track refine。

核心结论应是：reconstruction quality 不仅影响几何误差，也显著影响 physics refinement 是否能收敛和是否产生稳定 interaction。