数据集与实验范围¶
正文以 D3D-HOI 为主。ARCTIC 是优先 Physics controller control,ParaHome 通过输入对应 gate 后再补充;VideoGen generated video 主要放在附录, 并按 Infinigen / PartNet-Mobility asset source 分层。 不同数据集回答的问题不同,不把它们的指标混在一起平均。
各数据集的作用¶
| 数据 | 输入方式 | 回答的问题 | 论文位置 |
|---|---|---|---|
| D3D-HOI | 真实 RGB 视频 | 重建是否准确;完整 Video-to-Physics 流程是否有效 | 正文主实验 |
| ARCTIC RGB | 真实 RGB 视频 | 在第二个数据集上,手、物体和关节重建是否准确 | 条件具备时加入 Table 1 |
| ARCTIC 标注 | 人体和物体的采集标注 | 绕过 Recon 后,Physics 方法本身是否有效 | Table 3 |
| ParaHome 标注 | 人体和物体的采集标注 | Physics 方法能否适用于更多物体和真实场景 | 可选;过 gate 后进入 Table 3,否则附录或删除 |
| VideoGen / Infinigen assets | 生成视频 | 完整流程能否处理更多场景和物体 | 附录 |
| VideoGen / PartNet-Mobility assets | 生成视频 | 完整流程能否处理更多关节物体 | 附录 |
3DADN、D3D-HOI、ArcticNet-SF 和 HOPformer 是比较方法,不是新的数据集。PhysicalArtiObj 是 CoDA
代码库,也不是数据集。
正文保留条件¶
- D3D-HOI:始终保留,是 Reconstruction 和完整流程的核心数据。
- ARCTIC RGB:Ours、ArcticNet-SF 和 HOPformer 必须使用相同视角、数据划分和官方评测程序;否则整组移到附录或删除。
- ARCTIC 标注:人体、物体、关节角度和接触信息都能转换为 Physics 输入后才填写结果。
- ParaHome:只使用人体、扫描物体、URDF 关节和接触信息能够正确对应的样本。
- 生成视频:只有生成过程提供逐帧参考时才报告重建误差;否则只报告运行成功率和下游 Physics 结果。
不在本轮主实验中的数据¶
Hoi!、HOI4D、RBO、iTACO、Replica 和 CHAIRS 与当前输入或输出不完全一致,本轮不做正式比较。 ArtHOI、Hand-ArtHOI 和 GRAIL 继续保留在 Related Work;只有输入、输出和评测方式能够公平对应时, 才考虑加入附录。
具体样本数量、处理顺序和删减顺序见 28 天实验计划。各方法的选择理由见 Reconstruction 比较方法 和 Physics 比较方法。