跳转至

数据集与实验范围

正文以 D3D-HOI 为主。ARCTIC 是优先 Physics controller control,ParaHome 通过输入对应 gate 后再补充;VideoGen generated video 主要放在附录, 并按 Infinigen / PartNet-Mobility asset source 分层。 不同数据集回答的问题不同,不把它们的指标混在一起平均。

各数据集的作用

数据 输入方式 回答的问题 论文位置
D3D-HOI 真实 RGB 视频 重建是否准确;完整 Video-to-Physics 流程是否有效 正文主实验
ARCTIC RGB 真实 RGB 视频 在第二个数据集上,手、物体和关节重建是否准确 条件具备时加入 Table 1
ARCTIC 标注 人体和物体的采集标注 绕过 Recon 后,Physics 方法本身是否有效 Table 3
ParaHome 标注 人体和物体的采集标注 Physics 方法能否适用于更多物体和真实场景 可选;过 gate 后进入 Table 3,否则附录或删除
VideoGen / Infinigen assets 生成视频 完整流程能否处理更多场景和物体 附录
VideoGen / PartNet-Mobility assets 生成视频 完整流程能否处理更多关节物体 附录

3DADN、D3D-HOI、ArcticNet-SF 和 HOPformer 是比较方法,不是新的数据集。PhysicalArtiObj 是 CoDA 代码库,也不是数据集。

正文保留条件

  • D3D-HOI:始终保留,是 Reconstruction 和完整流程的核心数据。
  • ARCTIC RGB:Ours、ArcticNet-SF 和 HOPformer 必须使用相同视角、数据划分和官方评测程序;否则整组移到附录或删除。
  • ARCTIC 标注:人体、物体、关节角度和接触信息都能转换为 Physics 输入后才填写结果。
  • ParaHome:只使用人体、扫描物体、URDF 关节和接触信息能够正确对应的样本。
  • 生成视频:只有生成过程提供逐帧参考时才报告重建误差;否则只报告运行成功率和下游 Physics 结果。

不在本轮主实验中的数据

Hoi!、HOI4D、RBO、iTACO、Replica 和 CHAIRS 与当前输入或输出不完全一致,本轮不做正式比较。 ArtHOI、Hand-ArtHOI 和 GRAIL 继续保留在 Related Work;只有输入、输出和评测方式能够公平对应时, 才考虑加入附录。

具体样本数量、处理顺序和删减顺序见 28 天实验计划。各方法的选择理由见 Reconstruction 比较方法Physics 比较方法