实验总览¶
论文实验围绕两阶段流程展开:先从视频重建人体、物体和关节运动,再用 Physics 让人体通过接触驱动被动物体。 本页只说明整体验证思路。具体任务和进度见 28 天实验计划。
论文要回答的四个问题¶
| 问题 | 主要实验 | 对应表格 |
|---|---|---|
| 重建是否更准确? | D3D-HOI 重建;条件具备时增加 ARCTIC RGB | Table 1 |
| 从真实视频开始,完整流程是否有效? | D3D-HOI RGB → Ours Recon → 不同 Physics 方法 | Table 2 |
| 排除重建误差后,Physics 方法本身是否有效? | ARCTIC 标注直接进入 Physics;ParaHome 过 gate 后补充 | Table 3 |
| 改进来自哪些阶段和组件? | w/o HOI Alignment、w/o Physics Grounding 和 Physics 组件消融 | Table 4 |
四张正文表的具体行列见 正文表格设计。
三类实验输入¶
| 输入 | 数据 | 用途 |
|---|---|---|
| 真实视频 | D3D-HOI;可选 ARCTIC RGB | 评估重建和完整 Video-to-Physics 流程 |
| 采集标注 | ARCTIC;可选 ParaHome | 绕过 Recon,单独比较 Physics 方法 |
| 生成视频 | VideoGen outputs(按 Infinigen / PartNet-Mobility asset source 分层) | 检查完整流程能否扩展到更多物体和场景 |
D3D-HOI 是正文主实验。ARCTIC RGB 只有在 Ours、ArcticNet-SF 和 HOPformer 能按同一协议比较时才加入。 Infinigen 和 PartNet-Mobility 是 asset sources,不是独立视频数据集;VideoGen 才是 generated-video pipeline。该 supporting appendix 不影响 D3D-HOI 主线。
当前确定的比较方法¶
| 阶段 | 正文方法 |
|---|---|
| Reconstruction baselines / proposed | D3D-HOI official、3DADN(统一重评后)、Ours;ARCTIC 可选 ArcticNet-SF、HOPformer 与 Ours |
| Reconstruction ablation | Ours w/o HOI Alignment;只在 Table 4 / appendix 与 Ours paired 比较 |
| Physics | CoDA、InterMimic、RePHO、Ours;HDMI 只有按时完成接入后才加入 |
D3D-HOI 作者发布的 256 条优化结果已经具备,不需要重跑。3DADN 目前只有论文 reported numbers; 3DHOI 官方仓库提供 adaptation wrapper 和 pretrained-model 链接,但 target 内逐视频 predictions 尚未找到。 取得预测或完成一次冻结 inference 后才能进入正文。Physics 方法在同一张表中 使用相同输入、物体、训练预算和评测程序。每个预注册 case×seed 只做一次 canonical evaluation,不使用 多次试跑中的最好结果。
从哪里继续¶
| 需要做什么 | 文档 |
|---|---|
| 组会分工和进度同步 | 28 天实验计划 |
| 确认哪些数据进入正文或附录 | 数据集与实验范围 |
| 查看所有方法共同遵守的规则 | 共同评测规则 |
| 查看正文四张表 | 正文表格设计 |
| 运行 Reconstruction 实验 | 实验设置 · 比较方法 · 指标 · 消融 |
| 运行 Physics 实验 | ARCTIC-40 冻结 case set · 实验设置 · 比较方法 · 指标 · 消融 |
已有实验数字统一放在 Results,代码入口和运行说明统一放在 Project Guide。