Datasets & Benchmarks¶
结论：正式输入只有三类：real-capture video、VideoGen video、Physics-only reference/motion。D3D-HOI 和 ARCTIC RGB 属于第一类；VideoGen 使用 Infinigen 与 PartNet articulated assets 生成第二类；ARCTIC raw/GT-like 和 ParaHome motion 属于第三类。GT 强弱、controlled corruption 和 asset source 是属性，不是额外数据类别。
本页维护数据、资产和 method-derived task corpus 的完整 inventory，以及它们在论文中能提供的证据。方法是否可比较见 Related Work；split、budget、metrics 和具体 protocol 见 Experiments。
资源地图¶
不能把所有资源都列为普通 video dataset。这里按原始来源区分；同一底层数据被方法复用时只统计一次。
| 类型 | 资源 | 提供内容 | 本项目用途 |
|---|---|---|---|
| Real-capture video / motion | D3D-HOI、ARCTIC、ParaHome、GRAB、Hoi! 等 | RGB 或 motion，human/object trajectory，部分含 contact、force 或 tactile signal | real-video Recon；或跳过 Recon 的 Physics-only reference |
| Generated video observation | VideoGen outputs | 从 object reference image、动作文本等生成的 HOI video | generated-video Recon / Full pipeline；按 asset source 分层 |
| Articulated asset source | Infinigen、PartNet-Mobility、AKB-48、GAPartNet、ArtVIP | mesh、URDF/mobility、joint semantics、actionable part / handle annotation | VideoGen object input、asset loader、contact-region mapping、运动学覆盖 |
| Method-derived task corpus | InterAct、DragMesh、DragMesh-2、ArtiGrasp | 在已有 asset/motion 上统一/修正或生成 part motion、hand trajectory、pre-grasp 或 target-articulation task | 方法特定的 Recon / Physics 子任务，不计为独立 video dataset |
Infinigen articulated assets ─┐
├─→ VideoGen → generated HOI video
PartNet-Mobility assets ──────┘
PartNet-Mobility + AKB-48
→ GAPartNet
→ DragMesh：object-only articulation generation
→ DragMesh-2：hand-driven contact Physics
ArtVIP
→ high-fidelity articulated USD assets + calibrated dynamics
ARCTIC / GRAB / OMOMO / ParaHome …
→ InterAct：统一表示、接触修正与 HOI motion corpus
ARCTIC
→ ArtiGrasp：bimanual grasping + articulation task
GAPartNet 不能与 PartNet-Mobility 合并记录。它在 PartNet-Mobility 与 AKB-48 资产上统一了 GAPart 标注，包含 1,166 个 objects、27 个 categories、8,489 个 actionable part instances 和 9 类 GAPart。DragMesh 以 GAPartNet 为 articulated training asset source；DragMesh-2 在此基础上构造 277 条 heuristic interaction trajectories，并在 7 个 GAPartNet objects 上评测。ArtiGrasp 使用 ARCTIC 的 object/hand reference 构造抓取与 articulation task，并非新的独立资产数据集。
视频与 motion 数据集¶
不同数据集的 case 单位不同：D3D-HOI 是单目视频，ARCTIC 是多视角同步 motion sequence，ParaHome 是长时 capture。因此表中同时记录 object、sequence/capture 和本地可用状态，而不把 frame 数误当作 interaction diversity。
| 数据集 | 公开规模 | 当前项目状态（2026-08-13；formal manifest 尚未冻结） | 能提供的证据 | 论文角色 |
|---|---|---|---|---|
| D3D-HOI | 24 CAD models，8 categories，256 monocular videos，6,286 annotated frames（3 FPS） | preprocess 文档记录 256 candidates；exact eligible/split/CAD-cluster/contact denominator 与 official baseline revision 未冻结 | 真实 fixed-base household Video→Recon→Physics 闭环 | 主 benchmark |
| ARCTIC | 11 articulated objects（每类一个实例），339 motion sequences，10 subjects，9 views / 2.1M images | target 有 motion/geometry 资产；RGB/view/frame、bridge 与 official baselines 未形成 formal manifest | optional official two-hands、object root、q、contact/motion；同序列 GT/Recon bridge | time-gated supplement；不阻塞 D3D |
| ParaHome | 22 scanned objects；207 captures；38 subjects；486 minutes | 只读参考可调研；target asset/contact/support contract 未冻结 | 多物体真实 room、revolute/prismatic Physics 泛化 | supplementary |
| Hoi! | 3,048 sequences；381 articulated objects；38 environments；human hand / wrist camera / gripper 的跨 embodiment recording | 未下载；尚无 adapter | 对齐的 RGB、force 与 tactile articulated manipulation，可检验 contact/force 表达 | hand/contact supplementary |
| VideoGen-generated | 无固定上限，规模由生成 manifest 定义 | 有候选配置/历史视频；Infinigen+PartNet 双 source formal video manifest 与 per-frame reference availability 未冻结 | generated-video Recon/Full pipeline；按 Infinigen/PartNet asset source 分层 | controlled/generated-video scaling |
ARCTIC 的 frame 数很大，但 asset diversity 只有 11；D3D-HOI 的完整标注帧数较少，却覆盖 8 类、24 个 CAD 与 256 条真实视频。VideoGen 必须以冻结 manifest 报告 generated case 数，并分别列出 Infinigen 与 PartNet asset coverage，不能用“可无限生成”代替实验规模。
ARCTIC 的 GT mesh provenance 也要区分：人体 canonical shape 来自 3dMD scan 后注册的 personalized SMPL-X，并由 Vicon markers + MoSh++/SMPL-X fitting 恢复逐帧表面；物体由 Artec 3D 扫描后在 Blender 拆成两个 articulated parts，再用 base 6D pose + 1D articulation 驱动。它是 capture/fit GT，不是 ArcticNet/HOPformer 从测试图像获得的额外输入；正式表必须披露 object-template 权限。
数据内容与可执行性¶
本地直接表示当前 checkout 有数据和入口。thin adapter只做 data / asset translation，不得顺便改变 policy、reward 或 trainer。
| 数据集 | RGB / motion 输入 | 全身 reference | Articulated object 信息 | Recon | Physics | 当前边界 |
|---|---|---|---|---|---|---|
| D3D-HOI | monocular RGB | 无全身 GT | matching parametric asset、object pose、part motion | 主项 | fixed-base Recon→Physics | 不报告它没有的 full-body/contact-GT metric |
| ARCTIC | calibrated RGB videos | SMPL-X annotation + two MANO hands；official Recon panel 以 hands 为准 | root、\(q\)、mesh；contact/support annotation | official hands+object bridge；full-body 另行验证 | GT-like captured reference + matched Studio bridge after freeze | RGB/view 未 formal-ready 时不能写 Recon result；PhysicalArtiObj 不是 dataset |
| ParaHome | capture 系统有 RGB；公开 sequence release 无 raw RGB | released SMPL-X body/hands | root transform、revolute/prismatic \(q\)、scanned object；contact/asset convention require review | 不进入主 Recon | optional reference | 需 explicit map/beta/contact；不与 D3D/ARCTIC input 混平均 |
| VideoGen（Infinigen/PartNet source） | generated RGB video | 只包含 pipeline 明确导出的 reference；不自动拥有 full-human/contact GT | source asset 的 URDF/mobility metadata | generated-video Recon | Recon→Physics / controlled protocol | asset metadata 不得写成 video GT；不单独支撑真实泛化 |
| BEHAVE / InterCap | RGB-D | full body + object/contact | rigid root only | rigid \(K=0\) control | rigid control | 不进入 articulated ranking |
| OMOMO / GRAB | 无适用 video input | full-body motion/contact | rigid object | no | native/control reference | 只作 native InterMimic / rigid sanity |
| HOI4D、ArtHOI-RGBD、ArtHOI-Wild、RBO、iTACO | RGB/RGB-D | hand-only 或无可比 full body | object/part 标注不一 | hand / object subtable | no full-body passive claim | 只回答 hand/object reconstruction 子问题 |
| HUMOTO public subset | 非本项目 RGB benchmark | Mixamo，不是 SMPL-X | 63 objects、72 articulated parts | no | deferred | 公开 70 条需 Mixamo→SMPL-X retarget；当前 converter 是 stub |
资产与任务数据¶
| Resource | 资源类型与内容 | 该进入哪里 | 不应被写成什么 |
|---|---|---|---|
| PartNet-Mobility / AKB-48 | source geometry、URDF / mobility | GAPartNet lineage、asset stress test | human-video benchmark |
| GAPartNet | 1,166 objects、27 categories、URDF / joint semantics、9 类 actionable-part annotation | asset / part stress test；DragMesh 与 DragMesh-2 asset source | PartNet-Mobility 的同义词 |
| ArtVIP | digital-twin articulated USD assets、室内 scenes、标定 dynamics、模块化 interaction 与 pixel-level affordance | 物理资产质量/仿真到真实的外部参考；后续可作为 asset stress-test 候选 | human-video dataset，或可直接替代 D3D-HOI / ARCTIC 的 matched benchmark |
| GAPartManip | material-randomized articulated assets、part-oriented actionable interaction poses | 可选 robot-manipulation asset/task diagnostic | human HOI 或 full-body Physics benchmark |
| InterAct | 汇集并标准化多来源 3D HOI motion、文本与 contact-aware correction | 可作为 rigid HOI motion prior / data-quality reference；不替代 matched articulated benchmark | 独立原始 video/asset dataset，或 passive-articulation controller evidence |
| DragMesh | GAPartNet 上的 mesh part articulation generation | object-articulation / interactive drag reference | contact-driven human tracking policy |
| DragMesh-2 | GAPartNet 上 hand-driven passive articulation；Isaac Gym hand task | articulated loading、\(q\)/\(\dot q\)、handle/contact reward 的方法参考 | full-body tracking baseline |
| ArtiGrasp | ARCTIC-derived bimanual grasp + articulation task | grasp→articulate curriculum 的方法参考 | 独立 video/asset dataset 或 Isaac full-body baseline |
| HAOI-Lang / SynHLMA | PartNet-Mobility 上以物理交互生成的 language–hand–articulation sequence | language-conditioned hand articulation generation 与 hand-to-robot transfer 的相邻任务 | 可替代的 full-body video/physics benchmark |
论文角色¶
D3D-HOI 是 real-video core；ARCTIC RGB 是 optional Recon supplement；VideoGen 是 supporting input；ARCTIC captured reference 与 ParaHome 用于 Physics。实验规模、gates 和空表不在本页重复，见 Multi-dataset benchmark review 与 Paper tables。
边界¶
- ParaHome 的公开 sequence release 没有可直接送入当前 Recon 的 raw RGB；只有主闭环完成后才值得为它写 adapter。
- 完整 mesh 与 kinematics 不等于 mass、friction、collision 等真实 dynamics GT；这仍需在 simulator 中披露。
- CHAIRS 保留为 full-body articulated reconstruction 的 related work，不下载、不写 adapter、不进入排名。其 chair/sofa/stool/bench 为主的坐、靠、旋转、移动任务，与 hand-driven open/close/pull household articulation 不匹配，且没有现成 simulator dynamics contract。
来源¶
D3D-HOI · ARCTIC · ParaHome · Hoi! · GAPartNet · ArtVIP · DragMesh · DragMesh-2 · ArtiGrasp · SynHLMA · CHAIRS · HOI4D · BEHAVE · HUMOTO