Reconstruction¶
给定视频 \(V=\{I_t\}_{t=1}^{T}\) 与 articulated asset \(\mathcal A\),重建的目标不是单帧姿态,而是可供 downstream physics 使用的时序 reference:
设计重点¶
| 成分 | 作用 | 失败会怎样传递到 Physics |
|---|---|---|
| Human world trajectory | 保持全身 reference 与地面语义 | 手无法到达 handle,或 root 高度导致跌倒 |
| Object root | 约束 asset 与 scene 的共同坐标 | 接触区域整体错位 |
| Articulation \(q\) | 描述 moving link 的 noisy motion observation | policy 追逐错误开合状态 |
| Contact region / intended hand(独立 preprocess side input) | 给出弱的交互线索;必须记录 GT/人工/VLM provenance | 错手、错 link 或持续接触失败 |
默认 pipeline 先稳定 object/articulation 与 human world frame,再进行 HOI alignment。 contact-intent preprocess 不是只把手拉近物体:它同时需要 preservation、visibility 和 penetration gate,避免以破坏 object trajectory 换取局部距离下降。该 label 可以被 Recon optimization 消费,但不因此变成 Recon 预测输出。
输出边界¶
Recon 输出的是观测。它可以有噪声,也允许 policy 通过动力学和 reward 容忍噪声;它不负责决定 simulator 的真实 reset state。\(q_0\) 来自 case inventory,而不是 \(\widehat q_0\)。Recon 组件不能只凭本阶段误差决定是否有效:正式 ablation 对每个 claim-bearing component 同时报告 direct metric 与固定 Physics protocol 下的 execution outcome。这里固定算法、预算和 checkpoint-selection rule;若 reference 参与 Physics training,不强求不同 Recon variant 共用同一组权重。
算法结构见历史 Reconstruction Architecture;具体运行与 review 见 Pipeline 与 HOI Alignment Guide。实验表和 metric 定义见 Reconstruction Experiments。