跳转至

Reconstruction 评测指标

不同数据集使用各自的官方指标。D3D-HOI 评估物体和关节运动;ARCTIC 评估双手、物体和交互一致性。

D3D-HOI

指标 含义 单位
Orientation Error 预测物体方向与标注方向的差异 degree
Location Error 预测物体位置与标注位置的距离 cm
Dimension Error 预测物体尺寸与标注尺寸的差异 cm
Revolute Motion Error 转动关节运动误差 degree
Prismatic Motion Error 移动关节运动误差 cm

239 个 revolute 样本和 17 个 prismatic 样本分开报告关节误差。Mask IoU、接触距离和时间平滑性可以用于 分析失败,但不代替上述重建准确率。

3DADN 只填写它实际支持的 revolute 指标,而且必须先取得逐视频预测并按正文帧集合重评。3DHOI 的 3DADN adaptation 使用 GT motion annotation 划分单调片段;其 reported State 又只使用 temporal optimization 实际输出 motion parameters 的帧。所以该数字默认只能放入附录,并同时报告 input privilege 和 video/frame coverage;不能当作这里的全帧 Rev. error。

ARCTIC

指标 含义
MPJPE\(_h\) 手部关节位置误差
MRRPE\(_{r\to l}\) 左右手根节点的相对位置误差
MRRPE\(_{r\to o}\) 手与物体根节点的相对位置误差
AAE 物体关节角度误差
CDev / MDev 接触和相对运动的一致性
[email protected] ARCTIC 官方成功率

ARCTIC 的全身 SMPL-X 指标只能作为附录补充,不能把只输出手部的 ArcticNet 或 HOPformer 填入 全身指标列。

生成视频

只有生成过程提供逐帧人体、物体位姿和关节状态时,才报告对应的重建误差。没有逐帧参考时,只报告成功 处理的样本数、失败类型和下游 Physics 结果。

汇总规则

  • 每个样本只产生一组结果;失败样本不从总数中删除。
  • 连续指标只在真实有效帧上计算,同时报告有效时长和有效帧比例。
  • 同一 CAD 的多个样本在置信区间计算时作为一组处理。
  • 方法不支持的指标写 ,没有完成的实验留空。

所有方法共同遵守的统计规则见 共同评测规则。更详细的公式和文献来源保留在 Reconstruction 指标调研记录,日常实验不需要先阅读该长文档。