Reconstruction 相关工作与比较方法¶
我们的 D3D-HOI 主实验恢复物体根节点方向、位置、尺寸和关节状态。最相关的三项工作容易混淆:
- D3D-HOI 既发布了 256 条视频数据,也提出了一个给定 CAD 的视频优化方法。Official code 链接了作者的
optimized_results.zip;本项目baselines/d3d-hoi/中的 256 个params.npy与 9 个result.txt已逐文件与该官方压缩包校验一致,不是我们的复现。 - 3DHOI 是后续的评测研究,论文同时提出 CubeOPT,并把 D3D-HOI、3DADN 等方法放到 239 条 revolute 视频上比较。它不是 3DADN 的另一个名字。
- 3DADN 是另一种从视频检测可动平面并估计 articulation 的方法。3DHOI 的适配为满足单调运动假设,使用 GT motion annotation 切分 opening/closing 片段,并只在 temporal optimization 选中的帧上给出 motion state。因此该适配既不是完全无 GT 的端到端输入,论文里的
State也不能直接当作我们的全帧关节误差。
推荐的最小 baseline / proposed 集合¶
D3D-HOI 的 external/proposed comparison 先保留三行;消融单独进入 Table 4:
| 方法 | 为什么需要 | 能填哪些 D3D native 指标 | 当前结论 |
|---|---|---|---|
| D3D-HOI official | 与 GT-CAD 输入最匹配的作者基线 | Orient.、Loc.、Dim.、Rev.、Pri. | 必做;作者发布的 256 条结果已在 target |
| 3DADN | 代表不使用 GT CAD 的 learned plane-articulation 方法,但 3DHOI 适配另用 GT motion split | 只填经过统一重评的 Rev.;其他列 – |
计划保留,但逐视频预测尚未找到;不能直接抄 3DHOI 的 reported State |
| Ours | 完整方法 | 全部五项 | 必做 |
如果 3DADN 的逐视频预测无法取得或重新生成,它就从正文移到附录 reported-only;正文不能把不同帧子集、
不同 evaluator 的数字拼进同一列。此时可以把 CubeOPT author-code reproduction 作为附录中的可运行对照,
但必须明确它是我们的复现,而且使用 3DHOI 的 239-video revolute protocol,不冒充作者发布结果。
Ours w/o HOI Align. 是回答机制问题的 paired ablation,不是额外 baseline。它使用与 Ours 相同的输入、
初始化、预算和 evaluator,结果进入 Table 4 与 appendix A3。
D3D-HOI 输入公平性¶
D3D-HOI official 和 Ours 使用 native GT-CAD protocol。Ours w/o HOI Align. 在独立 ablation panel 中沿用 相同协议。3DADN 不使用 GT CAD, 但 3DHOI adaptation 使用 GT motion annotation 切片,而且 motion-state 只有子集帧覆盖。因此它是 adapted partial-output comparison,不是与 D3D-HOI official / Ours matched rows 完全同输入的 full-system ranking。表注必须同时披露 GT-CAD 差异、GT-motion split 和 video/frame coverage。 我们不评估物体 mesh reconstruction,因为 CAD 是给定输入;Object CD 和 Moving-part CD 不进入这张主表。
ARCTIC:可选扩展¶
ARCTIC 是数据集,不是方法。它用 calibrated multi-view capture 和 MoCap/MoSh++ 提供 SMPL-X full-body GT, 同时用 MANO 表示双手,并把官方 articulated object template 按每帧 pose/joint state 放到场景中;因此表里的 GT mesh 来自已知 parametric/template mesh,不是某个 baseline 从单目图像重新扫描出来的 mesh。
- ArcticNet-SF 是 ARCTIC 论文发布的 single-frame hands+object baseline。
- HOPformer 是较新的 hands+object pose transformer,可在相同 ARCTIC protocol 下重评。
- JointTransformer 是 HANDS’2023 ARCTIC Challenge 的 winner baseline,不是一篇需要和 ArcticNet/HOPformer 并列堆入主表的独立论文。HOPformer 论文已直接 与它比较;最小集合优先保留有完整论文与当前官方代码的 HOPformer。
D3D-HOI 只恢复 object pose/scale/articulation,不输出双手,所以可以作为 ARCTIC 的 object-only adapted diagnostic,却不能直接填写 hand MPJPE、CDev 或 MDev,也不能冒充完整 ARCTIC baseline。Ours 同样需要 ARCTIC video/camera/object adapter 和冻结的 MANO↔SMPL-X mapping;这正是 ARCTIC 被设为 optional 的原因。
ARCTIC 不阻塞 D3D-HOI 主线。只有下列方法能在同一 view、split、object-template 权限和官方 evaluator 下 重新评测时,才保留整块表格:
| 方法 | 作用 | 是否必需 |
|---|---|---|
| ArcticNet-SF | ARCTIC 官方单帧基线 | 激活 ARCTIC 时必需 |
| HOPformer | 较新的双手—物体重建方法 | 激活 ARCTIC 时必需 |
| Ours | 完整方法 | 激活 ARCTIC 时必需 |
| ArcticNet-LSTM | 时间模型对照 | 只有论文提出 temporal claim 时加入 |
不同论文、不同 split 的 reported numbers 不能直接拼表。若统一协议无法完成,ARCTIC 整块移到附录或删除。 若 ARCTIC 被激活,其 HOI-alignment ablation 仍在独立 optional ablation manifest 中,不占 baseline rows。
不进入 D3D 主表的方法¶
- CubeOPT:保留为可运行的 author-code reproduction / appendix control;它回答“无 GT CAD 但给定 GT object + moving-part masks 的 cuboid fitting 能做到什么”,但不是 D3D native GT-CAD matched row。
- SAM 3D Body / GVHMR:只提供人体,不是完整 HOI reconstruction。
- ArtHOI、Hand-ArtHOI、GRAIL:输入或输出与本实验不同,保留在 Related Work;只有形成严格重叠协议时再比较。
独立状态表¶
| 方法 / 资产 | 来源与真实状态 | Formal-ready | 下一步 |
|---|---|---|---|
| D3D-HOI official optimized results | 官方 optimized_results.zip(SHA-256 c5ae7e0b4d66c4f64b4c4757c5f5fd0ac0b52b7abb8b8b25f6229b6bd5f500b2);target baselines/d3d-hoi/ 的 256 个 params.npy 和 9 个 result.txt 已逐文件校验;固定 reducer 为 pose/dimension 9-group macro、Rev. 8-group macro、Pri. 17-video mean |
Formal-ready(official row) | python scripts/experiments/aggregate_d3dhoi_author_release.py;证据 output/evidence/d3dhoi_official_recon_aggregate.json。Ours 只有完整 256-case 输出后才可用同一 reducer 填表 |
| D3D-HOI reproduced by us | zhanbaiting 的 one-case/category 与 debug outputs | No;author-fidelity audit only | 不作为第二条 D3D-HOI baseline,不填正文 |
| 3DHOI / CubeOPT reproduced by us | 作者代码 revision 8965204;239 条本地结果位于只读历史 checkout,生成于 2026-04 |
Partial / appendix | 若采用,导入精简的可复核 artifact、冻结 239-video manifest,并按 3DHOI evaluator 重评 |
| 3DADN | 3DHOI wrapper 与作者 pretrained-model 链接存在;本地未找到逐视频 predictions | Missing | 取得作者/3DHOI 预测,或用冻结 checkpoint 做一次 inference;统一重评失败则 reported-only |
| Ours D3D-HOI | target output/runs/d3dhoi_shared_ground_v40_default_hoi_align_s100k_m10k_full20_v001/ 有 20/20 recon/output/result.pt;256 条 formal run 未完成 |
Partial / dev only | 完成 frozen manifest 下的全量运行 |
| Ours w/o HOI Align. | 设计已定义,formal artifacts 缺失 | Missing | 与 Ours 同输入、同预算、同 evaluator 运行 |
| ARCTIC panel | ArcticNet-SF、HOPformer、Ours 的统一 protocol 尚未闭环 | Optional / missing | activation gate 全过才运行,不阻塞 D3D core |
实验设置见 Reconstruction 实验设置,指标见 Reconstruction 指标,论文空表见 正文表格设计。