跳转至

实验总览

论文实验围绕两阶段流程展开:先从视频重建人体、物体和关节运动,再用 Physics 让人体通过接触驱动被动物体。 本页只说明整体验证思路。具体任务和进度见 28 天实验计划

论文要回答的四个问题

问题 主要实验 对应表格
重建是否更准确? D3D-HOI 重建;条件具备时增加 ARCTIC RGB Table 1
从真实视频开始,完整流程是否有效? D3D-HOI RGB → Ours Recon → 不同 Physics 方法 Table 2
排除重建误差后,Physics 方法本身是否有效? ARCTIC 标注直接进入 Physics;ParaHome 过 gate 后补充 Table 3
改进来自哪些阶段和组件? w/o HOI Alignment、w/o Physics Grounding 和 Physics 组件消融 Table 4

四张正文表的具体行列见 正文表格设计

三类实验输入

输入 数据 用途
真实视频 D3D-HOI;可选 ARCTIC RGB 评估重建和完整 Video-to-Physics 流程
采集标注 ARCTIC;可选 ParaHome 绕过 Recon,单独比较 Physics 方法
生成视频 VideoGen outputs(按 Infinigen / PartNet-Mobility asset source 分层) 检查完整流程能否扩展到更多物体和场景

D3D-HOI 是正文主实验。ARCTIC RGB 只有在 Ours、ArcticNet-SF 和 HOPformer 能按同一协议比较时才加入。 Infinigen 和 PartNet-Mobility 是 asset sources,不是独立视频数据集;VideoGen 才是 generated-video pipeline。该 supporting appendix 不影响 D3D-HOI 主线。

当前确定的比较方法

阶段 正文方法
Reconstruction baselines / proposed D3D-HOI official、3DADN(统一重评后)、Ours;ARCTIC 可选 ArcticNet-SF、HOPformer 与 Ours
Reconstruction ablation Ours w/o HOI Alignment;只在 Table 4 / appendix 与 Ours paired 比较
Physics CoDA、InterMimic、RePHO、Ours;HDMI 只有按时完成接入后才加入

D3D-HOI 作者发布的 256 条优化结果已经具备,不需要重跑。3DADN 目前只有论文 reported numbers; 3DHOI 官方仓库提供 adaptation wrapper 和 pretrained-model 链接,但 target 内逐视频 predictions 尚未找到。 取得预测或完成一次冻结 inference 后才能进入正文。Physics 方法在同一张表中 使用相同输入、物体、训练预算和评测程序。每个预注册 case×seed 只做一次 canonical evaluation,不使用 多次试跑中的最好结果。

从哪里继续

需要做什么 文档
组会分工和进度同步 28 天实验计划
确认哪些数据进入正文或附录 数据集与实验范围
查看所有方法共同遵守的规则 共同评测规则
查看正文四张表 正文表格设计
运行 Reconstruction 实验 实验设置 · 比较方法 · 指标 · 消融
运行 Physics 实验 ARCTIC-40 冻结 case set · 实验设置 · 比较方法 · 指标 · 消融

已有实验数字统一放在 Results,代码入口和运行说明统一放在 Project Guide