Method Design¶
ArtHOI4D 将单目视频转换为可执行的 full-body articulated interaction。方法只通过四类显式数据连接:asset、reconstruction reference、case inventory 与 physics rollout。
其中 \(\widehat{\mathcal R}=\{\widehat H,\widehat T^o,\widehat q,\widehat s\}\)。contact
intent \(\mathcal C^{intent}\) 是另行带 GT/人工/VLM provenance 的 preprocess side input,
不是当前 result.pt 稳定预测变量;\(\tau^{\rm sim}\) 是 simulator 中实际发生的状态与
接触,而不是 kinematic replay。
系统边界¶
| 层 | 输出 | 不能做什么 |
|---|---|---|
| Articulated asset | visual mesh、kinematic tree、collision、joint limit | 不能以 visual mesh 代替物理 collider |
| Reconstruction | noisy human/root/\(q\)/scale reference | 不能把 GT 或手工修正偷偷写进 policy 输入 |
| Contact-intent preprocess | 带 provenance 的 \(\mathcal C^{intent}\) side input | 不得冒充 Recon prediction 或 achieved contact |
| Case inventory | asset identity、joint type/limit 与初始 \(q_0\) | 不能被 recon 第 0 帧覆盖 |
| Physics policy | human action;由接触改变 object state | 不能直接 actuator-drive object joint |
| Evaluator | tracking、contact、articulation、shortcut audit | 不能用单个距离或局部成功替代完整任务 |
四个设计页面¶
| 页面 | 核心问题 |
|---|---|
| Articulated Assets | 不同数据集的 asset 如何进入同一 visual/physics contract? |
| Reconstruction | 如何输出时序一致的 human、object、\(q\) 与 scale reference? |
| Human / Ground / Contact | 如何让视觉结果成为可信而不泄漏 oracle 的 physics 输入? |
| Passive Articulated Physics | 如何在 noisy reference 下只靠接触驱动关节? |
Recon 与 Physics 如何耦合¶
“两阶段”不表示两个独立问题。Recon 决定 Physics 的 reference、metric scale、接触可达性与 articulation target;Physics 的 success、coverage 和 first-failure 又是判断 Recon 输出是否可执行的 下游证据。因此论文依次报告 direct Recon quality、真实 RGB→Recon→Physics 主结果、captured-reference Physics control 和 stage/component ablation。
这个耦合首先是输入依赖与最终 outcome 的耦合。只有最终实现确实把 simulated state、contact
assignment 或 refined target 回写到 Recon/reference 时,才进一步称为 bidirectional feedback,并设置
对应 off / initialization-only / target-update / full ablation;否则保持单向 Recon → Physics 的准确表述。
具体 adapter、训练入口、schema 和测试位于 Project Guide。需要验证什么、怎样比较,见 Experiments。