INTRODUCTION · 中文论证框架

从视频到物理可执行的铰链交互轨迹

Scalable Video-to-Physics Data for Articulated Human–Object Interaction

01Video生成或真实交互视频

02Reconstruct人体、物体与关节 4D 轨迹

03Refine接触驱动的物理修正

04Packagesimulation-ready trajectory

05Train下游模仿与策略学习

PARAGRAPH-BY-PARAGRAPH

Intro 应该怎样写

P1 · 数据瓶颈

能够与柜门、烤箱、抽屉等日常铰链物体进行全身交互，是 humanoid 进入真实环境的基本能力。然而，训练这类策略所需的高质量人-物交互轨迹依赖动捕、遥操作或逐任务人工设计，成本高、覆盖窄，难以扩展到大量物体、动作和人体风格。

P2 · 视频机会

真实视频和视频生成模型提供了近乎无限的语义与动作多样性。现有 4D HOI 方法已经能够从视频恢复人体运动、物体位姿和关节状态，使“从像素自动构造交互数据”成为可能。但这些结果主要满足视觉重投影或运动学一致性，不能直接作为物理策略的训练轨迹。

P3 · 铰链难点

铰链交互的困难不是轨迹看起来是否正确，而是运动能否由接触真实地产生。几厘米的手柄偏差、错误的接触时序或不一致的碰撞几何，都可能让手穿透、滑开，或无法对被动关节产生有效力矩。直接播放物体关节角会掩盖这个问题，也会把错误监督带给下游策略。

P4 · 问题定义

本文研究：给定生成或真实的单目交互视频及其可动对象资产，如何恢复并修正人体、物体根节点和内部关节的耦合轨迹，使人体通过物理接触驱动无 actuator 的物体关节，同时保持对视频的观测保真，并导出统一的 simulator-ready 训练数据。

P5 · 方法概述

系统先重建人体、物体、关节及候选接触，再在模拟器中用受控 humanoid 与被动铰链物体复现交互；物理修正只在接触相关的时空区域调整人体和物体参考，联合约束视觉一致性、接触稳定性、碰撞与关节任务进展，最后导出状态、动作、接触和资产元数据。

P6 · 结果落点

论文不能只证明 penetration 更低。最终结果必须证明三件事：视频到可用轨迹的转化率高；修正后的轨迹在被动物理下能够完成铰链任务；用这些轨迹训练的同一套下游策略，在未见物体或动作上优于使用原始重建轨迹训练的策略。

Intro 最后落到三条 Contribution

01
视频到物理数据管线
提出一条面向全身 articulated HOI 的自动数据管线，把生成或真实视频转换成包含人体、物体根状态、内部关节与接触信息的 simulator-ready 轨迹。
02
被动铰链物理修正
通过人体接触而非物体关节播放来恢复交互，并在观测保真与动力学可执行性之间优化耦合轨迹。Contact-to-actuation 只作为这一过程的诊断指标。
03
数据的下游价值
建立跨资产的铰链交互数据与评测，证明物理修正后的轨迹能提高下游策略的训练效率、任务成功率和未见物体泛化。

不要写：“第一个 video-to-physics / 第一个 physics-based HOI。”SUGAR、GRAIL 和 RePHO 已经覆盖宽泛表述。可以写的是本文聚焦的任务边界：从视频规模化构造由人体接触驱动的被动铰链交互轨迹，并检验其下游训练价值。

REFERENCE PAPERS · 按精读模板拆解

六篇核心工作的内容与实验组织

阅读方法

下面不是摘要罗列。每篇都按现有 SKILL.md / TEMPLATE.md 的核心字段展开：先说清任务输入输出、真实测试场景与根因，再解释方法模块和数据流；实验部分按论文原有顺序逐节说明“这一节要证明什么”，最后检查数据、baseline、metric、ablation 与 claim 是否闭环。

01 · VIDEO-PRIOR ARTICULATED RECONSTRUCTION

ArtHOI: Articulated Human-Object Interaction Synthesis by 4D Reconstruction from Video Priors

Zihao Huang et al. · arXiv:2603.04338 · 2026

把“生成 articulated HOI”改写成“从扩散视频反演一个带部件运动的 4D 场景”，核心贡献在视觉几何与运动学恢复，而不是仿真动力学。

论文 ↗

任务、场景与问题根因

输入是文本提示经视频扩散模型生成的单目视频；输出是包含人体运动、物体静态/动态部件和随时间变化状态的 4D HOI。实际展示的是开冰箱、柜门、微波炉等铰链场景。

以往 zero-shot video-prior 方法通常把物体视作一个刚体，无法表达门板相对主体转动；而单目条件下同时优化人体、相机、物体部件与关节，会把深度、遮挡和接触误差互相传递。作者把根因归结为：缺少显式部件分解和 4D 几何约束，以及 human/object joint optimization 在单目歧义下不稳定。

方法怎样工作

生成视频。视频模型给出有语义但不一定几何一致的 2D articulated interaction prior。
恢复物体部件。用 optical flow / point tracking 区分动态与静态区域，再由 promptable segmentation 得到稠密 mask，并把 mask 反投影到 3D Gaussian object。
建立 articulation。在动态/静态边界附近选择 quasi-static point pairs，用连接关系约束两个部件的相对运动。
解耦优化。第一阶段先用重建和运动学约束恢复物体 articulation；第二阶段固定物体 scaffold，再优化与该状态匹配的人体运动、接触与平滑性。

实验章节怎样组织，逐节证明什么

4.1 Settings → 4.2 Implementation Details → 4.3 Interaction Quality → 4.4 Articulated Object Dynamics → 4.5 Rigid Object Results → 4.6 User Study → 4.7 Ablation

4.1–4.2 先固定协议。
articulated object 部分使用 ArtGS 渲染的单目视频，因此能拿到关节运动真值；整体交互遵循 ZeroHSI 协议，场景来自 Replicate、人体来自 XHumans、物体来自 Trellis，序列长度 60–120 帧。这里把“关节恢复精度”和“开放类别交互观感”拆成两类数据验证。
4.3 先评整体 interaction quality。
与 TRUMANS、LINGO、CHOIS、ZeroHSI 比较 X-CLIP 语义一致性、smoothness、foot sliding、Contact% 与 Penetration%。这一节证明生成的人体和物体看起来配合、接触更合理，但这些仍是几何/运动学 proxy。
4.4 再隔离 articulated object dynamics。
在有真值的 ArtGS 数据上与 D3D-HOI、3DADN 比较 rotation error，并报告 mean / max / min，专门回答门板或抽屉的内部状态是否恢复准确，避免整体感知指标掩盖关节错误。
4.5 检查方法是否只对 articulation 有效。
把对象退化为刚体，与 SAM3D + FoundationPose 和 ZeroHSI 比较，说明显式 4D reconstruction 在 rigid HOI 上也能工作。这是 generality check，不是论文主 claim。
4.6 用 user study 补充感知质量。
51 名参与者评价 20 个序列。它回答“人是否偏好结果”，但不能替代物理成功率或真实接触力证据。
4.7 用消融解释为何有效。
比较 one-stage joint optimization、去掉 articulation regularizer、kinematic loss、smoothness 与 full model，分别对应“为何要解耦”“关节约束是否必要”“时间稳定性来自哪里”。

数据

ArtGS 合成有真值 articulated videos；ZeroHSI-style 开放交互场景；60–120 帧。

Baselines

TRUMANS / LINGO / CHOIS / ZeroHSI；D3D-HOI / 3DADN；SAM3D + FoundationPose。

Metrics

X-CLIP、smoothness、foot sliding、contact、penetration、rotation error、user preference。

Ablation

joint vs decoupled；articulation regularizer；kinematic loss；smoothness。

证据边界：论文把 contact / penetration 改善称为 physically grounded，但没有 simulator rollout、力/力矩一致性、任务完成或下游 policy utility。它严格证明的是 articulated 4D 几何和运动学质量更好，并未证明轨迹在被动关节动力学下可执行。

02 · MONOCULAR VIDEO TO PHYSICAL HOI

RePHO: Recovering Physically Plausible Human-Object Interactions from Monocular Videos

Dingbang Huang et al. · arXiv:2606.05359 · 2026

从已有单目运动学重建出发，为每条序列训练一个 RL policy，让交互能在模拟器中重放；它是“视频重建进入物理阶段”最直接的参考。

论文 ↗

任务、场景与问题根因

输入是 VisTracker 从单目 BEHAVE / InterCap 视频得到的人体与刚体物体运动；输出是经物理模拟重放后更一致的 HOI 轨迹。场景包括搬、抱、抬等 whole-body rigid-object interactions。

运动学重建即便像视频，也可能有人体穿物、浮空接触、object jitter；仅加 contact loss 不会显式满足重力、碰撞和接触力。直接让 InterMimic 一类 tracker 追踪又会被原始 reference 的局部坏帧拖垮。因此关键不是“有没有 physics”，而是如何从严重噪声 reference 中找到可靠片段，并把物理解逐步传播到整段序列。

方法怎样工作

Kinematic initialization。以 VisTracker 结果作为初始人体和物体 reference，而不是从 RGB 端到端联合求解。
Sequence-specific RL。训练一个 policy 在 simulator 中同时追踪人体与物体，接触、碰撞、重力由环境真实产生。
Adaptive sampling。识别更可靠、更有信息量的帧/片段优先学习，避免一开始被遮挡或快速运动造成的坏 reference 主导。
Dual self-updating。用当前物理 rollout 反向更新运动学 reference，再把较可靠的解向困难片段传播，形成 kinematics 与 policy 互相改善的循环。

实验章节怎样组织，逐节证明什么

4.1 Datasets → 4.2 Metrics → 4.3 Kinematics Baselines → 4.4 Physics Baselines → 4.5 Ablation

4.1 统一上游初始化。
BEHAVE 取 subject 03 的 35 段、InterCap 取 38 段，并让所有方法从同一 VisTracker 重建开始。这个控制很重要：后面的收益应来自物理恢复，而不是不同视觉前端。
4.2 把指标分成软质量与硬成功。
几何侧报告人体/物体 Chamfer distance、手/身体 Contact Rate 与 Contact Distance、penetration、object floating、object jerk；物理侧定义 SR-B（整段无失败）和 SR-F（最长有效片段占比，短于 2 秒不计）。硬指标避免“平均误差不错但中途摔倒”的序列被判为成功。
4.3 先与 kinematics 方法比视觉/几何改善。
相对原始 VisTracker，检查人体和物体是否仍贴合观测，同时 contact、floating、jerk 是否更合理。这一步回答 physics refinement 会不会为了站稳而偏离视频。
4.4 再与 physics-based 方法比能否完整重放。
将 InterMimic 的 direct inference 和 single-sequence fine-tuning 纳入同一 simulator / matched training 设置。RePHO 在 BEHAVE 上 SR-B / SR-F 为 51.4 / 60.0，在 InterCap 上为 52.6 / 57.1。这里的核心证据不是误差下降，而是噪声视频 reference 经专门优化后有更多序列可在物理中完成。
4.5 最后拆 adaptive mechanism。
从 naive training 依次加入 adaptive sampling、kinematic updates、dual propagation；另比较只改善 initialization 和 single-policy 方案，说明收益来自“选择可靠片段并双向迭代”，而不只是更多训练。

数据

BEHAVE 35 clips；InterCap 38 clips；统一 VisTracker initialization。

Baselines

VisTracker；InterMimic direct inference；InterMimic single-sequence fine-tuning。

Metrics

CD-H/O、contact、penetration、floating、jerk；硬成功 SR-B / SR-F。

Ablation

adaptive sampling、kinematic update、dual propagation、initialization-only、single-policy。

证据边界：RePHO 的实验逻辑最值得复用：先保真，再用硬物理完成率判断可执行性。但它主要处理人体与单一刚体的耦合，未显式评测被动内部关节、功能部件接触或开门幅度；而且 per-sequence RL 的时间成本和大规模数据转化率需要单独报告。

03 · GENERAL PHYSICS-BASED HOI IMITATION

InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions

arXiv:2502.20390 · 2025

它不从视频重建数据，而是回答：给定 reference motion，怎样先恢复物理可跟踪的 teacher 轨迹，再把大量技能蒸馏成一个通用 student policy。

论文 ↗

任务、场景与问题根因

输入是人体和物体 reference motion，可以来自 mocap、重建或生成方法；输出是物理 humanoid 与物体的可执行 rollout，以及能够覆盖多种交互的 general policy。它验证搬运、坐、推拉、yogamat 等全身刚体交互。

HOI imitation 比纯人体 tracking 多了物体状态和稀疏接触：reference 可能有 embodiment gap，错误一旦导致接触丢失，物体便偏离且无法恢复；每条 motion 单独训练 teacher 又不能规模化部署。论文因此把问题拆成“怎样恢复单条可行轨迹”和“怎样把许多 teacher 行为聚合成通用控制器”。

方法怎样工作

Teacher recovery。每条 reference 训练专用 teacher，使用人体/物体追踪、contact 与 energy 等统一 reward。
PSI + IET。Physical State Initialization 从物理可达状态启动；Interaction Early Termination 在关键交互关系破坏时及时终止，提升困难接触学习效率。
Reference distillation。teacher rollout 先把原 reference 修成可物理跟踪的数据，而不是让 student 直接拟合带噪输入。
General student。Transformer student 从 teacher 数据学习跨技能策略，以一个模型覆盖未见或生成 reference。

实验章节怎样组织，逐节证明什么

4.0 Datasets / Metrics / Baselines / Implementation → 4.1 Quantitative → 4.2 Qualitative → 4.3 Ablation

4.0 先固定数据拆分与成功定义。
InterAct 汇集 OMOMO、BEHAVE、HODome、IMHD、HIMO；主量化实验使用 OMOMO 的 15 个物体、约 10 小时动作。作者按 subject 训练 17 个 teacher，subject 14 留作测试；仿真为 Isaac Gym 30 Hz。Success 指一条 reference 在多次尝试中至少成功模仿一次，Duration 是未失败的持续时间，E_h / E_o 从成功尝试中选最佳 rollout 计算人体关节和物体点误差。
4.1 第一张表只验证单技能 teacher。
在 BEHAVE 的 yogamat 片段上与 SkillMimic 使用相同 reference 比较：InterMimic 的持续时间从 12.2 s 提到 42.6 s，E_h 从 7.2 降到 6.4 cm，E_o 从 13.4 降到 9.2 cm；PhysHOI 因公开协议不同只做单片段定性参照。这一表支撑 PSI / IET 能恢复更长交互，不能单独支撑 universal policy。
4.1 第二张表才验证 general student。
作者逐级加入 reference distillation、policy distillation 和 Transformer。完整 Transformer student 在 OMOMO held-out subject 上 Success 为 98.1%，物体质量放大 10 倍后为 56.8%；对生成 reference，HOI-Diff / InterDiff 分别为 12.5% / 76.7%。这组结果同时揭示方法能消费新 reference，但上限强烈依赖上游生成质量。
4.1 训练算法对照解释增益来源。
纯 PPO student 的 test Success 仅 9.6%，仅 DAgger / reference distillation 为 54.3%，加入 PPO 后为 91.6%，再加入 policy distillation 达到 95.5%。因此主要结论不是“Transformer 自然更强”，而是 teacher 修正数据和在线 RL 的组合显著减少 distribution shift。
4.2 用视频覆盖难以表格化的接触。
展示多接触、物体搬运、坐下和扰动恢复等序列，补足平均误差无法表达的行为模式。
4.3 消融与主表形成一条因果链。
teacher 侧去掉 PSI / IET，student 侧比较 raw reference、teacher-refined data、PPO、DAgger、reference / policy distillation 与 MLP / Transformer。真正被验证的是“可达初始化与早停改善 teacher，teacher rollout 再改善 student”；模型结构只是最后一层变量。

数据

InterAct 来自 OMOMO / BEHAVE / HODome / IMHD / HIMO；OMOMO 为主量化集，另测 HOI-Diff / InterDiff reference。

Baselines

SkillMimic 同 reference 定量；PhysHOI 定性；PPO、DAgger、MLP student 为内部训练对照。

Metrics

Success、Duration、E_h、E_o；Success 与误差回答“撑得住”和“像不像”两个不同问题。

Ablation

PSI、IET、teacher-refined data、distillation algorithm、Transformer。

证据边界：InterMimic 是理想的固定下游 consumer：用同一个 tracker 测 Raw / Kinematic-cleaned / Physics-refined reference，成功率差异才能归因于数据质量。它本身不恢复 RGB、不估计 mesh 或 articulation；它证明的是“给定 reference 能否被物理跟踪”，不是“上游重建是否视觉正确”。

04 · RESIDUAL WHOLE-BODY CONTROL

ResMimic: Residual Learning for Humanoid Whole-Body Loco-Manipulation

arXiv:2510.05070 · 2025

不从零训练 HOI controller，而是在通用人体 motion tracker 上学习任务 residual；论文重点是训练效率、精确物体控制与 sim-to-real，而不是视频数据恢复。

论文 ↗

任务、场景与问题根因

输入是经过 retarget 的 human motion 与物体 reference；输出是 Unitree G1 的 whole-body loco-manipulation policy。任务包括跪下抬箱、把箱子背到背上、深蹲抬物和搬椅子。

General Motion Tracker 已有自然人体先验，却看不到物体；直接 retarget 又会产生手-物穿透或悬空接触。从零学 HOI 浪费已有 locomotion 能力，直接 fine-tune 则可能破坏基础动作。作者将根因视为“通用人体控制与任务级物体交互之间存在小而关键的 residual”。

方法怎样工作

冻结/复用 GMT。预训练 general motion tracker 提供任务无关的姿态、平衡和 locomotion base action。
学习 residual policy。根据物体状态和交互 reference 修正 base output，把容量集中在接触与物体控制。
稳定 early training。virtual object controller 先帮助物体接近 reference，再按 curriculum 逐步撤去这层辅助。
交互 reward。point-cloud object tracking reward 提供连续物体误差，contact reward 明确鼓励目标身体部位接触。

实验章节怎样组织，逐节证明什么

Research Questions → A. Setup → B. Sim-to-Sim → C. Real-World → D. Ablation

A. 数据分成“通用人体先验”和“任务 reference”。
基础 GMT 使用 AMASS + OMOMO，过滤 stair climbing 后仍有 15,000+ clips、约 42 小时；Kneel、Carry、Squat、Chair 四项任务 reference 由 OptiTrack 采集。这个拆分很关键：大数据负责学平衡和人体运动，小规模任务数据只负责物体交互。
A. 指标同时看效率、人体和物体。
报告收敛 iteration、物体点云误差 E_o、全局人体 link 误差 E_m、关节角误差 E_j。Success 要求 E_o 低于预设阈值且机器人保持平衡，避免“物体到位但人已摔倒”仍计成功。
B. 公平对照 residual 是否优于直接复用/重训。
Base、Train from Scratch、Base + Fine-tune 与 ResMimic 使用相同任务 reward；区别只在如何利用 GMT。MuJoCo sim-to-sim 四任务平均成功率分别为 10%、0%、7.5% 和 92.5%，ResMimic 平均约 1,300 iterations 收敛，且 E_o / E_m / E_j 为 0.12 / 0.13 / 1.29。
B. sim-to-sim 只回答跨引擎鲁棒性。
策略在 Isaac Gym 训练、MuJoCo 评测，能削弱“只适配单一接触求解器”的质疑；但相机、延迟、执行器和真实摩擦仍未进入，因此不能把该表当作 sim-to-real 证据。
C. 真机部分以能力展示为主。
Unitree G1 测试 4.5 kg 箱子、4.5/5.5 kg 椅子；blind 设置执行预定义任务，non-blind 设置由 MoCap 提供状态，并在随机初始位姿、连续任务和外扰下测试。论文所述 11 trials 只对应随机初始位姿实验，不是全部真机测试总数；正文没有给出覆盖所有硬件任务的汇总成功率。
D. 两个消融的证据强度有限。
virtual object controller 通过训练过程可视化说明 early curriculum，contact reward 通过动作和接触力曲线说明显式接触监督；它们支持机制合理性，但不是覆盖四任务、多随机种子的完整数值消融。

数据/平台

AMASS + OMOMO 15k+ clips / 42 h；4 条 OptiTrack task references；Isaac Gym → MuJoCo → G1。

Baselines

Base、Train from Scratch、Base + Fine-tune；统一 reward，隔离 residual learning 变量。

Metrics

Convergence、E_o、E_m、E_j、task success。

关键结果

MuJoCo 平均 SR 92.5%；真机展示充分但缺少覆盖全部任务的 aggregate SR。

证据边界：ResMimic 强在“控制器怎样利用人体先验高效学会物体交互”，不是“怎样从视频得到 reference”。它适合作为下游 policy 架构或 tracker baseline；若用它证明我们的数据更好，必须冻结 policy、预算与 reward，只改变训练轨迹来源。

05 · HUMAN VIDEO TO DEPLOYABLE POLICY

SUGAR: A Scalable Human-Video-Driven Generalizable Humanoid Loco-Manipulation Learning Framework

Tianshu Wu et al. · arXiv:2605.20373 · 2026

这是最接近“视频提供规模化数据，physics refiner 把数据变可用，最终训练 autonomous humanoid policy”的完整系统故事。

论文 ↗

任务、场景与问题根因

输入是非结构化人类视频；输出是不在推理时依赖 reference motion 的 autonomous humanoid policy。六类任务为 Kick Box、Push Box、Carry Box、Sit Chair、Pick Bottle、Stand Bottle，每个任务 100 条训练视频、30 条测试视频。

作者将现有范式的瓶颈分成三类：RL from scratch 需要逐任务 reward engineering；reference tracking 被固定轨迹束缚，难泛化；teleoperation 数据质量高但成本随任务增长。人类视频便宜且多样，却因遮挡、接触错误和 retargeting gap 不能直接训练 robot policy。于是论文真正解决的是“如何把便宜但脏的视频先验转成可扩展的闭环技能数据”。

方法怎样工作

Automated extraction。从视频得到 human-object kinematic trajectories 与 contact labels，形成大量但不完全物理可行的 interaction priors。
Privileged physics refiner。在 simulator 中使用完整状态、统一 mimic-style reward 和 progressive state pool，把每条先验修成可执行技能。
Skill distillation。把 refined skills 聚合到 command generator + command tracker，不让部署策略在 inference 时追逐一条固定 reference。
Robust deployment。通过 domain randomization / robustness enhancement 支持外扰恢复和 zero-shot sim-to-real。

实验章节怎样组织，逐节证明什么

4.1 Setup → 4.2 Baseline Comparison → 4.3 Data Scaling → 4.4 Component Analysis → 4.5 Real World

4.1 把任务和数据规模说清。
六类任务统一用 100 videos/task 训练、30 videos/task 测试；成功由任务条件定义，同时报告 final object position error。任务覆盖移动、冲击、抓取和坐下，目的是展示统一 pipeline 而不是单一技能调优。
4.2 与强 policy-learning baseline 比最终能力。
在相同数据集上对比 ResMimic、HDMI，重点不是 reconstruction 误差，而是 success 与物体终态精度。必须注意输入并不完全对称：两条 baseline 在测试时还需要 reference trajectory，SUGAR 只接收可选 goal object state；因此结果支撑的是 autonomous policy 的系统能力，不是同观测条件下某个 controller 模块必然更优。
4.3 单独画 data scaling curve。
每任务用 20 / 50 / 100 条轨迹训练，aggregate success 约从 31.6% 提升到 66.0% 和 86.4%。这节是论文“scalable”的核心证据：不是只说收集容易，而是更多视频确实换来更高策略成功率。
4.4 消融严格对应 pipeline 的四个组件。
w/o Refiner 测物理修正是否必要；w/o PSPI 将 progressive state pool initialization 换成 SSI / RSI；w/o IR 去掉 interaction reward；w/o IRE 去掉 robustness enhancement。读结果时应区分 refiner 成功率和最终 policy 成功率，避免把中间模块改善直接等同于部署收益。
4.5 用每任务 10 次硬件闭环收尾。
Kick / Push / Carry Box、Sit Chair、Pick / Stand Bottle 分别成功 7 / 6 / 7 / 9 / 9 / 8 次，并展示外扰恢复。它把“视频数据有用”推进到真实 G1，但每任务样本量仍小，置信区间会较宽。

数据

6 tasks；100 training videos/task；30 testing videos/task；20/50/100 scaling subsets。

Baselines

ResMimic、HDMI；同数据但测试时仍使用 reference，需显式标注输入特权差异。

Metrics

Task-specific success、final object position error、scaling curve、real success。

Ablation

w/o Refiner、w/o PSPI（SSI / RSI）、w/o IR、w/o IRE。

证据边界：SUGAR 已经占据宽泛的“human video → physics refinement → downstream policy”叙事，不能再把这条链本身写成 first。它的对象主要作为整体刚体参与任务，没有把内部被动 DoF、功能部件接触、关节进度与跨铰链资产泛化作为核心变量；这才是 articulated 方向可建立的任务边界。

06 · FULLY DIGITAL DATA ENGINE

GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors

Tianyi Xie et al. · NVIDIA / UCLA · arXiv:2606.05160 · 2026

先指定可仿真的 3D 资产、场景、尺度和相机，再让视频模型提供交互先验；已知 3D 条件降低 4D 反演歧义，最终生成超过 20,000 条机器人可用序列。

论文 ↗

任务、场景与问题根因

输入是已知 3D object / scene assets、相机、metric scale 和 robot-proportioned character，再结合 video foundation model；输出是 4D HOI、retarget 后的 G1 reference、task-general tracker 与 egocentric deployment policy。任务覆盖 pickup、whole-body manipulation、sitting 和 terrain traversal。

GRAIL 不直接重建 uncontrolled in-the-wild video，因为相机、尺度、物体几何、人体形态和接触同时未知会造成不可控歧义。它反过来先把物理世界在数字环境中指定好，再用视频 prior 生成行为。这使视频只负责“动作语义和多样性”，已知资产负责“度量几何和 simulator compatibility”。

方法怎样工作

Robot-centric video generation。在已知 scene / asset / camera 中生成匹配机器人尺度的人-物视频。
4D reconstruction。用 GENMO 恢复人体、WiLoR 恢复手、FoundationPose 跟踪物体，再联合 keypoint reprojection、object projection、metric depth、VLM contact label 与 regularization 优化。
Retarget + tracking。把人类运动 retarget 到 G1；object-aware latent adaptor 在冻结 SONIC 上加 residual / hand primitives，scene-aware tracker 再利用 height map 处理地形。
Visual policy distillation。由 tracker 生成大规模 rollout，训练 egocentric policy，最后直接部署到真实 G1。

实验章节怎样组织，逐节证明什么

4.1 HOI Generation → 4.2 Task-General Tracking + Ablation → 4.3 Sim-to-Real

4.1 先证明生成的轨迹本身质量。
在 20 个 ComAsset objects 上与 HOIDiff、CHOIS、DAViD 比较 top-k 接触顶点距离、penetration ratio、VLM Interaction Score（1–5）和二阶运动 smoothness。再由 InterMimic 报告 humanoid/object deviation 与归一化误差阈值 < 0.25 的 physical tracking success；GRAIL 为 88.9%，把“几何好看”和“物理 humanoid 能否执行”连接起来。
4.2 再证明规模化数据能训练 task-general tracker。
总数据超过 20,000 sequences，覆盖 1,000 objects、1,000 terrains、4 类任务；独立 benchmark 含 124 motions / 43 objects，对比 HDMI、ResMimic 的官方实现。Success 要求 episode 平均 ObjPos < 20 cm，并报告 ObjPos 与 MPJPE-L；完整方法成功率为 81.4%。
4.2 把关键架构消融嵌在 tracker 实验中。
比较 no SONIC、no latent adaptor、no relative observation，说明预训练人体先验、对象 residual 和相对物体观测如何共同支持跨对象 tracking。
4.3 最后证明从数字数据到硬件的闭环。
pickup policy 对每个物体用 200 条生成 approach / pick 序列训练；真实 G1 每个物体测试 10 次，seen / unseen pickup 成功率为 84% / 80%，stair climbing 为 90%。这里证明的是数字数据可部署，但输入仍建立在已知资产生成管线之上。
附录补足主文略过的感知质量实验。
30 人 user study 评价生成交互，并消融 4D reconstruction 的 projection、depth、contact losses。它们说明视觉/几何约束有贡献，但主文最强证据仍是 tracking 与真机闭环，而非用户偏好。

数据

20-object 生成对照；20k+ sequences / 1k objects / 1k terrains；124 motions / 43 objects tracker benchmark。

Baselines

HOIDiff、CHOIS、DAViD；HDMI、ResMimic；InterMimic 作为物理可追踪性 evaluator。

关键结果

InterMimic 可执行率 88.9%；task-general tracking 81.4%；real pickup seen/unseen 84%/80%。

Ablation

SONIC、π_φ latent adaptor、relative observation；附录另拆 reconstruction losses。

证据边界：GRAIL 的强项是把“轨迹质量 → policy utility → real deployment”三层证据串起来。但它预先知道资产、场景、相机、尺度和环境深度，不能与 uncontrolled-video reconstruction 做完全同输入比较。对我们的启发是复用其证据链，同时明确输入特权程度和 articulated passive-DoF 的新增难点。

六篇论文各自真正证明了什么

ArtHOI 证明视频 prior 可以恢复 articulated 4D 几何；RePHO 证明带噪单目 reconstruction 可经 per-sequence RL 变成更可执行的刚体 HOI；InterMimic 证明 reference 可被物理恢复并蒸馏为通用 tracker；ResMimic 证明 pretrained motion prior 加 residual 能高效学习 whole-body object control；SUGAR 证明人类视频数据经 physics refiner 后能规模化提升 autonomous policy；GRAIL 证明带已知 3D 条件的全数字数据引擎可以跨越生成、tracking 和真实部署。没有一篇单独证明“从视频规模化得到由人体接触驱动的被动铰链轨迹，并用这些轨迹提升跨资产策略训练”，但这个空白必须靠 articulated-specific 物理指标和下游实验来成立，不能只靠文字命名。

EXPERIMENTS · 从数据产出到下游收益

物理部分实验设计

主实验逻辑

不是“轨迹修得更平滑”，而是“同样的视频经过物理修正后，能产生更多可执行数据，并让同一个下游策略学得更好”。

3.1 四个研究问题

RQ1 · Scale

能否批量转化？

从输入视频到 reconstruction、sim-ready asset、物理成功轨迹的逐级 yield 与单位成本。

RQ2 · Fidelity

是否仍忠于视频？

人体、物体根状态、关节角和接触时序的观测误差，防止物理修正把动作改成另一个任务。

RQ3 · Physics

是否真的由接触完成？

物体关节无 actuator；报告任务成功、有效关节力矩、penetration、滑动和无接触运动。

RQ4 · Utility

是否让下游学得更好？

固定策略结构与训练预算，只改变训练轨迹来源，比较成功率、样本效率与未见资产泛化。

3.2 数据集与划分

集合	建议规模	用途	划分原则
Debug set	现有 20 cases	实现、阈值和可视化；不能作为主结论	只用于开发，不进入最终 test
Real-video benchmark	D3D-HOI 全部可用 hinge cases；代码清单为 239	真实单目噪声下的转化率、保真度和物理成功	按 CAD identity 划分，未见资产只出现在 test
Generated-video corpus	至少数百条，覆盖多个类别、资产、动作方向和速度	验证“视频生成可扩展为训练数据”的核心故事	同时保留未见资产、未见动作组合与未见类别 split
External set	RBO / HOI4D 中协议兼容的 articulated subset	验证结论不依赖 D3D-HOI 和单一重建器	传感器或标注协议不同的结果单列

3.3 Baseline：分两层比较

Raw reconstruction

直接把视觉轨迹作为 reference；视觉上限、物理下限。

Kinematic cleanup

IK、平滑、penetration projection，但不做动力学优化。

InterMimic / PHC tracking

固定公开物理 tracker，测试原始 reference 能否直接被跟踪。

RePHO-style refinement

最接近的 per-sequence physics-guided reconstruction。

Ours without articulation-aware terms

同一优化器但只看人体/物体 tracking，隔离关节与接触建模的贡献。

Ours full

接触窗口、功能部件、被动关节与 observation budget 联合修正。

SUGAR 和 GRAIL 更适合做系统级 comparison：数据规模、任务覆盖、下游 policy 指标及输入特权程度。若代码和协议无法对齐，不应伪装成逐帧数值 baseline。

3.4 指标：主表不能只放几何误差

维度	核心指标	回答的问题
Pipeline yield	重建成功率、sim-ready 率、物理完成率、每条成功轨迹 GPU-hours	数据管线是否真的可扩展
Observation fidelity	人体 MPJPE / acceleration error、物体 root error、joint-angle error、2D reprojection	物理修正是否仍对应原视频
Physical validity	penetration depth/volume、foot slip、contact slip、非接触物体运动、动力学残差	是否消除不可物理的伪影
Articulation task	关节目标完成率、normalized joint progress、time-to-completion、joint-axis effective torque	接触是否真正驱动铰链
Downstream utility	policy success、训练样本效率、未见资产/动作成功率、扰动鲁棒性	这些轨迹是否是更好的训练数据
Diversity	类别、资产、接触部件、关节范围、动作速度和人体运动覆盖	是否只是重复少量成功模板

3.5 最关键的下游实验

MAIN TABLE

固定同一个 InterMimic / ResMimic-style policy、网络、训练步数与随机种子，分别使用 Raw、Kinematic-cleaned、Physics-refined 和 Curated/GT 轨迹训练。按 25%、50%、100% 数据量绘制学习曲线，并在 seen asset、unseen asset、unseen action-composition 三个 test split 上评估。

训练数据	Seen asset success	Unseen asset success	Unseen composition	达到固定成功率所需样本
Raw reconstruction	待实验	待实验	待实验	待实验
Kinematic cleanup	待实验	待实验	待实验	待实验
Physics-refined data	核心结果	核心结果	核心结果	核心结果
Curated / GT upper bound	上限	上限	上限	上限

3.6 必做 Ablation 与可视化

Ablation

No physics；物体关节被直接播放；无功能部件接触；无 contact-window localization；无 observation constraint；只优化人体或只优化物体；不同视频生成规模。最重要的是比较“关节直接跟踪”与“关节完全被动”，排除作弊式成功。

Figure / Video

主图展示同一视频的 Raw → Reconstruction → Physics-refined → Downstream rollout；叠加接触点、关节轴和有效力矩。第二张图画 video count 对 sim-ready yield 与 downstream success 的 scaling curve；失败案例按重建、资产、接触和控制四类归因。

论文成立的最低条件：不只是 20 个 case 上物理指标改善，而是数百条 generated/real videos 的批量转化结果，加上一张固定下游策略的训练数据对照主表。没有下游收益时，story 只能退化成 physics refinement paper，不能写成 scalable data paper。

从视频到物理可执行的铰链交互轨迹

生成或真实视频提供交互多样性；4D 重建恢复运动；物理修正把运动变成可执行轨迹；最终产物是能够训练下游 humanoid policy 的交互数据。

Intro 应该怎样写

Intro 最后落到三条 Contribution

视频到物理数据管线

被动铰链物理修正

数据的下游价值

六篇核心工作的内容与实验组织

任务、场景与问题根因

方法怎样工作

实验章节怎样组织，逐节证明什么

任务、场景与问题根因

方法怎样工作

实验章节怎样组织，逐节证明什么

任务、场景与问题根因

方法怎样工作

实验章节怎样组织，逐节证明什么

任务、场景与问题根因

方法怎样工作

实验章节怎样组织，逐节证明什么

任务、场景与问题根因

方法怎样工作

实验章节怎样组织，逐节证明什么

任务、场景与问题根因

方法怎样工作

实验章节怎样组织，逐节证明什么

六篇论文各自真正证明了什么

物理部分实验设计

3.1 四个研究问题

能否批量转化？

是否仍忠于视频？

是否真的由接触完成？

是否让下游学得更好？

3.2 数据集与划分

3.3 Baseline：分两层比较

Raw reconstruction

Kinematic cleanup

InterMimic / PHC tracking

RePHO-style refinement

Ours without articulation-aware terms

Ours full

3.4 指标：主表不能只放几何误差

3.5 最关键的下游实验

3.6 必做 Ablation 与可视化

Ablation

Figure / Video