TASK 52 · FULL VERIFIED SOURCE A · 2026-07-20

从第三人称人类演示视频学习机器人执行

Learning Robot Execution from Third-Person Human Demonstration Videos

CONDITIONAL GO：H&R v1 在每个 HDF5 episode 内逐帧同步保存 human video、robot video 和 7-DoF robot action，能够真实支持跨具身动作迁移；前提是明确限定为受控第三人称场景。

CONDITIONAL GOFULL VERIFIEDCLASS A NATIVE PAIRLICENSE REVIEW REQUIRED

120.78 GB1,323 个 publisher-native 文件

1,316paired HDF5 episodes

498,698human↔robot 对齐帧

0implemented-check issues

为什么这个 Source 有意义

不是换皮 editing，而是跨具身翻译。模型观察人类如何完成任务，同时学习对应的机器人画面、末端轨迹、夹爪状态和关节运动；视频用于解释执行过程，action target 使结果可以进入机器人控制评价。

INPUT · human_camera

固定第三人称视角下的人类操作演示。

→

TARGET · robot_camera + action

同一 episode、同一 frame index 的机器人执行画面与 7-DoF 动作。

Native pairing key = <HDF5 publisher path> + <frame index>

Publisher-native evidence · 2 / 2

视频是原生 HDF5 帧的浏览器展示代理：左侧 HUMAN、右侧 ROBOT，保持全部原始帧与一一对应关系，仅转码为 10 FPS H.264/yuv420p；没有生成、检索或人为配对 target。

Sample 1 · Grab cup

data/v1/grab_cup_v1/episode_114.hdf5
123 aligned frames · 25,402,902 bytes

← HUMAN INPUTROBOT TARGET →

SHA-256 · 691826e504c6…42824c

Sample 2 · Push box

data/v1/push_box_common_v1/episode_36.hdf5
244 aligned frames · 62,355,900 bytes

← HUMAN INPUTROBOT TARGET →

SHA-256 · ec882bdfc564…d50d29f

Source portfolio

Role	Source	Native contribution	Status
Source A	H&R / Human2Robot v1 `79c1b0e5…`	同一 HDF5 内的 human camera、robot camera、7-DoF action、末端位姿、夹爪与关节状态	FULL VERIFIED 2/2 samples · raw ✓
Related-only	EgoMimic	人类/机器人独立 episode pools，可作表征预训练，但没有 native human→robot pair	拒绝作为 Task 52 Source A
Related-only	HumanEgo	严格 egocentric human policy learning，但当前 release 任务少、没有 paired robot target video	候选辅助来源

Measured full release

项目	实测	验证
Scope	完整 `data/v1/**` + 3 个支持文件	固定 publisher revision
Files / bytes	1,323 / 120,783,422,599	publisher API、EC2、S3 三方一致
Episodes / frames	1,316 / 498,698	逐 HDF5 打开与时间轴测量
Task leaves	33	按 publisher 目录实测
Episode length	2–1,218 frames；均值 378.95	2 帧与 8 帧 episode 训练时需过滤
Official discrepancy	论文约 2,600 episodes；v1 实测 1,316	v0 是旧版本，本次不重复入湖

Native schema 与完整性

episode_N.hdf5
├── cam_data/{human_camera,robot_camera}  [T,240,426,3]
├── action                                [T,7] float32
├── end_position                          [T,6] float32
├── gripper_state                         [T] float32
├── qpos / qvel                           [T,7] float32
├── step / timestamp                      [T] int64
├── transformed_hand_coords               [T,24,3]
└── transformed_hand_frames               [T,4,3]

1,127 episodes 使用 uint16 RGB；189 episodes 使用 uint8 RGB 并额外包含对齐 depth。全部 1,316 episodes 的 required keys 与时间轴一致；human/robot 首中末帧解码、全部 action/state finite、timestamp monotonic，implemented-check issues = 0。

Benchmark contract

层级	建议指标
Video	任务阶段、物体状态变化、human→robot 时间对齐、机器人形态一致性；视觉相似度仅作辅助
Action	末端位置/方向误差、夹爪开合准确率、轨迹与阶段时序误差
Generalization	episode-level split；held-out 位置、外观、实例与背景
Robotics endpoint	可执行条件下以机器人任务完成率/成功率为最终指标

不要误读：视觉上合理的 robot video 仍可能对应错误或不安全动作，不能只用 PSNR/SSIM 判断技能迁移成功。

Raw S3 archive

s3://tv2v-data/raw/taxonomy/
└── Task_52_human_to_robot_execution_data-pipeline/
    └── HumanAndRobot/v1/
        ├── .gitattributes
        ├── README.md
        ├── show_video.py
        └── data/v1/**

Verified：1,323 objects / 120,783,422,599 bytes；dry-run sync 零差异；代表性对象存在 S3 SHA-256 metadata。Raw 不含 cache、audit、prompt、proxy 或派生 pairing。

限制与结论

第三人称：不是第一视角或互联网 in-the-wild 输入。
受控场景：环境与物体多样性有限，泛化能力需要独立测试。
License：公开且 ungated，但 dataset card/tag 未明确声明许可；对外再分发或产品使用前必须确认。

最终判断 · CONDITIONAL GO：数据合同真实、可追溯且同时支持 video target 与 action target；只要任务名称与结论不夸大为第一视角或开放世界迁移，就值得继续。

查看 2 组四件套 Demo → · Official dataset · AAAI paper · 被否决的 EgoMimic 旧报告

Full audit · 2026-07-20 · winnie-task52-hr · Amazon Linux 2023 · us-east-2c · fixed publisher revision 79c1b0e5…. EC2 remains pending explicit termination approval at publication time.