← 返回研究面板

Task_12 — Object-Motion & Manipulation Future-Frame Prediction
物体运动与操作的未来帧预测 · Dataset Report v2

给定物体运动/被操作的前若干帧（+可选机器人动作），预测后续画面。v2 变更：数据源按团队真实训练配置（VBVR-Wan2.2 官方脚本 = 384²/512² × 209 帧）重选并分层——v1 的 64×64 老基准降级为 benchmark 层，新增 720p 训练层与 4K 评测层。所有数字为盘上/S3 实测。

STATUS: USABLE (raw ingested)REPORT v2 · 三层结构 Task_12 · taxonomyv2v · 续写final/ 未做（按决定）
9,935
DROID episodes @720p60
~34k
Physion physics clips
396×4K
Physics-IQ eval videos
226.4 GiB
raw in S3 (54,302 obj)

Yilan Zhang (Winnie) · v1 ingested 2026-07-12 · v2 re-sourced & ingested 2026-07-13 on EC2 winnie-task12v2-ingest (us-east-2) · 选型依据: Video-Reason/VBVR-Wan2.2 scripts (HEIGHT/WIDTH/NUM_FRAMES)

1What this task is — and why the sources changed

任务：模型观看「物体在动 / 被操作」的视频开头，续写后续画面——world model 的最小可行命题；BAIR/DROID 一类带逐帧动作的源还支持「当前帧+动作→未来帧」的可控预测。

v2 为什么换源：直读团队训练代码 Video-Reason/VBVR-Wan2.2/scripts/ —— Wan2.2-I2V-14B 训练输入 384×384×209 帧、LTX2.3-I2AV 512×512×209 帧；数据加载器会把低分辨率源放大（信息不会凭空出现）。v1 的 Moving MNIST/BAIR（64×64）远低于地板 → 降级为 benchmark 层；按新硬门槛重选训练层（≥384px）与评测层。帧数为软门槛（短片按实际长度训练）。
🎬 训练层主演示 · DROID 真实机械臂 episode（720p@60fps 实拍，缩放展示）
INPUT — 已观测的过去
TARGET — 要预测的未来

↑ 入湖的真实 DROID 片段：Franka 机械臂操作场景。模型看前段（含逐帧动作向量），要推理出机械臂动作导致的后续画面。5/5 随机抽检 = 1280×720@60fps。

2每个来源负责什么 + INPUT→TARGET 演示（按层）

TRAINING 层 — 过 384/512 地板，喂模型的主粮

A · DROID 720p 智能子集 [INGESTED] 动作条件 ⭐

负责：真实世界「操作」动力学的高清主力——Franka 机械臂真实场景操作，每 episode 3 机位单目 720p60 MP4 + trajectory.h5 完整动作树（笛卡尔/关节/夹爪位置速度 + 目标位姿 + 机器人状态）。子集设计：跨 12 实验室轮询取样，每 episode 只取 单目MP4×3 + trajectory.h5 + metadata（跳过立体/SVO/128px 冗余 = 每 episode 从 ~390MB 精简到 ~18MB），180GB 预算装下 9,935 episodes；选样清单 _subset_manifest.json 同存可复现。

实测：48,543 文件 / 180,013,516,517 B；28,813 mp4 + 9,927 h5；ffprobe 抽检 5/5 = 1280×720@60fps；h5 动作树逐键验证。全量 8.7TB 的 recipe 在卡片。License CC-BY 4.0。

🎬 DROID 真实 episode · INPUT→TARGET（主相机，720p 缩放展示）
INPUT — 已观测的过去
TARGET — 要预测的未来

↑ 前 30% 帧（+trajectory.h5 里逐帧动作）为观测，其余为预测目标——「当前帧+动作→未来帧」的可控 world-model 范式。

B · Physion + Physion++ [INGESTED] 物理动力学 · MIT

负责：「物体运动」的物理多样性——支撑/容纳/多米诺/滚动/布料/可变形 + 质量/摩擦/弹性变化，~34k 段 5–19 秒 256×256@30fps 仿真视频（ThreeDWorld）。

🎬 Physion 真实训练片段
INPUT — 已观测的过去
TARGET — 要预测的未来

↑ 前 40% 观测 → 后 60% 预测。诚实注记：256² 低于 384 地板，训练时会被 1.5× 放大（质量打折但物理内容独有）——作 DROID 的物理多样性补充，非主力。License MIT。

EVAL 层 — 真实 4K，协议与任务同构

C · Physics-IQ [INGESTED] 真实拍摄 4K

负责：评测集——396 段真实拍摄物理事件（固体/流体/光学/热学/磁学，66 场景×3 机位×2 次，Sony a6400 4K），官方协议就是 3 秒条件 → 5 秒预测（split-videos/ 里 conditioning 792 + testing 1,584 段已预切好）＝ Task_12 的定义本身。模型训完直接在此出分。

🎬 Physics-IQ 官方预切对（ball-and-block-fall 场景）
INPUT — 已观测的过去
TARGET — 要预测的未来

↑ 官方 conditioning（3s）→ testing（5s）文件对，原生就是本任务的考卷。License CC-BY 4.0。

BENCHMARK 层 — 已清退（2026-07-13）

D · Moving MNIST + BAIR [已从 S3 清退]

v1 曾入湖的 64×64 经典基准（MM 10,000×20 帧张量；BAIR 43,520×30 帧+动作），因远低于 384/512 训练地板、且再获取零门槛，按 Winnie 决定于 2026-07-13 从 S3 删除（-184 obj / -61GB）。知识全部保留：sha256/计数/re-download recipe 见 research/2026-07-12_task12-ingest/cards/ 与归档的 v1 报告；MM=单文件直链，BAIR=并行分段脚本 ~10 分钟可复原。

▲ 备用/未入：Kubric 自渲 512²×209 帧（generator 路线，对齐团队 G-* 范式——留作后续独立生成项目）；SSv2 gated（Qualcomm 许可）；BridgeData V2 RLDS 256²/38 帧 与 MOVi 2 秒短片 因门槛淘汰（明细见 research/2026-07-13_task12-source-upgrade/）。

3Data type & format（盘上实测）

文件格式类型实测含义
DROID_720p_subset/<lab>/success/<date>/<ep>/recordings/MP4/*.mp4MP4 H.264video1280×720@60fps，3 机位单目
…/<ep>/trajectory.h5HDF5actionaction/{cartesian,joint,gripper}_position|velocity + target_* + robot_state/*
Physion/PhysionTrainMP4s.tar.gz + physion_v2/*.zipMP4 in tar/zipvideo256×256@30fps，5–19s
PhysicsIQ/{full,split}-videos/… (30/24/16/8FPS 变体)MP4video4K 实拍；split=官方 3s 条件/5s 预测对；另含 switch-frames 与 video-masks
（benchmark 层）MovingMNIST npy / BAIR tfrecordstensor / TFRecord见 v1 卡片64×64，降级保留

4How raw becomes V2V samples（对齐模型配置）

5Data volume / capacity（S3 实测）

SourceTierStatusVolume
DROID_720p_subsettraining✓ ingested9,935 eps / 48,543 文件 / 180,013,516,517 B（全量 8.7TB 的 2%，manifest 可复现/可扩）
Physion(+++)training✓ ingested~36 GB（train MP4 包 + v2 train/readout/test zips）
PhysicsIQeval✓ ingested5,761 objects / ~25 GB（含补拉；full+split+switch+masks 全套）
MovingMNIST + BAIRbenchmark已清退曾 184 obj / 65.4GB，2026-07-13 删除；recipe 存档可复现

Task_12 前缀 S3 总账（v1+v2）：54,302 objects · 243,059,726,181 bytes（226.4 GiB）

6License & provenance

源License内部使用Provenance
DROIDCC-BY 4.0✅Khazatsky et al. 2024 (arXiv:2403.12945) · gs://gresearch/robotics/droid_raw/1.0.1
Physion / Physion++MIT✅Bear et al. NeurIPS 2021 / Tung et al. 2023 · 官方公开 S3
Physics-IQCC-BY 4.0（代码 Apache-2.0）✅Motamed et al. 2025 (arXiv:2501.09038) · gs://physics-iq-benchmark
MM / BAIR—（已清退）—v1 报告与卡片存档于 archive/ 与 research/

7Source & re-download（含 S3 地址与选型依据）

s3://tv2v-data/raw/taxonomy/Task_12_object_motion_future_frame_prediction/
├── DROID_720p_subset/   <12 labs>/success/<date>/<episode>/ + _subset_manifest.json + DATASET_CARD.md
├── Physion/             PhysionTrainMP4s.tar.gz · Physion.zip · physion_v2/{train,readout,test}_data.zip + CARD
├── PhysicsIQ/           full-videos/ split-videos/ switch-frames/ video-masks/ (30/24/16/8FPS) + CARD
└── _report_media/
#（v1 的 MovingMNIST/ 与 BAIR_robot_pushing/ 已于 2026-07-13 清退，recipe 见 research 存档）

# 选型依据（团队训练配置，直读代码）:
#   Video-Reason/VBVR-Wan2.2 scripts/wan2.2-I2V-14B_vbvr_dataset.sh → 384×384×209
#   Video-Reason/VBVR-Wan2.2 scripts/LTX2.3-I2AV_vbvr_dataset.sh    → 512×512×209
# Re-download:
#   DROID:     gs://gresearch/robotics/droid_raw/1.0.1/（子集按 _subset_manifest.json 复现）
#   Physion:   s3://physics-benchmarking-neurips2021-dataset + s3://physion-v2（公开）
#   PhysicsIQ: gs://physics-iq-benchmark（公开）

验证方法：EC2 winnie-task12v2-ingest（us-east-2 同区）· 预算式选样+清单 · 字节对账（下载 180,013,516,517 B == 目标）· ffprobe 抽检 · h5 逐键解析 · 官方数据渲演示肉眼核对 · S3 summarize 终账。EC2 用后销毁。旧版报告（v1，仅 MM/BAIR 摸底+入湖）已归档 archive/2026-07/task12-v1-report/。