← 返回研究面板

Task_70 — 视频稳像
消除非预期相机抖动 · 保留有意运动 · Dataset Report

输入抖动视频,输出时间与语义内容一致、相机路径更平滑的稳定视频。核心不是把画面“锁死”,而是去除高频手抖,保留有意的平移、转向与跟拍;同时控制裁切、几何扭曲、黑边和动态物体伪影。

STATUS: MOTIONSTAB RAW FULL VERIFIED Task_70 · taxonomyv2v · 编辑(外观 B) final/ 未做(按决定)
220 对
MotionStab FULL VERIFIED
220
计划保留的长对齐 Final pairs
938
训练阶段81帧 expected samples
0
本轮实际生成 Final

Yilan Zhang (Winnie) · MotionStab full audit verified 2026-07-26 · us-east-2 · 多源 7 段标准 · 所有数字为盘上/S3 实测

2026-07-26 MotionStab 增量与包装决策:官方 release 已完整写入 Raw 并通过 S3 回读 SHA-256。共 220 个 publisher-distributed synthetic pairs / 110 个 unique stable videos / 440 MP4,全部完整解码。Final 计划保留 220个较长、完整且逐帧对齐的 pairs,不再以3秒切片作为正式 Final 包装;训练阶段按81帧、stride 81、0 overlap 可得到 938个 training pair samples。此前844是3秒切片情景的容量测量,只保留作画幅审计参考。两类产物当前均 NOT GENERATED查看独立训练样本预期报告
当前 source 状态:
  1. A · MotionStab:FULL VERIFIED — 官方 ZIP、220 对、440/440 MP4 全解码、844 个非重叠候选窗口;Raw 与审计材料均已保存。
  2. B · DeepStab:PARTIAL — 当前 23 对,仍需定位论文所述完整 60 对 release。
  3. C · BIT / StabFR:FULL VERIFIED — 45 个官方 RAR 已测试、全解码并通过 S3 数量/字节核对。
  4. D · NUS:FULL VERIFIED(MIRROR)— 144 对 camera-path/evaluation 结构;不是严格稳定 GT,不能直接并入 paired training count。
  5. E · Selfie:ECCV 2018 ACCESS BLOCKED;CVPR 2021 PARTIAL VERIFIED,且公开内容不是严格 paired stable GT。

1What this task is

任务:INPUT 是含非预期手抖/高频旋转和平移的视频;TARGET 是同一时段、同一场景、同一主体运动的稳定版本。模型应保留有意相机运动(pan / forward / tracking),只平滑抖动,并减少裁切、黑边、局部拉伸和 rolling-shutter/jello 伪影。与 Task_25 去模糊/超分不同:Task_70 修的是跨帧相机轨迹,不以提高单帧清晰度为目标。

🎬 INPUT→TARGET · DeepStab 11.avi 成对
INPUT — 手抖原片(unstable)
TARGET — 稳定真值(stable)

↑ 入湖的 DeepStab 同号成对:同一路线的抖动版与稳定版——稳像的直接监督对(INPUT=unstable,TARGET=stable)。

样本边界:INPUT/TARGET 必须时间同步;target 可以因稳像产生合理裁切或视场变化,但不能改内容、速度或事件顺序。评价不能只看“稳不稳”,还要同时看 distortion 与 cropping。

2Sources:训练 GT 与评测集分开

A · DeepStab [INGESTED · PARTIAL] [PENDING FULL DOWNLOAD] 真实成对 GT

负责:真实世界直接监督。论文用双相机手持装置同步拍 steady/unsteady,并对齐、裁公共视野;官方论文报告 60 对、30fps、每段不超过 30 秒,拆为 44 train / 8 val / 8 test。S3 实测的 data.zip23 对 / 46 AVI / 11,204,423,892 B,因此当前是官方规模的 partial ingest,不应把 46 AVI 写成完整数据集。官方论文

B · BIT / StabFR [FULL VERIFIED · RAW] real paired GT

负责:补充真实场景 full-reference 评测/成对监督候选。作者用 DJI Osmo 与 GoPro 的定制双相机装置同步采集 shaky/stable,官方页直接提供 9 类 × 5 组 = 45 对:walking、climbing、running、riding、driving、large parallax、crowd、near-range object 和 dark。优点是独立、干净、可下载的真实成对 MP4;限制是双实体相机存在轻微 baseline/FOV 差异,且数据再分发/商用权利需核准。官方项目页 · 45 对下载页

🎬 BIT/StabFR · 官方 walking #1 成对 MP4
INPUT — shaky.mp4
TARGET — groundtruth.mp4

官方 walking1.rar 中直接提供的 shaky.mp4 / groundtruth.mp4;同起止时间窗、同帧率、两边均为独立视频,不是从 presentation 切出。

C · NUS [FULL VERIFIED · MIRROR RAW] EVAL SOURCE

负责:真实通用稳像泛化评测,不作为 paired V2V 训练 GT。常用基准含 144 段,覆盖 regular/running/zooming/crowd/parallax/quick rotation 等类别;原始 test video 没有每帧严格对齐的 stable target,论文 result 是算法输出,只用于演示/评价。Microsoft Research 官方页 · 作者官方 demo

🎬 NUS/Bundled Camera Paths · 作者官方 demo 片段
INPUT — original shaky video
REFERENCE — paper method result

来自作者 Shuaicheng Liu 发布的 SIGGRAPH 2013 官方 Vimeo demo。右侧是论文方法结果,不是 dataset 自带 paired ground truth,因此只作 eval sample。

D · Selfie [ECCV 2018 ACCESS BLOCKED] [CVPR 2021 PARTIAL VERIFIED]

负责:前摄人物场景泛化评测,覆盖人物非刚体运动、面部运动和背景遮挡。ECCV 2018 官方 33-video Google Drive payload 当前不可访问,因此该 benchmark 没有完成下载,也不能标为可用。目前只有 CVPR 2021 官方仓库链接的公开文件夹可以部分访问;实测取得 21 videos + 50 masks(71 AVI / 557,920,116 B),全部可解码,但这不是 ECCV 2018 的 33-video release,也不是完整的 CVPR 2021 训练集。没有严格 paired stable GT,不能直接落成 supervised 四文件训练对。CVPR 2021 官方代码/数据页 · ECCV 2018 官方项目页

🎬 Selfie · CVPR 2021 官方 supplementary V2V 片段
INPUT — shaky selfie video
OUTPUT — authors' stabilized result

来自 CVF supplementary 指向的作者官方视频,将同一时段的 Input / Our Result 分栏裁出;两边均为可播放视频。右侧是论文方法输出,不是 dataset stable GT。

拆分归属:本任务 2026-07-14 拆自 Task_15(改进档案 #03),Winnie 已认领。DeepStab raw 原地不动,仍在 s3://tv2v-data/raw/taxonomy/Task_15_video_element_editing/DeepStab/,按任务 cross-ref 复用(一份 raw 多任务,raw 不搬家)。

3Data type & format(实测)

文件格式类型含义
DeepStab/data.zipzip → AVIpaired videoS3 当前同号 stable/unstable ×23 对;官方论文总规模 60 对
MotionStab.zipZIP → MP4 + NPYpaired video每对含 <id>-unstab.mp4<id>-stab.mp4<id>-fi.npy<id>-bi.npy;220 对
input_video.mp4H.264 MP4model inputunstable 时间窗口;统一 fps/尺寸但不得改时间轴
target_video.mp4H.264 MP4ground truth同号 stable 的同步窗口;保留合理 crop/FOV 差异
prompt.txtUTF-8 textinstruction说明去除非预期抖动、保留有意运动与内容
metadata.jsonJSONprovenance + QA源 pair、窗口、对齐、fps、crop、hash、license flag

4How raw becomes V2V samples

  1. 配对清点:按类别/编号匹配 unstable/N.avi ↔ stable/N.avi,先验证可解码、时长、fps、分辨率。
  2. 同步与公共时间轴:用帧数/音视频时间戳初配,视觉相关或光流复核;只保留双方都存在的同步区间。
  3. Final 包装:MotionStab 保留较长、完整且对齐的 pair,不在 Dataset Final 阶段固定切成3秒;INPUT/TARGET 时间轴和帧号必须一致。
  4. 画幅策略:MotionStab 对 INPUT/TARGET 使用相同公共 crop,minimum retained area=80%;不得分别裁切或把 target 拉伸回 input FOV。
  5. 拆分防泄漏:先按 unique stable video / 原始 recording 划分 train/val/test,再切窗口。同一 stable video 的两个 unstable variants 必须留在同一 split。
  6. QA:检查动态物体 ghosting、局部拉伸、黑边、帧重复与错位;计算 stability、distortion、cropping ratio,并保留人工目检。

全量可生产 Final sample 调查

SourceRaw unitEligible切片规则Expected Final重叠状态 / 依据
MotionStab220 pairs / 110 stable videos220 pairs保留完整长 pair;训练时另按81帧切分220 long pairsFinal不切片FULL-PRODUCTION MEASURED;训练阶段另测得938个81帧 pair samples / 469个不同 stable-target 时间窗口;两者均 NOT GENERATED
DeepStab23 native pairs待按同一窗口规则测量3.0s / stride 3.0sNOT MEASURED目标 0%Raw partial;“23 对”不是 Final sample 数
BIT/StabFR45 native pairs待按同一窗口规则测量3.0s / stride 3.0sNOT MEASURED目标 0%Raw full verified;“45 对”不是 Final sample 数
NUS / Selfieevaluation paths / partial videos+masks不计入严格 paired GT0(当前口径)数据结构不是 synchronized unstable→stable ground truth
推荐 sample prompt:Stabilize the input video by removing unintended high-frequency camera shake while preserving intentional camera motion, scene content, subject motion, timing, and visual appearance. Avoid black borders, excessive cropping, geometric distortion, wobble, and temporal artifacts.
当前阶段:MotionStab、BIT/StabFR 与 NUS mirror Raw 已完成;Selfie 只有 CVPR 2021 partial Raw,ECCV 2018 仍因访问受阻不可用。MotionStab 计划生成220个长 Final pairs;训练阶段预期938个81帧 samples。当前实际生成数均为0。训练口径和尾段依据见独立报告

5Data volume(S3 实测)

SourceStatusVolume
DeepStab✓ partial ingestedS3:11,204,423,892 B(46 AVI / 23 对);官方:60 对
MotionStab✓ full verified rawS3:14 objects / 6,513,955,639 B;官方 ZIP 6,513,404,692 B;220 对 / 440 MP4;计划220个长 Final pairs,训练预期938个81帧 samples
BIT/StabFR✓ full verified rawS3:45 RAR / 632,909,900 B;45 对 / 90 videos
NUS✓ full verified mirror rawS3:6 ZIP / 1,915,407,601 B;144 对 / 288 AVI
Selfie ECCV 2018ACCESS BLOCKED官方 33-video payload 当前不可访问;0 objects
Selfie CVPR 2021PARTIAL VERIFIEDS3:71 AVI / 557,920,116 B;21 videos + 50 masks

raw 位置:MotionStab 位于 s3://tv2v-data/raw/taxonomy/Task_70_video_stabilization/MotionStab_ICCV2023/;DeepStab 仍在拆分前旧前缀 …/Task_15_video_element_editing/DeepStab/;其他 ingest 位于 …/Task_70_video_stabilization/{BIT_StabFR,NUS_Bundled_Camera_Paths,Selfie_Video_Stabilization}/

6License

License商用
DeepStab论文/下载页未发现明确 dataset license⚠️ 仅内部研究;flag Hokin
MotionStab官方 release 可访问;本次技术审计不等于商用或再分发授权⚠️ pending license review
BIT/StabFR官方页允许直接下载;未看到明确的商用/再分发 license⚠️ pending license review
NUS / Selfie论文公开不等于视频数据可商用;下载页未给出清晰再分发许可⚠️ eval-only pending review

7Source & re-download

s3://tv2v-data/raw/taxonomy/Task_15_video_element_editing/DeepStab/   # raw 不搬家(拆分前旧前缀)
└── data.zip + DATASET_CARD.md

# DeepStab paper/data: cg.cs.tsinghua.edu.cn/papers/TIP-2019-VideoStab.pdf
# MotionStab raw:
s3://tv2v-data/raw/taxonomy/Task_70_video_stabilization/MotionStab_ICCV2023/
├── release/MotionStab.zip
├── provenance/MotionStab.zip.sha256
└── audit/{source-provenance.json,source-file-manifest.tsv,unzip-test.log,video-files.txt,decode-failures.txt,full-audit.json,full-audit-summary.json,black-border-audit.json,black-border-summary.json,s3-readback-sha256.txt,task70_motionstab_audit.py,task70_motionstab_black_border_audit.py}

# MotionStab archive SHA-256: ab316c2c1cf1c45a52ebae7ad90dd5e215e7468c40c38a8a2e4bd8ca353ff099
# BIT/StabFR: zhangleibit.github.io/download/stabfr/dataset.html
# NUS/Bundled Paths: microsoft.com/en-us/research/publication/bundled-camera-paths-video-stabilization/
# Selfie: openaccess.thecvf.com/content_ECCV_2018/html/Yu_...html

验证层级:MotionStab 官方 ZIP 共 1,773 members,其中 880 个相关文件;440/440 MP4 完整解码,S3 全文件回读 SHA-256 匹配。其 844 个候选来自全量黑边/公共 crop 审计,且 Winnie 已接受最低 80% 保留画面规则。负责下载的 winnie-task70-motionstab 已于 2026-07-26 确认 terminated,delete-on-termination 根卷已删除。BIT/StabFR 90 videos、NUS 288 AVI、Selfie CVPR 2021 的 71 AVI 也均做全量解码;Selfie ECCV 2018 仍为 ACCESS BLOCKED。拆分依据见 Task_15 改进档案 #03