输入抖动视频,输出时间与语义内容一致、相机路径更平滑的稳定视频。核心不是把画面“锁死”,而是去除高频手抖,保留有意的平移、转向与跟拍;同时控制裁切、几何扭曲、黑边和动态物体伪影。
任务:INPUT 是含非预期手抖/高频旋转和平移的视频;TARGET 是同一时段、同一场景、同一主体运动的稳定版本。模型应保留有意相机运动(pan / forward / tracking),只平滑抖动,并减少裁切、黑边、局部拉伸和 rolling-shutter/jello 伪影。与 Task_25 去模糊/超分不同:Task_70 修的是跨帧相机轨迹,不以提高单帧清晰度为目标。
↑ 入湖的 DeepStab 同号成对:同一路线的抖动版与稳定版——稳像的直接监督对(INPUT=unstable,TARGET=stable)。
负责:真实世界直接监督。论文用双相机手持装置同步拍 steady/unsteady,并对齐、裁公共视野;官方论文报告 60 对、30fps、每段不超过 30 秒,拆为 44 train / 8 val / 8 test。S3 实测的 data.zip 为 23 对 / 46 AVI / 11,204,423,892 B,因此当前是官方规模的 partial ingest,不应把 46 AVI 写成完整数据集。官方论文。
负责:补充真实场景 full-reference 评测/成对监督候选。作者用 DJI Osmo 与 GoPro 的定制双相机装置同步采集 shaky/stable,官方页直接提供 9 类 × 5 组 = 45 对:walking、climbing、running、riding、driving、large parallax、crowd、near-range object 和 dark。优点是独立、干净、可下载的真实成对 MP4;限制是双实体相机存在轻微 baseline/FOV 差异,且数据再分发/商用权利需核准。官方项目页 · 45 对下载页。
官方 walking1.rar 中直接提供的 shaky.mp4 / groundtruth.mp4;同起止时间窗、同帧率、两边均为独立视频,不是从 presentation 切出。
负责:真实通用稳像泛化评测,不作为 paired V2V 训练 GT。常用基准含 144 段,覆盖 regular/running/zooming/crowd/parallax/quick rotation 等类别;原始 test video 没有每帧严格对齐的 stable target,论文 result 是算法输出,只用于演示/评价。Microsoft Research 官方页 · 作者官方 demo。
来自作者 Shuaicheng Liu 发布的 SIGGRAPH 2013 官方 Vimeo demo。右侧是论文方法结果,不是 dataset 自带 paired ground truth,因此只作 eval sample。
负责:前摄人物场景泛化评测,覆盖人物非刚体运动、面部运动和背景遮挡。ECCV 2018 官方 33-video Google Drive payload 当前不可访问,因此该 benchmark 没有完成下载,也不能标为可用。目前只有 CVPR 2021 官方仓库链接的公开文件夹可以部分访问;实测取得 21 videos + 50 masks(71 AVI / 557,920,116 B),全部可解码,但这不是 ECCV 2018 的 33-video release,也不是完整的 CVPR 2021 训练集。没有严格 paired stable GT,不能直接落成 supervised 四文件训练对。CVPR 2021 官方代码/数据页 · ECCV 2018 官方项目页。
来自 CVF supplementary 指向的作者官方视频,将同一时段的 Input / Our Result 分栏裁出;两边均为可播放视频。右侧是论文方法输出,不是 dataset stable GT。
s3://tv2v-data/raw/taxonomy/Task_15_video_element_editing/DeepStab/,按任务 cross-ref 复用(一份 raw 多任务,raw 不搬家)。| 文件 | 格式 | 类型 | 含义 |
|---|---|---|---|
| DeepStab/data.zip | zip → AVI | paired video | S3 当前同号 stable/unstable ×23 对;官方论文总规模 60 对 |
| MotionStab.zip | ZIP → MP4 + NPY | paired video | 每对含 <id>-unstab.mp4、<id>-stab.mp4、<id>-fi.npy、<id>-bi.npy;220 对 |
| input_video.mp4 | H.264 MP4 | model input | unstable 时间窗口;统一 fps/尺寸但不得改时间轴 |
| target_video.mp4 | H.264 MP4 | ground truth | 同号 stable 的同步窗口;保留合理 crop/FOV 差异 |
| prompt.txt | UTF-8 text | instruction | 说明去除非预期抖动、保留有意运动与内容 |
| metadata.json | JSON | provenance + QA | 源 pair、窗口、对齐、fps、crop、hash、license flag |
unstable/N.avi ↔ stable/N.avi,先验证可解码、时长、fps、分辨率。minimum retained area=80%;不得分别裁切或把 target 拉伸回 input FOV。| Source | Raw unit | Eligible | 切片规则 | Expected Final | 重叠 | 状态 / 依据 |
|---|---|---|---|---|---|---|
| MotionStab | 220 pairs / 110 stable videos | 220 pairs | 保留完整长 pair;训练时另按81帧切分 | 220 long pairs | Final不切片 | FULL-PRODUCTION MEASURED;训练阶段另测得938个81帧 pair samples / 469个不同 stable-target 时间窗口;两者均 NOT GENERATED |
| DeepStab | 23 native pairs | 待按同一窗口规则测量 | 3.0s / stride 3.0s | NOT MEASURED | 目标 0% | Raw partial;“23 对”不是 Final sample 数 |
| BIT/StabFR | 45 native pairs | 待按同一窗口规则测量 | 3.0s / stride 3.0s | NOT MEASURED | 目标 0% | Raw full verified;“45 对”不是 Final sample 数 |
| NUS / Selfie | evaluation paths / partial videos+masks | 不计入严格 paired GT | — | 0(当前口径) | — | 数据结构不是 synchronized unstable→stable ground truth |
Stabilize the input video by removing unintended high-frequency camera shake while preserving intentional camera motion, scene content, subject motion, timing, and visual appearance. Avoid black borders, excessive cropping, geometric distortion, wobble, and temporal artifacts.| Source | Status | Volume |
|---|---|---|
| DeepStab | ✓ partial ingested | S3:11,204,423,892 B(46 AVI / 23 对);官方:60 对 |
| MotionStab | ✓ full verified raw | S3:14 objects / 6,513,955,639 B;官方 ZIP 6,513,404,692 B;220 对 / 440 MP4;计划220个长 Final pairs,训练预期938个81帧 samples |
| BIT/StabFR | ✓ full verified raw | S3:45 RAR / 632,909,900 B;45 对 / 90 videos |
| NUS | ✓ full verified mirror raw | S3:6 ZIP / 1,915,407,601 B;144 对 / 288 AVI |
| Selfie ECCV 2018 | ACCESS BLOCKED | 官方 33-video payload 当前不可访问;0 objects |
| Selfie CVPR 2021 | PARTIAL VERIFIED | S3:71 AVI / 557,920,116 B;21 videos + 50 masks |
raw 位置:MotionStab 位于 s3://tv2v-data/raw/taxonomy/Task_70_video_stabilization/MotionStab_ICCV2023/;DeepStab 仍在拆分前旧前缀 …/Task_15_video_element_editing/DeepStab/;其他 ingest 位于 …/Task_70_video_stabilization/{BIT_StabFR,NUS_Bundled_Camera_Paths,Selfie_Video_Stabilization}/。
| 源 | License | 商用 |
|---|---|---|
| DeepStab | 论文/下载页未发现明确 dataset license | ⚠️ 仅内部研究;flag Hokin |
| MotionStab | 官方 release 可访问;本次技术审计不等于商用或再分发授权 | ⚠️ pending license review |
| BIT/StabFR | 官方页允许直接下载;未看到明确的商用/再分发 license | ⚠️ pending license review |
| NUS / Selfie | 论文公开不等于视频数据可商用;下载页未给出清晰再分发许可 | ⚠️ eval-only pending review |
s3://tv2v-data/raw/taxonomy/Task_15_video_element_editing/DeepStab/ # raw 不搬家(拆分前旧前缀)
└── data.zip + DATASET_CARD.md
# DeepStab paper/data: cg.cs.tsinghua.edu.cn/papers/TIP-2019-VideoStab.pdf
# MotionStab raw:
s3://tv2v-data/raw/taxonomy/Task_70_video_stabilization/MotionStab_ICCV2023/
├── release/MotionStab.zip
├── provenance/MotionStab.zip.sha256
└── audit/{source-provenance.json,source-file-manifest.tsv,unzip-test.log,video-files.txt,decode-failures.txt,full-audit.json,full-audit-summary.json,black-border-audit.json,black-border-summary.json,s3-readback-sha256.txt,task70_motionstab_audit.py,task70_motionstab_black_border_audit.py}
# MotionStab archive SHA-256: ab316c2c1cf1c45a52ebae7ad90dd5e215e7468c40c38a8a2e4bd8ca353ff099
# BIT/StabFR: zhangleibit.github.io/download/stabfr/dataset.html
# NUS/Bundled Paths: microsoft.com/en-us/research/publication/bundled-camera-paths-video-stabilization/
# Selfie: openaccess.thecvf.com/content_ECCV_2018/html/Yu_...html
验证层级:MotionStab 官方 ZIP 共 1,773 members,其中 880 个相关文件;440/440 MP4 完整解码,S3 全文件回读 SHA-256 匹配。其 844 个候选来自全量黑边/公共 crop 审计,且 Winnie 已接受最低 80% 保留画面规则。负责下载的 winnie-task70-motionstab 已于 2026-07-26 确认 terminated,delete-on-termination 根卷已删除。BIT/StabFR 90 videos、NUS 288 AVI、Selfie CVPR 2021 的 71 AVI 也均做全量解码;Selfie ECCV 2018 仍为 ACCESS BLOCKED。拆分依据见 Task_15 改进档案 #03。