← 返回研究面板
Screening · 初筛档案 · 流水线第①步

Task_76 新手→专家示范
新手技能视频 → 评估水平 + 生成同任务专家级示范(v2v)

G 纠错与示范 × 生活/其他 · 提出人 Winnie · 2026-07-14 立项(六任务设计评审存活 2/6 之一)

能力 G 纠错与示范领域 生活/其他Ego-Exo4D 1,286h熟练度 4 档gated·签协议
1

任务定义

INPUT = 新手做某项技能的视频(攀岩/篮球/烹饪/急救/舞蹈/乐器);TARGET = 水平评估 + 同一任务的专家级示范视频(可附专家解说字幕)。题型:编辑+改写;能力×领域:G 纠错与示范 × 生活/其他

2

立项依据(为什么是它)

  • G 纠错示范全表只用了 4 次(21 健身/48 康复/49 乐器/61 装配),热力图 §4 给 G 配了 +4 名额;
  • 与 21/48/49 的差异(防重复声明):那三个标注具体动作错误、生成"同一个人改正后"的动作(纠正需合成);本任务做水平评估 + 同任务真实专家示范配对——示范是实拍的,一帧不用造假,契合"不造假数据"家规;
  • 出自 2026-07-14 六任务设计评审:6 个候选撤 4(撞 Task_31 MM-AU / Task_12 / 实现难),本任务与「拆解→组装反演」为存活的 2 个。
3

数据源初筛(已核实)

Ego-Exo4D(Meta + 13 城高校,https://ego-exo4d-data.org/ · arXiv:2311.18259):1,286 小时同步第一+第三视角视频,740 名参与者,123 个真实场景,8 个技能域。三样关键标注:①熟练度四档(Novice/Early/Intermediate/Late Expert,6 个域有标注)②专家解说(真教练逐段口头点评,音频+文字)③同一任务多人多水平演示(设计使然,非巧合)。官方 benchmark 含 proficiency estimation 与 cross-view translation。

License:签 Ego-Exo4D 协议(同 Ego4D 流程,Duncan 在 Task_68 走过表单)→ gated flag,入湖前需批。

4

设计要点与风险

  • 语义对齐而非像素对齐:INPUT/TARGET 不是同一人同机位——评测按"是否正确完成同一任务",不做逐像素比对(与 GoPro 模糊/清晰那类严格配对本质不同,报告里要写明);
  • 机位建议两侧都用 exo(第三视角)保持可比,ego 可作附加条件;
  • 体量 TB 级但熟练度标注只覆盖 6 域;10k 样本靠"低水平段 × 专家段"组合配对 + 滑窗,验货实测为准;
  • Bonus:同一份 raw 可喂 Task_53(exo↔ego 跨视角)——cross-ref 复用先例。
5

下一步(dataset report 要验什么)

  • 签协议拿下载权限 → 同区 EC2 全量/分域下载 → 逐字节审计;
  • 实测熟练度标注覆盖的段数、可配对的(新手,专家)组合数 → 10k 可行性实数;
  • 抽 1 组真实配对渲演示对(新手攀岩→专家同线示范);
  • license 原文逐条核,gated 回来路径写卡。
🚦 任务面板🧭 热力图(G×生活/其他)初筛完成 2026-07-14 · 明细 research/2026-07-14_winnie-6-new-task-designs.md #5