Winnie · 研究面板

Hippocampal 实习研究合集。点任一模块进入;每页右下角有标注工具(画笔 / 荧光笔 / 撤销 / 清空 / 导出 PNG)。

Yilan Zhang (Winnie) · 物理引擎 & AI Agent 研究

01

物理引擎 & Agent 学习模块

从零理解物理引擎与 3D AI agent 的四个入门模块,按顺序读。

02

V2V 数据集任务分类

tv2v-reasoning 方向:任务分类体系 + 逐任务数据集验货报告。

🍄
EXP025 · MUSHROOM SOUP · V0.1 · DEMO DATA

蘑菇汤分析 · 团队 Owner 评审

Task Owner 逐 Sample 记录 EXP025 表现,汇总整 Task 能力缺口与下一轮数据 sourcing 建议。当前为可交互 Demo,页面刷新后修改会重置。

打开分析页面 →
👁️
TASK 297 · PR #742 · REPLACEMENT GATE C · PIPELINE 0.7.0 · OWNER REVIEW REQUIRED

HD-EPIC Gaze-Primed Hand–Object Interaction

Replacement Full 共 8,334 个 canonical 样本;本次 20 个 exact-Final 样本覆盖 P01–P09、pickup / placement、81–96 帧、首中尾、交互证据极值、相邻 cupboard / bowl event,并包含已修复的 skipped-track 自然化回归样本,等待 Yilan 完整 Gate C Owner 审阅。

打开公开评审页 →
🎞️
TASK 296 · PR #653 · GATE C · FULL-DATA OWNER REVIEW REQUIRED

Sparse-Frame Dance Motion Restoration

99,937 个 canonical Full 样本已完成自动审计;本次 12 个 exact-head Final 样本覆盖 train/validation/test、全 9 个 camera、首中尾 ID、92/111 帧边界、近静止与最快运动、后视、自遮挡和突变转身,等待 Yilan 完整 Gate C Owner 审阅。

打开公开评审页 →
🚘
TASK 198 · v0.2 GATE C · OWNER REVIEW REQUIRED

Dashcam Video Super-Resolution

PR #549 · 43,806 个 near-81 canonical Final samples · 12 个 76–87 帧风险分层 review pairs,覆盖 train/val/test、首尾边界、0/90/270° rotation 与 rare yuvj420p;等待 Yilan 完整 Owner 审阅。

打开公开评审页 →
🎯
TASK 263 · PR #651 · GATE B v1.2.0 · OWNER REVIEW REQUIRED

Prompt-Guided Single-Object 3D Grounding

PR #651 · pipeline 1.2.0 · 8 个 capture/visit-disjoint Validation 样本覆盖全部 7 类物体、7×81 帧完整窗口、1×61 帧保留尾段、refrigerator anti-sliver 与 recognizability/occlusion 边界;10 FPS 完整解码、8/8 resume skip、32/32 独立重生成逐字节一致,等待 Yilan 完整 Owner 审阅。

打开公开评审页 →
🎯
TASK 263 · PR #644 · GATE C v1.2.0 · FULL-DATA OWNER REVIEW REQUIRED

Prompt-Guided Single-Object 3D Grounding · Final v1.2

1,044 个 canonical Final 样本已完成完整自动审计;本次 13 个 exact-Final 样本覆盖全部 7 类物体、首中尾 ID、61/79/81 帧、whole-object recognizability 下限、最小/最大投影框及 refrigerator anti-sliver 风险,全部以原生 10 FPS 播放,等待 Yilan 完整 Gate C Owner 审阅。

打开当前 Gate C 评审页 →
TASK 263 · PR #644 · HISTORICAL GATE C v1.1.1

Prompt-Guided Single-Object 3D Grounding · Final

PR #644 · pipeline 1.1.1 的旧 Final 审阅记录;已被当前 PR #651 的 81 帧 / 原生 10 FPS / whole-object recognizability v1.2.0 修订取代,不用于推进当前 Task 263。

打开历史 Gate C 页面 →
🔄
TASK 262 · GATE B · OWNER REVIEW REQUIRED

Opposite-view Human Video Synthesis

PR #529 · pipeline 0.2.0 · 8 个完整同步 Validation 样本 · 原始背景、近 180° 固定机位、四种对向 camera pair、三种 split 和 copy / framing / scale / motion / seek 风险均已覆盖;等待 Yilan 完整 Owner 审阅。

打开公开评审页 →
🎯
TASK 182 · GATE B · OWNER REVIEW REQUIRED

First-Frame-Guided Single-Object Video Segmentation

PR #633 · pipeline 0.4.3 · 10 个有序 RGB-overlay Validation 样本 · 新增真实 ordinal 575 Target PSNR 阈值回归并保留 ordinal 8234;10/10 生成、10/10 resume skip、40/40 fresh reproduction 逐字节一致。合并后只需用修复后的 validator 对现有 8,427 个 Full 输出做零写入审计,不需要重新 Full-gen;指定 Vivian,等待 Yilan Owner 审阅。

打开公开评审页 →
TASK 182 · PR #646 · GATE C · OWNER REVIEW REQUIRED

First-Frame-Guided Single-Object Video Segmentation · Final

8,427 个 canonical Final samples 已完成零重生成审计;10 个 exact-VersionId 样本覆盖首/尾、短窗、长窗、可见/遮挡转换及 ordinals 575 / 8234 回归。指定 Vivian,等待 Yilan 完整 Owner 审阅。

打开 Gate C 公开评审页 →
🎯
TASK 183 · NEAR-81 GATE B · OWNER PASS

Motion-Language-Guided Target Selection Correction

PR #502 · pipeline 0.3.1 · 9 个完整 Validation 样本 · Safari 兼容 H.264;每次先按按钮完整加载一对 Input+Target,加载完成后才播放。Owner 已完成 9/9 样本、27/27 检查并 PASS;PR 已 Ready,等待 DZDuncan 独立 Human Evaluator 审阅。

打开 Human Evaluator 评审页 →
🌐
TASK 198 · NEAR-81 GATE B · OWNER REVIEW REQUIRED

Dashcam Video Super-Resolution

PR #565 · v0.2 · 8 个 76–87 帧完整同步 Validation 样本 · 320×180 Input → 1280×720 Target;HTTPS 公开访问,等待 Yilan 完整审阅;指定 Evaluator 为 Skye。

打开公开评审页 →
🌐
TASK 199 · NEAR-81 GATE B · OWNER REVIEW REQUIRED

Dashcam Compression Artifact Removal

PR #588 · v0.3.0 · 8 个 76–87 帧完整同步 Validation 样本 · C30/C36/C42 H.264 Input → source-backed Target;公开访问,等待 Yilan 完整审阅;指定 Evaluator 为 foeasd,尚未请求。

打开公开评审页 →
TASK 199 · GATE C · OWNER REVIEW REQUIRED

Dashcam Compression Artifact Removal · Final

PR #634 · v0.3.0 · 12 个 76–87 帧 exact-Final 同步样本 · 覆盖三种压缩 profile、split 边界、稀有格式与明暗/细节风险;机器证据 PASS,等待 Yilan 完整审阅;指定 Evaluator 为 Ronghua。

打开 Gate C 公开评审页 →
📈
MIGRATION · CLOSURE REVIEW REQUESTED · 25 tests

TV2V Skill Design · Construction Progress

Migration 82%、Gate A 27%;Migration current head 为 f07dc204...,22 fixtures / 25 tests 已通过,正在等待 Duncan closure decision。

打开 Skill Progress Board →
🧩
MIGRATION · CLOSURE REVIEW REQUESTED · 25 tests

Migration Skill Consolidation · 比较、取舍与验证

Yilan / Duncan 两套候选如何形成唯一 canonical Skill;current head f07dc204...,22 fixtures / 25 tests,通过三轮 P1 修复,正在等待 Duncan closure decision。

打开 Decision Record →
🧭
SKILL DESIGN TEAM · 4 OWNERS · 3 WORKSTREAMS

Skill Design Team · 工作分配与集成顺序

Yilan 统筹;Yilan 驱动 Migration / Gate A,Duncan 驱动 Gate B / Full Generation,Skye + Ronghua 并行开发辅助 Skills;Runtime Orchestrator 最后接入。

打开 Team Operating Model →
🎓
TV2V INTRO · TASK DESIGN · WORKFLOW 3.5 · 2026-08-06

TV2V 项目、任务设计与工程流程 · 新同学讲解稿

从 Video In / Video Out、Input-Prompt-Target-Evaluation 四问与标准四件套,讲到 Gate B、Full、Gate C 和 ready;含 Task 70 实例、常见误区与一分钟总结。

打开讲解页 →
🧭
ENGINEERING WORKFLOW 3.5 · 2 HUMAN GATES · END-TO-END

TV2V Workflow 3.5 · 从 Build 到 Ready

官方 9 节点主链 + 展开的 13 步执行视图;解释 Migration/Gate A、Full Audit、Gate C 与 Promotion 的真实关系,并标出 Task_15 当前位于 Gate C Evaluator。

打开 Workflow Map →
📐
TV2V SKILLS · THIN V1 · C0–C10 · VERSION ROADMAP

TV2V Skills v1 · 交付标准与版本路线

统一 backbone 的 scope、四层 comparison、C0–C10 consolidation 与 release gate;并给 Skye / Frank 提供 Capacity Audit、PR Tracking 两类辅助 Skill 的适配方法。

打开 Delivery Standard →
🗂️
TV2V Skills · 7 entries · 17 commits · 2026-07-27

Yilan TV2V Skills Atlas · 功能与版本全史

只保留 TV2V workflow:逐项解释 6 个当前入口与 1 个退役 coordinator 的用途、权限边界、Stage 连续性,以及每次 commit 实际增加的功能。

打开 Skills Atlas →
🧰
Codex Skills · workflow 2.0.0 · 2026-07-23

TV2V Skills 运行手册

Migration → Gate A → Gate B 的调用指南、自动化与权限边界、五行 handoff;同时标出 Full Generation、Reviewer 与 Gate C + Promotion 的当前完成状态。

打开 Skills Guide →
🛤️
Stage Locator · workflow v1.0.1 · Live 2026-07-21

Yilan 与 Teammates · GitHub Stage Board

左侧纵向权威流程,右侧明确分开我的 5 项工作与 teammates 的 25 个 active PR;可按 owner scope/stage 筛选,并查看 Draft/Ready、review decision、blocker 与下一步。

打开 Task Stage Board →
🧮
Trainable Four-file Capacity · 12 Tasks · 2026-07-25

每个 Task 能生产多少组完整训练四件套?

按统一口径给 Task 13/14/15/16/48/50/52/70/75/77/78/79 各一个主数字:只扣媒体损坏、必要配对/标注缺失和真实结构不合,不扣版权、敏感内容或过严 validator。

打开 Sample 数审计 →
🏙️
TASK_161 · DATASET REPORT · VSCROWD · PARTIAL/PREVIEW

Task_161 · Urban Crowd Density Map Estimation · Dataset Report

复用 Task 20 已有 VSCrowd Raw;报告展示 634 条序列的 source-native 结构审计、两组 publisher JPEG evidence,以及 40 帧窗口下的 2,450 个候选样本测算。

打开 Dataset Report →
🧭
TASK_160 · DATASET REPORT · MOVI-E · FULL RAW VERIFIED

Task_160 · Video Object Coordinate Map Estimation · Dataset Report

MOVi-E 256×256 全量来源审计:307.59 GB、10,998 个 24-frame videos、Raw S3 1,347/1,347 对象回读通过,并含两组 source-native RGB / coordinates / segmentation evidence。

打开 Dataset Report →
🌡️
TASK_161 · V2V DEMO · 2 SAMPLES · 40 + 40 FRAMES

Task_161 · Urban Crowd Density Map Estimation · Demo Page

两组可播放 RGB Input → density-only heatmap Target;每组包含 40 帧 Input、40 帧 Target、完整 Prompt、Metadata、comparison preview 与来源追踪。

打开 2-Sample Demo →
🌈
TASK_160 · V2V DEMO · 2 SAMPLES · METADATA 1.2 PRE-FORMAL

Task_160 · Video Object Coordinate Map Estimation · Demo Page

两组 24-frame RGB Input → foreground NOCS Target;解释每个像素的 object-local XYZ 含义,并在页面内展示 Prompt、Metadata 1.2 draft 与详细 provenance。

打开 2-Sample Demo →
📇
Task 汇总 · 2026-07-16

23 项 Dataset Report 合订索引

指定 23 个 taxonomy 任务的一页总览:有样品的直达 Demo,另附报告入口;叠加任务描述、task prompt 与分类筛选。Task_13/15/16 已随重组更新。

进入 →
🎬
新增 · Demo Gallery · v5

23 项 V2V INPUT → TARGET Demo

直接浏览每个任务报告里的真实样例视频;可搜索、多选任务、创建带自定义名称与颜色的分类标签,按标签筛选、取消归类或清除本地分类。

打开 Gallery →
🔀
结构对照 · 2026-07-15

数据工程结构 vs 模型团队需要的结构

三来源对读(tv2v-dataset v0.1.0 / tv2v-reasoning repo / omni-data-schema)。分两部分:我们现在的结构(三套并存、路径已对不上)与模型团队要的结构(333 pipeline、3.3/3.4 混用)。最要命:同一个 M-012 两边要不同像素(洋红叠加 vs 黑底纯绿)+ v0.1.0 两处悬空引用 + omni 8 个 ID 撞车 + 缺脱敏契约。

进入 →
🗂️
分类报告 · 2026-07-13

V2V 任务分类报告 · Task_1~70 全表归类

70 个任务按「模型要学会的核心能力」分成 9 类(A 标注 / B 转换 / C 编辑 / D1-D3 时间因果 / E 空间 / F 跨模态 / G 纠错),每任务唯一归类、编号无空缺。含 Task_15 拆分定稿(15/50/70)、裁决规则。

进入 →
🧭
Taxonomy Inventory · 2026-07-21

112 项任务 · 专业能力 × 领域热力图

按 Google Sheet 当前任务名称与描述重建 inventory;H/I 仅作辅助。连续色阶矩阵包含边际总计、占比、覆盖率与可点击任务证据,并自动排除已删除的 Task。

进入 →
🆕
新增任务 · 2026-07-15

新增 6 个 V2V 任务 · Task_75–80

按能力大类归组:D2 逆推重排(拆解→组装反演 / 体操跳水乱序 / 装配步骤乱序)、D1 前向预测(物体状态变化 / 机械臂抓取滑脱)、G 纠错示范(新手→专家)。每任务唯一能力 × 唯一领域,附真实数据集(Assembly101 / FineGym / ChangeIt / BridgeData 等)。

进入 →
📖
流程指南 · 2026-07-14

raw → final 数据整理完整指南 · Winnie 版

基于 Youxin (Natalie) Task_6 原版增补:三仓库分工(GitHub 菜谱 / S3 raw 原料 / S3 final 成品 / EC2 厨房)、训练-评测卫生(Physics-IQ 为何不进 final)、6 个踩坑实录、Task_12~16 逐任务注意事项。

进入 →
🎯
调研 · 2026-07-14

INPUT / TARGET 是否重叠 · 预测类任务约定

leader 提问:预测/补帧类任务 TARGET 要不要含 INPUT 帧?deep-research 查 19 篇一手来源、25 条声明全过验证。结论:TARGET 只放新帧、不重叠为全领域通用约定(PredBench/MCVD/SVD…);已知帧只作条件、绝不进 loss;Task_12 无需改。含利弊表 + 两层区分 + caveats。

进入 →
🚦 任务流水线 — 每个任务五步走:初筛 → Dataset Report(→改进)→ Raw 入湖 → Preview → Final ✓(流程定义见上方指南)
GATE A · PROMPT DELTA PR #71 exact head 6a76740 · 3 个变更样本的完整 Input / Prompt / Target · focused reviewer preview → FINAL ✓ GSO 2,060 GSO 2,060 已入湖(1,030 物体×static+小弧,id 0-2059 零空洞);ABO(真实转台)raw 已移入本任务,批量 ≈16,232 待做——A/B 冻结规格见 ABO 样品页 → GATE B · OWNER PASS PR #90 exact head 1406d91 · implementation 1.0.0 · 5 个 canonical Validation 样本覆盖获批 GSO framing benchmark · Winnie owner attestation 已记录,等待 MJXWANG independent Gate B review。 GATE B · APPROVED PR #222 exact head 8718019 · selective background repair · automated + owner + MJXWANG fast-check PASS;已合并为 5249c61,并完成 135 个 Final replacement。 GATE C · OWNER PASS Workflow 3.5 replacement PR #337 · 19 个 exact canonical Final stratified samples · Owner PASS d19cf997 · evaluator DZDuncan · continuation playback;Ready handoff。 HISTORICAL · PR #231 旧 Workflow Gate C 页面保留作历史证据;已由 Workflow 3.5 replacement PR #337 与 sealed common Gate C packet 取代。 背景消融 · 5×6 5 个高亮度 GSO 主体对比官方白、两档降亮白、中灰与 adaptive neutral;固定相机、材质和白色世界光照。当前证据支持 #D1D1D1 作为温和候选,但需补深色/中灰主体后再定全局策略。 FINAL ✓ 599 球追踪两源已批量:乒乓(OTTG) 413 + 网球(TrackNet) 186 = 599 样本进 final_v1/New_Tasks/Task_14_ball_tracking/(id 0–598 无空洞,四件套齐全)· 代码待推 GitHub GATE C · OWNER PASS · FAST-CHECK PENDING PR #199 exact head 650c106 · Final 185 samples / 740 objects / 520,459,609 B · 12 个分层 Gate C 样本与 18/18 owner 条件均已通过;PR 已转 Ready 并请求 MJXWANG independent fast-check。 GATE B · OWNER PASS · FAST-CHECK PENDING PR #188 exact head bf4f0c8 · implementation 1.0.2 · 6 个 canonical Validation 样本覆盖 baseline、short tail 与全部 4 个历史误判案例;Winnie owner PASS 已绑定同一页面和 head,PR 已转 Ready 并请求 MJXWANG fast-check。 GATE B · FAST-CHECK APPROVED PR #163 exact-head 617e7f9:Winnie owner PASS 与 MJXWANG fast-check APPROVED 均已记录;实现已合入 dev commit b12bc996。 HISTORICAL · FALSE-POSITIVE DIAGNOSTIC 历史样本 108/176/182/183 诊断:证据显示旧 validator 把原有计分牌和转播字幕的压缩色差误判成新增红圈;当前 PR #188 已移除该规则。 WORKFLOW 3.5 · GATE C OWNER PASS · EVALUATOR PENDING Ready PR #336 · exact head 89c7f53 · evidence d1eb328 · 12/12 样本与 36/36 Owner checklist PASS;已请求 MJXWANG 完成独立 Human Evaluator review。 GATE B · APPROVED · MERGED PR #308 exact head 39cfdb1 · Owner 与 MJXWANG 双 PASS;Task_15-only canonical/public 例外获 lead 明确批准并已合入 dev@e29de6f。 FINAL ✓ 89 RE10K 场景新视角 89 样本(2026-07-15 移入自旧 Task_13 final,重编号 id 0-88,含逐帧相机位姿)· raw + final 均已随重组迁入本任务 GATE B · OWNER PASS PR #121 exact head 803c287 · Gate B 已批准并合并;此页保留为历史 exact-head Validation evidence。 GATE C · OWNER PASS PR #202 rebased exact head 39e922e · Task 16 tree 与 owner PASS head byte-identical;frozen Final v1 6,772 samples,等待 MJXWANG independent review。 W3.5 GATE C · OWNER REVIEW Replacement PR #325 · evidence f2458d3 · 10 个 frozen Final 分层样本与三项逐样本 checklist;等待本次 exact-head Owner PASS/FAIL。 DESIGN PILOT · OWNER PASS Detailed correction review · REHAB24-6 12 条 + ExeCheck 5 种 exercise · exact manifest owner 17/17 PASS;另有 remaining-actions 10/10 PASS;不是 Gate evidence。 W3.5 GATE B · OWNER RE-REVIEW Replacement PR #448 · producing head 8b1ba327 · 17 samples / 51 checks · output ID 已对齐 Task-qualified 标准,source-native ID 与媒体/Prompt 不变;等待 fresh Owner PASS/FAIL。 WORKFLOW 3.5 · GATE C OWNER REVIEW PR #446 · pipeline 2.0.3 · 20 exact Final pairs · 1,303-sample Full audit PASS · designated evaluator MJXWANG · waiting for Winnie's overall PASS/FAIL → MERGED GATE B AUTHORITY · HISTORICAL PR #375 · pipeline 2.0.3 · 9 exact Validation pairs · BIT/running2 fully excluded · Owner and evaluator approved; merged before canonical Full → TRAINING CAPACITY · 81 FRAMES Final 保留220个长对齐 pairs · 训练阶段按81帧、stride 81、0 overlap → 938 pair samples / 469 unique stable-target windows → GATE A DESIGN PREVIEW · DRAFT PR #201 exact head fcb87c9 · 7 组可播放 Raw Input/Target · 81 frames / 30 FPS / alignment PASS · 等待 Winnie 逐组查看 → WORKFLOW 3.5 · REBOUND GATE B OWNER RECORD PR #338 · evaluator rebound to DZDuncan · identical DeepStab + BIT/StabFR + MotionStab 8-sample media · Owner record reseal pending → MERGED PRIOR AUTHORITY · HISTORICAL PR #322 · producing commit aba8188 · 7 个完整同步样本 · 首次 Full 暴露 counterexample 后由 PR #338 replacement Gate B 取代;页面保留追溯 → SUPERSEDED · HISTORICAL 旧 PR #165 · DeepStab-only 23-pair Gate B repair 已 on hold;保留页面仅供追溯,不代表当前 Gate B →
🔁 任务改进档案 — 报告不是终点:被质疑 → 重查证 → 迭代的全过程
📄 关联阅读(非主线)
03

3D 可交互资产

AI 生成 / 自建 / 外包三条路线做「可动关节」资产的全部实验。

📷 相机迭代时间线(Test7 · DSLR + 24-70mm,v1 → 最新)
🚲 Vibe 实验(AI 生成可交互资产)
🔎 资产来源取证
🏭 外包调研(独立分支)
04

项目架构参考

genesis-3d-agent 的架构梳理与专项调研,随时翻查。

05

科普 · 打底概念

做数据集决策前需要先搞懂的底层概念,从零讲起、生活化打比方。

其他页面

提示:右下角标注工具 —— 选画笔/荧光笔后在页面上划线;↶ 撤销、🗑 清空;⬇ PNG 一键把标注导出成图片(标注 + 白底)存到本地。