1.4 KiB
1.4 KiB
type, node_id, title, date
| type | node_id | title | date |
|---|---|---|---|
| design | design:results-driven-video-split | 结果驱动的视频级 train/val/test 切分（替代自造题模块） | 2026-07-15 |
结果驱动的视频级 train/val/test 切分（替代自造题模块）
全文设计：2026-07-15-results-driven-video-split-design.md
决策与理由
- 砍自造题：14 天内造 Video-MME 同质量题风险过高；DataLoader 本就只加载+切分、不合成，故事更忠实。
- 方案 A（内部切分）：300 视频按视频原子切 ~100 train+val / 200 test，零内容泄漏。
- 核心洞察（耦合）：
train错题+test错题=240固定 → 富集 train 会注水 test；故 test 神圣代表性冻结，train 只靠 floor + 多样性富集（不偷 test 难题），ε 约束是耦合的算法化身。 - signal_score：
DiagnosisResult的确定性投影，T0 INFRA / T1 lapse(混无解,接受) / T2 defect(训练主体)。 - 多样性：对
(task_type × error_type)48 格的 submodular 最大覆盖（evolution_target 为 error_type 派生标注，非独立轴），非错题数。 - 选择算法：贪心联合约束 max-coverage，floor 硬约束先满足、多样性目标后最大化、不可行 fail loud。