1.6 KiB
1.6 KiB
type, node_id, title, date
| type | node_id | title | date |
|---|---|---|---|
| metric | metric:split-floor-and-representativeness | 指标: floor 达标率 + test 代表性偏差 | 2026-07-15 |
指标: floor 达标率 + test 代表性偏差
衡量切分是否满足两条硬约束：train 每高信号类型 defect 下限 + test 相对全局的代表性。
定义与判定
| 项 | 定义 | 判定 |
|---|---|---|
| floor 达标率 | 各高信号类型 train+val 内 T2 数 ≥ floor_k[type] 的类型占比 |
必须 100%；否则选择器 InfeasibleSplitError fail loud |
| test 类型比例偏差 | reportable 类型（总题 ≥ report_floor=27）在 test 的比例 vs 全局比例的最大偏差 | ≤ epsilon（拟定 0.1） |
| test 难度画像偏差 | test 的 0/1/2/3-对视频占比 vs 全局（125/115/55/5=41.7/38.3/18.3/1.7%）的最大偏差 | ≤ epsilon |
| val 功效 | val 内错题数 | ≥ val_wrong_min（拟定 ≥20，McNemar 功效）；否则 InsufficientValSignal |
基线（全局分布，诊断无关，已知）
| 维度 | 全局值 |
|---|---|
| 视频难度画像 | 全对125 / 1错115 / 2错55 / 3错5（共300） |
| reportable 类型（≥27题） | Object Reasoning 240、Action Reasoning 180、Info Synopsis 163、Temporal Reasoning 91、Action Recognition 63、Object Recognition 54、Counting 48、Attribute Perception 27 |
| 非 reportable | OCR 14、Spatial Reasoning 11、Temporal Perception 6、Spatial Perception 3（折进 overall） |
关联
- 度量表：
schema:split-manifest（coverage_report）、schema:baseline-diagnosis - 实现设计：
design:results-driven-video-split