--- type: metric node_id: metric:split-floor-and-representativeness title: "指标: floor 达标率 + test 代表性偏差" date: 2026-07-15 --- # 指标: floor 达标率 + test 代表性偏差 > 衡量切分是否满足两条硬约束:train 每高信号类型 defect 下限 + test 相对全局的代表性。 ## 定义与判定 | 项 | 定义 | 判定 | |----|------|------| | floor 达标率 | 各高信号类型 train+val 内 T2 数 ≥ `floor_k[type]` 的类型占比 | **必须 100%**;否则选择器 `InfeasibleSplitError` fail loud | | test 类型比例偏差 | reportable 类型(总题 ≥ report_floor=27)在 test 的比例 vs 全局比例的最大偏差 | ≤ `epsilon`(拟定 0.1) | | test 难度画像偏差 | test 的 0/1/2/3-对视频占比 vs 全局(125/115/55/5=41.7/38.3/18.3/1.7%)的最大偏差 | ≤ `epsilon` | | val 功效 | val 内错题数 | ≥ `val_wrong_min`(拟定 ≥20,McNemar 功效);否则 `InsufficientValSignal` | ## 基线(全局分布,诊断无关,已知) | 维度 | 全局值 | |------|--------| | 视频难度画像 | 全对125 / 1错115 / 2错55 / 3错5(共300) | | reportable 类型(≥27题) | Object Reasoning 240、Action Reasoning 180、Info Synopsis 163、Temporal Reasoning 91、Action Recognition 63、Object Recognition 54、Counting 48、Attribute Perception 27 | | 非 reportable | OCR 14、Spatial Reasoning 11、Temporal Perception 6、Spatial Perception 3(折进 overall) | ## 关联 - 度量表:`schema:split-manifest`(coverage_report)、`schema:baseline-diagnosis` - 实现设计:`design:results-driven-video-split`