33 lines
1.6 KiB
Markdown
33 lines
1.6 KiB
Markdown
---
|
||
type: metric
|
||
node_id: metric:split-floor-and-representativeness
|
||
title: "指标: floor 达标率 + test 代表性偏差"
|
||
date: 2026-07-15
|
||
---
|
||
|
||
# 指标: floor 达标率 + test 代表性偏差
|
||
|
||
> 衡量切分是否满足两条硬约束：train 每高信号类型 defect 下限 + test 相对全局的代表性。
|
||
|
||
## 定义与判定
|
||
|
||
| 项 | 定义 | 判定 |
|
||
|----|------|------|
|
||
| floor 达标率 | 各高信号类型 train+val 内 T2 数 ≥ `floor_k[type]` 的类型占比 | **必须 100%**；否则选择器 `InfeasibleSplitError` fail loud |
|
||
| test 类型比例偏差 | reportable 类型（总题 ≥ report_floor=27）在 test 的比例 vs 全局比例的最大偏差 | ≤ `epsilon`（拟定 0.1） |
|
||
| test 难度画像偏差 | test 的 0/1/2/3-对视频占比 vs 全局（125/115/55/5=41.7/38.3/18.3/1.7%）的最大偏差 | ≤ `epsilon` |
|
||
| val 功效 | val 内错题数 | ≥ `val_wrong_min`（拟定 ≥20，McNemar 功效）；否则 `InsufficientValSignal` |
|
||
|
||
## 基线（全局分布，诊断无关，已知）
|
||
|
||
| 维度 | 全局值 |
|
||
|------|--------|
|
||
| 视频难度画像 | 全对125 / 1错115 / 2错55 / 3错5（共300） |
|
||
| reportable 类型（≥27题） | Object Reasoning 240、Action Reasoning 180、Info Synopsis 163、Temporal Reasoning 91、Action Recognition 63、Object Recognition 54、Counting 48、Attribute Perception 27 |
|
||
| 非 reportable | OCR 14、Spatial Reasoning 11、Temporal Perception 6、Spatial Perception 3（折进 overall） |
|
||
|
||
## 关联
|
||
- 度量表：`schema:split-manifest`（coverage_report）、`schema:baseline-diagnosis`
|
||
- 实现设计：`design:results-driven-video-split`
|
||
|