docs: register baseline_diagnosis and split_manifest schemas with baseline metrics
This commit is contained in:
@@ -0,0 +1,32 @@
|
||||
---
|
||||
type: metric
|
||||
node_id: metric:split-floor-and-representativeness
|
||||
title: "指标: floor 达标率 + test 代表性偏差"
|
||||
date: 2026-07-15
|
||||
---
|
||||
|
||||
# 指标: floor 达标率 + test 代表性偏差
|
||||
|
||||
> 衡量切分是否满足两条硬约束:train 每高信号类型 defect 下限 + test 相对全局的代表性。
|
||||
|
||||
## 定义与判定
|
||||
|
||||
| 项 | 定义 | 判定 |
|
||||
|----|------|------|
|
||||
| floor 达标率 | 各高信号类型 train+val 内 T2 数 ≥ `floor_k[type]` 的类型占比 | **必须 100%**;否则选择器 `InfeasibleSplitError` fail loud |
|
||||
| test 类型比例偏差 | reportable 类型(总题 ≥ report_floor=27)在 test 的比例 vs 全局比例的最大偏差 | ≤ `epsilon`(拟定 0.1) |
|
||||
| test 难度画像偏差 | test 的 0/1/2/3-对视频占比 vs 全局(125/115/55/5=41.7/38.3/18.3/1.7%)的最大偏差 | ≤ `epsilon` |
|
||||
| val 功效 | val 内错题数 | ≥ `val_wrong_min`(拟定 ≥20,McNemar 功效);否则 `InsufficientValSignal` |
|
||||
|
||||
## 基线(全局分布,诊断无关,已知)
|
||||
|
||||
| 维度 | 全局值 |
|
||||
|------|--------|
|
||||
| 视频难度画像 | 全对125 / 1错115 / 2错55 / 3错5(共300) |
|
||||
| reportable 类型(≥27题) | Object Reasoning 240、Action Reasoning 180、Info Synopsis 163、Temporal Reasoning 91、Action Recognition 63、Object Recognition 54、Counting 48、Attribute Perception 27 |
|
||||
| 非 reportable | OCR 14、Spatial Reasoning 11、Temporal Perception 6、Spatial Perception 3(折进 overall) |
|
||||
|
||||
## 关联
|
||||
- 度量表:`schema:split-manifest`(coverage_report)、`schema:baseline-diagnosis`
|
||||
- 实现设计:`design:results-driven-video-split`
|
||||
|
||||
Reference in New Issue
Block a user