docs: register baseline_diagnosis and split_manifest schemas with baseline metrics

2026-07-15 11:42:38 -04:00
parent cfa510a7e5
commit 745b600b5d
8 changed files with 236 additions and 3 deletions
@@ -0,0 +1,25 @@
+---
+type: metric
+node_id: metric:split-cell-coverage
+title: "指标: 48格(task_type×error_type)多样性覆盖率"
+date: 2026-07-15
+---
+
+# 指标: 48格(task_type×error_type)多样性覆盖率
+
+> 衡量 train+val 的 T2 defect 覆盖了多少种不同失败模式（多样性目标函数的验收）。
+
+## 定义与判定
+
+| 项 | 值 |
+|----|----|
+| 格子空间 | `task_type(12) × error_type(4)` = 48 格；但长尾类型无 defect 时对应格子天然空 |
+| 覆盖数 | train+val 内 T2 题 `cell_of` 并集去重后的格子数 |
+| 覆盖率 | 覆盖数 / 全数据集实际可达格子数（分母=全 240 非对中 T2 覆盖的格子集） |
+| 基线 | **待首次诊断后建立**（实际可达格子数依赖 error_type 分布，运行前未知） |
+| 判定 | 贪心 submodular 有 1−1/e 保证；验收要求 train+val 覆盖率接近全集可达格子（如 ≥90%），显著偏低提示 floor/ε 约束挤占了多样性 |
+
+## 关联
+- 度量表：`schema:baseline-diagnosis`、`schema:split-manifest`（coverage_report）
+- 实现设计：`design:results-driven-video-split`
+
@@ -0,0 +1,32 @@
+---
+type: metric
+node_id: metric:split-floor-and-representativeness
+title: "指标: floor 达标率 + test 代表性偏差"
+date: 2026-07-15
+---
+
+# 指标: floor 达标率 + test 代表性偏差
+
+> 衡量切分是否满足两条硬约束：train 每高信号类型 defect 下限 + test 相对全局的代表性。
+
+## 定义与判定
+
+| 项 | 定义 | 判定 |
+|----|------|------|
+| floor 达标率 | 各高信号类型 train+val 内 T2 数 ≥ `floor_k[type]` 的类型占比 | **必须 100%**；否则选择器 `InfeasibleSplitError` fail loud |
+| test 类型比例偏差 | reportable 类型（总题 ≥ report_floor=27）在 test 的比例 vs 全局比例的最大偏差 | ≤ `epsilon`（拟定 0.1） |
+| test 难度画像偏差 | test 的 0/1/2/3-对视频占比 vs 全局（125/115/55/5=41.7/38.3/18.3/1.7%）的最大偏差 | ≤ `epsilon` |
+| val 功效 | val 内错题数 | ≥ `val_wrong_min`（拟定 ≥20，McNemar 功效）；否则 `InsufficientValSignal` |
+
+## 基线（全局分布，诊断无关，已知）
+
+| 维度 | 全局值 |
+|------|--------|
+| 视频难度画像 | 全对125 / 1错115 / 2错55 / 3错5（共300） |
+| reportable 类型（≥27题） | Object Reasoning 240、Action Reasoning 180、Info Synopsis 163、Temporal Reasoning 91、Action Recognition 63、Object Recognition 54、Counting 48、Attribute Perception 27 |
+| 非 reportable | OCR 14、Spatial Reasoning 11、Temporal Perception 6、Spatial Perception 3（折进 overall） |
+
+## 关联
+- 度量表：`schema:split-manifest`（coverage_report）、`schema:baseline-diagnosis`
+- 实现设计：`design:results-driven-video-split`
+
@@ -0,0 +1,26 @@
+---
+type: metric
+node_id: metric:split-signal-tier-distribution
+title: "指标: 诊断信号 tier 分布（T0/T1/T2/uncertain 占比）"
+date: 2026-07-15
+---
+
+# 指标: 诊断信号 tier 分布（T0/T1/T2/uncertain 占比）
+
+> 衡量 240 非对题经诊断后各信号层占比，决定训练可用信号量。
+
+## 定义与判定
+
+| 项 | 值 |
+|----|----|
+| 数据源 | `baseline_diagnosis`（run_id=`infer_adhoc`，某 diag_fingerprint） |
+| 计算 | 按 tier 分组计数 / 总非对题数 |
+| 硬性锚点（诊断前已知） | 总题 900、正确 660、非对 **240**（236 可诊断错 + **4 INFRA→T0**） |
+| T1/T2 分布 | **待首次诊断后建立**（defect vs lapse 由 judge 判定，运行前未知） |
+| uncertain | judge 降级题占比，**待建立**；期望低（<5%），过高提示 judge 不稳 |
+| 判定 | T2（可训练 defect）占比过低（如 <30% 可诊断错）→ 训练信号不足告警 → 触发设计 §14 方案 B 评估 |
+
+## 关联
+- 度量表：`schema:baseline-diagnosis`
+- 实现设计：`design:results-driven-video-split`
+