docs(plans): add Spec-3 question-gen-v2 implementation plan

9 tasks: type extension → postprocess → families → sampler_v2 → generator_v2 → gates → run_store → pipeline_v2 → CLI integration. Includes structured-logging schemas/metrics and Codex review revisions.
2026-07-11 22:57:47 -04:00
parent 8c9adfd3fa
commit 043d4aa46f
10 changed files with 964 additions and 3 deletions
@@ -0,0 +1,33 @@
+---
+type: metric
+node_id: metric:qgen-answer-uniformity
+title: 答案位置分布均匀性
+date: 2026-07-12
+---
+
+# 答案位置分布均匀性
+
+## 定义
+
+最终接受题目中，正确答案在 A/B/C/D 四个位置的分布是否均匀。
+
+## 判定方式
+
+- **类型**: 硬性（卡方检验）
+- **阈值**: χ² 检验 p > 0.05（不拒绝均匀分布假设）
+- **计算**: 对 accepted 题目统计 correct_answer 的 A/B/C/D 频次，做 χ²(df=3) 检验
+- **数据源**: 题目 JSON 文件（correct_answer 字段）
+
+## 基线
+
+设计 §7.3 要求 shuffle 后必须均匀；不依赖历史基线。
+
+## 验证方式
+
+```python
+from scipy.stats import chisquare
+observed = [count_A, count_B, count_C, count_D]
+expected = [total/4] * 4
+stat, p = chisquare(observed, expected)
+assert p > 0.05, f"答案位置分布不均匀: p={p:.4f}"
+```