iomgaa
043d4aa46f
9 tasks: type extension → postprocess → families → sampler_v2 → generator_v2 → gates → run_store → pipeline_v2 → CLI integration. Includes structured-logging schemas/metrics and Codex review revisions.
847 B
847 B
type, node_id, title, date
| type | node_id | title | date |
|---|---|---|---|
| metric | metric:qgen-answer-uniformity | 答案位置分布均匀性 | 2026-07-12 |
答案位置分布均匀性
定义
最终接受题目中，正确答案在 A/B/C/D 四个位置的分布是否均匀。
判定方式
- 类型: 硬性（卡方检验）
- 阈值: χ² 检验 p > 0.05（不拒绝均匀分布假设）
- 计算: 对 accepted 题目统计 correct_answer 的 A/B/C/D 频次，做 χ²(df=3) 检验
- 数据源: 题目 JSON 文件（correct_answer 字段）
基线
设计 §7.3 要求 shuffle 后必须均匀；不依赖历史基线。
验证方式
from scipy.stats import chisquare
observed = [count_A, count_B, count_C, count_D]
expected = [total/4] * 4
stat, p = chisquare(observed, expected)
assert p > 0.05, f"答案位置分布不均匀: p={p:.4f}"