iomgaa
043d4aa46f
9 tasks: type extension → postprocess → families → sampler_v2 → generator_v2 → gates → run_store → pipeline_v2 → CLI integration. Includes structured-logging schemas/metrics and Codex review revisions.
34 lines
847 B
Markdown
34 lines
847 B
Markdown
---
|
|
type: metric
|
|
node_id: metric:qgen-answer-uniformity
|
|
title: 答案位置分布均匀性
|
|
date: 2026-07-12
|
|
---
|
|
|
|
# 答案位置分布均匀性
|
|
|
|
## 定义
|
|
|
|
最终接受题目中，正确答案在 A/B/C/D 四个位置的分布是否均匀。
|
|
|
|
## 判定方式
|
|
|
|
- **类型**: 硬性（卡方检验）
|
|
- **阈值**: χ² 检验 p > 0.05（不拒绝均匀分布假设）
|
|
- **计算**: 对 accepted 题目统计 correct_answer 的 A/B/C/D 频次，做 χ²(df=3) 检验
|
|
- **数据源**: 题目 JSON 文件（correct_answer 字段）
|
|
|
|
## 基线
|
|
|
|
设计 §7.3 要求 shuffle 后必须均匀；不依赖历史基线。
|
|
|
|
## 验证方式
|
|
|
|
```python
|
|
from scipy.stats import chisquare
|
|
observed = [count_A, count_B, count_C, count_D]
|
|
expected = [total/4] * 4
|
|
stat, p = chisquare(observed, expected)
|
|
assert p > 0.05, f"答案位置分布不均匀: p={p:.4f}"
|
|
```
|