1.2 KiB
1.2 KiB
type, node_id, title, date
| type | node_id | title | date |
|---|---|---|---|
| finding | finding:eval-spec1check | Harness 评估: Spec-1 修复验证 (infer_spec1check) | 2026-07-11 |
Harness 评估: Spec-1 修复验证 (infer_spec1check)
运行信息: run_id=infer_spec1check（24 题抽样，复用已有运行）；对照基线 infer_adhoc（902 题）。评估时间 2026-07-11。
硬性指标（wiki 无注册 metric 实体，按 Spec-1 验收标准直查 SQL）：
| 指标 | 基线 | 当前 | 阈值 | 判定 |
|---|---|---|---|---|
| 异常终止（parse_error+error+budget） | 5/902 (0.55%) | 0/24 | =0 | ✅ pass |
| view_node 输出含 [实体] 区块 | 0%（能力不存在） | 24/24 (100%) | >0 | ✅ pass |
| 同题正确率 | 17/26 (65.4%，含 2 重复行) | 15/24 (62.5%) | 无回归信号（n=24 噪声范围） | ✅ pass（advisory） |
综合判定: 通过。Spec-1 两个硬目标（T8 归零、实体可见性）直接验证成立；正确率差异在小样本噪声内。语义评估（LlmJudge）跳过——wiki 尚无注册 rubric。
备注: 本项目首次 harness-eval，schemas/metrics 实体体系尚未建立；Spec-3 出题管线的 structured-logging 阶段将补齐该体系。