Video-Tree-TRM5/research-wiki/designs/2026-07-14-grounded-question-gen-phaseA-design.md

id, title, type, created, status

id	title	type	created	status
grounded-question-gen-phaseA	出题质量提升 Phase A — Grounded 单题质量（候选池 + VLM 视觉打分 selector + 单维反事实）	design	2026-07-14	draft

Phase A：Grounded 单题质量

1. 目标与范围

把"干扰项 grounded 约束"从 prompt 文案（求 VLM 主观写得像）下沉到机制层：VLM 生成候选池 → VLM 视觉打分 → 按视觉可信度区间选出真实 near-miss 干扰项，从机制上消灭 Easy-Options Bias（负空间干扰项 → 排除法秒杀）。Phase A 完全不依赖 inference agent，纯出题质量 + 观测。

问题来源：[2026-07-14-ar30-too-easy-analysis.md]（负空间干扰项 96.7% 正确率、SubPattern 归属跑偏）、[2026-07-14-hard-distractor-literature.md]（GroundAttack/TempCompass/VITATECS 范式）。

路径归属（严格区分，避免改错路径）

改动	代码位置	生效范围
L0 tree 错配 bug 修复	pipeline_v2.py	公共（纯 bug，全题型正向）
候选池 + VLM 视觉打分 selector	新建 distractor_selector.py	公共层，strategy 声明开关，默认只 AR 启用
单维反事实约束	strategy_action_recognition.py	仅 AR
multi_true 门松绑	gate_multi_true.md	公共，12 类统一（grounded 干扰项过门的前提）
sub_pattern 持久化 + selector 观测	tools/generate_questions.py、run_store.py	公共（纯数据）

非 AR 的 11 个 BaseTaskTypeStrategy：uses_grounded_selector=False，走原路径（VLM 直接出 3 个干扰项），行为不变。

2. 架构与数据流

flowchart TD
    A[sample_material_v2] --> B[VLM 生成正解 + N 个候选干扰项]
    B --> C{strategy.uses_grounded_selector?}
    C -->|False 11类| D[取前 3 个候选 = 原行为]
    C -->|True AR| E[VLM 视觉打分: 每候选 + 正解 打 0-1]
    E --> F[区间选择: 选 3 个落在 正解分-δ 区间的]
    F -->|凑不齐 3 个| G[退回重出 prev_reason 引导]
    F -->|成功| H[组题 candidate]
    D --> H
    H --> I[四门 gate 用 current_tree 修复]
    I -->|通过| J[on_accept 落盘 含 sub_pattern]

3. 组件设计

3.1 L0：tree 错配 bug 修复

pipeline_v2.py _process_one_slot：run_gates(tree=tree, ...) → run_gates(tree=current_tree, ...)。retry 换视频后门控用当前树验证，消除"无 source material"假拒绝。1 行改动。

3.2 策略开关与候选池生成（distractor_selector.py）

策略开关（路径隔离的核心）：TaskTypeStrategy protocol 新增 uses_grounded_selector property；BaseTaskTypeStrategy 默认返回 False（11 类走原路径），ActionRecognitionStrategy 覆盖为 True。generator_v2._build_v2_prompt 的公共输出 schema 不变；候选池 + selector 逻辑放新模块 distractor_selector.py，仅当 strategy.uses_grounded_selector=True 时 _process_one_slot 调用它，其余题型仍走 generate_one_v2 直接出 4 选项。

出题拆为两步（仅 uses_grounded_selector=True）：

1. 正解生成（现有 generate_one_v2）：VLM 生成 question + 正解 + difficulty。
2. 候选池生成（新 distractor_selector）：给定 question + 正解 + 素材，VLM 一次生成 N 个候选干扰项（默认 N=24），每个都要求 grounded near-miss（真实发生、只在一维不同）。

3.3 VLM 视觉打分 Selector（核心，消灭 EOB）

输入: N 个候选干扰项 + 正解 + 采样帧
VLM(看真帧 + question + 每个选项) → 每个选项打"视觉可信度" score ∈ [0,1]
  正解得分 s_correct（应偏高）
选 3 个 distractor，使 score ∈ [s_correct - δ_high, s_correct - δ_low]:
  - 上界 s_correct - δ_low: 不能太接近正解（否则真歧义/也对）
  - 下界 s_correct - δ_high: 不能太低（否则负空间，排除法可解）
凑不齐 3 个 → 退回重出（reject_reason="grounded 干扰项不足"）

δ_low、δ_high 为配置参数（默认 δ_low=0.05、δ_high=0.35）。核心洞察：干扰项与正解视觉可信度接近 → 排除法（"搜不到就排除"）失效。

退化处理（避免 AR 系统性欠产）：候选池凑不齐 3 个落区间时按序退火：

1. 扩大候选池再生成一轮（N → 2N）；
2. 仍不足则逐步放宽 δ_high（+0.1，最多 2 次），保证下界不越过 δ_low；
3. 仍不足才走正常重出（reject_reason="grounded 干扰项不足"，retry_limit 兜底）。 每次 hard-fail（走到步骤 3）记录到 run_store 的 selector 观测，供调参。

3.4 单维反事实约束（仅 AR，strategy_action_recognition.py）

6 个 SubPattern 的 instruction + distractor_rules 改为内嵌"只改一维"模板 + few-shot 正例，硬约束"干扰项必须是视频中真实发生的动作/实体，仅在时点/主体/方式/对象单一维度上与正解不同，严禁缺席事件"：

SubPattern	反事实维度	few-shot 要求
temporal_reasoning_failure	事件顺序（同组真实事件错序）	正解正确排序，干扰项是真实事件的错误排列
fine_grained_visual_action	执行方式（同动词的另一种真实做法）	4 选项为同一动词的真实执行方式变体
cross_segment_entity_tracking	主体（另一实体的真实动作）	干扰项=另一实体在该段真实做的事
semantic_rigidity	表述（同义 vs 字面陷阱）	正解同义改写，1 干扰项复用素材原文但语义错
premature_evidence_anchoring	时点（前段真实诱饵）	前段必须有与某干扰项字面吻合的真实局部匹配
evidence_gap_confabulation	因果完整性（诚实 vs 编造）	正解仅陈述可观测，干扰项编造未展示因果

3.5 multi_true 门松绑（gate_multi_true.md，公共）

rubric 从"≥2 选项 plausibly correct → fail"改为"仅当 ≥2 选项完全满足题干限定（同主体/时点/方式/对象下都为真）→ fail"。放行"错误选项有局部真实证据、但在题干限定下为假"的近似干扰项。12 题型统一（用户确认全局松绑）。

3.6 sub_pattern 持久化 + selector 观测（公共，纯数据）

• accepted_questions.json 每题增 sub_pattern 字段：改 tools/generate_questions.py 的 _on_accept（当前未写该字段），从 pipeline 逐题传下的 sub_pattern 写入 JSON。这是 Phase B 配对翻转门的硬前提（Phase B 按 sub_pattern 查 supports_flip），务必落实。
• selector 打分观测：question_gen_items 表新增列 selector_scores TEXT（JSON：正解分、选中 3 干扰项分、候选池大小、退火轮次、是否 hard-fail），幂等 ALTER TABLE 迁移（与 sub_pattern 列同法）。供 EOB 观测与调参。

4. Prior-Version Audit（现有 v2 管线行为清单）

现有行为	Phase A 处置
每 slot 独立重出循环（retry_limit，prev_reason 传回）	保留 — selector 凑不齐干扰项走同一重出机制
on_accept 逐题追加 JSON（崩溃最多丢一题）	保留 — 仅新增 sub_pattern 字段
progress 断点续跑（slot_id → status）	保留 — 不动
四门 gate 并发 + verbatim 短路	保留 — 仅改 multi_true rubric（prompt）+ 修 tree 传参
embedding 去重	保留
heavy_check 抽检	保留
11 个 BaseTaskTypeStrategy 出题	保留 — uses_grounded_selector=False 走原路径

未发现隐式删除。唯一行为变更：AR 出题多一个 selector 步骤；multi_true rubric 放宽（有意，全局）。

5. 非功能性需求

维度	设计
持久化	不变 — on_accept 逐题追加，崩溃最多丢一题。selector 打分随题落 run_store
幂等性	不变 — 同 seed → 同 slot；候选池生成与 selector 打分由 rng/VLM 决定，同输入同输出（VLM 非确定性已有，不新增）
断点续跑	不变 — progress 机制在 pipeline 层；selector 无状态，重出即重跑
原子性	不变 — 逐题落库；JSON 用 tmp + os.replace 原子写（现有）

6. 行为保真检查清单

#	行为	状态
1	12 题型 slot 分配	保留
2	重出循环 + 换视频	保留
3	四门 gate	保留（multi_true rubric 有意松绑 + tree 传参修复）
4	去重/heavy_check/on_accept/断点续跑	保留
5	11 个 BaseTaskTypeStrategy 行为	保留（selector 默认关闭）
6	AR 出题	有意变更 — 候选池 + selector + 单维反事实

7. 配置参数（YAML）

参数	默认	说明
candidate_pool_size	24	VLM 生成的候选干扰项数 N
selector_delta_low	0.05	干扰项视觉分与正解的最小差
selector_delta_high	0.35	干扰项视觉分与正解的最大差

8. 测试策略

• 单元：selector 区间选择（构造候选打分，验证选出落区间的 3 个 / 凑不齐时退回）；uses_grounded_selector 分流（AR 走 selector、其余走原路径）。
• 集成：AR 出题端到端（mock VLM 返回候选池 + 打分）→ 验证干扰项来自候选池且落区间；sub_pattern 写入 JSON。
• 回归：11 个非 AR 题型出题行为不变（现有测试全绿）。

9. 与 Phase B 的衔接

Phase A 产出 grounded 单题；Phase B（[2026-07-14-adversarial-question-gen-phaseB-design.md]）在其上加"完整 agent 对抗过滤门 + 配对翻转门"揪残余 shortcut。Phase A 的 selector 观测数据为 Phase B 的难度报告提供基线。