11 KiB
11 KiB
id, title, type, created, status
| id | title | type | created | status |
|---|---|---|---|---|
| question-gen-v2-grounded-contrastive | question-gen v2 — AR grounded-contrastive 重构（双模式生成 + 独立 VLM grounding + 生成端对抗） | design | 2026-07-15 | draft |
question-gen v2：AR grounded-contrastive 重构
1. 目标与范围
Phase A（grounded selector）落地后，双独立评审（Claude 三 agent + Codex）判定新题"未真正过关"：negative-space 减少但 grounding 不可审计（selector 用生成器自己的 VLM 自评=循环自证）、8/12 仍可被结构性 shortcut 秒杀（逐槽多数投票 / 最模糊-子串项 / 字幕泄答案）、4/12 双正解歧义。根因诊断见 [2026-07-15-question-gen-v2-diagnosis-and-strategy.md]（四层病灶 + 六篇文献回挖）。
v2 从四层对症重构，用户锁定三个治本方向：
| 决策 | 选定 |
|---|---|
| 题型 | 双模式对称对比（决策 C）：可翻转子模式→镜像对+双向 AND；不可翻转→4 选对比集+重去偏 |
| grounding | 独立 VLM（MiniMax-M3）打分（CLIP 跨模态 embedding 无法服务，退回独立 judge，仍断循环自证） |
| 对抗位置 | 轻量代理内联 + 完整 agent 后置第二道网 |
范围铁律：v2 只重构 Action Recognition 路径；11 个非 AR 题型走现有 generate-v2 零改动（路径隔离）。代价：题库出现"AR 新格式 + 非 AR 旧格式"混格，评测/训练侧须兼容两种。
路径归属
| 改动 | 位置 | 生效范围 |
|---|---|---|
| 双模式生成 | 新建 app/question_gen/contrastive_gen.py |
仅 AR（strategy 声明开关分流） |
| 独立 VLM grounding | 改 distractor_selector.py _score_options + 装配加第二 VLM |
仅 AR selector 调用点 |
| 内联对抗探针 | 新建 app/question_gen/adversarial_probes.py |
仅 AR |
| 门收紧 + NLI + 歧义门 | gate_multi_true.md 收紧 + 新 gate |
multi_true 公共（收紧，用户批准）；NLI/歧义门仅 AR |
| pair 契约 | core/types.py GeneratedQuestion + harness/loader |
公共类型（新字段默认值兼容非 AR） |
| 后置双向评分 | 改造 adversarial_filter.py |
filter 层，filter_task_types 默认 AR |
2. Prior-Version Audit（v2 替换/改造的既有行为）
| 既有行为 | v2 处置 |
|---|---|
distractor_selector VLM 自评选负项 |
改造：打分器换独立 MiniMax-M3；区间选择/退火/hard-fail 落库保留 |
adversarial_filter 翻转门（事后生成镜像 Q） |
改造：镜像在生成期已产出，翻转门→对 pair 做双向 AND 评分（不再事后生成） |
adversarial_filter 作弊门（后置试答） |
保留，定位为后置第二道网 |
adversarial_filter 补生成迭代 / 两份 JSON |
保留 |
gate_multi_true 松绑 rubric |
反向收紧（precision over recall，撤销 Phase A 松绑） |
| on_accept 逐题追加 / progress 断点 / verdicts 表续跑 / 原子写 | 保留，pair 需原子成对落盘（见 §7） |
| 4 选项 + 字母答案契约 | 扩展：加 pair 语义；单题仍 4 选，pair 双向 AND 评分 |
| 11 非 AR generate-v2 全流程 | 零改动 |
未发现隐式删除。唯一有意行为变更：AR 出题机制整体重构；multi_true 全局收紧（有意，用户批准）。
3. 架构与数据流
flowchart TD
S[采样素材 + 选 sub_pattern] --> F{sub_pattern 可翻转?}
F -->|temporal/cross_segment| PAIR[生成镜像对 P+Q<br/>同视频翻转轴, 选项 bag-of-words 匹配]
F -->|semantic/fine_grained/evidence_gap/premature| SET[生成 4 选对比集<br/>单维反事实, 等信息量]
PAIR --> GRD[独立 VLM MiniMax-M3<br/>对真实帧打视觉可信度分 → 区间选负项]
SET --> GRD
GRD --> PROXY[内联轻量对抗探针<br/>text-only 盲答 + MiniMax 快解]
PROXY -->|被秒杀| RE[回灌失败模式重生]
RE --> GRD
PROXY -->|存活| GATE[门: key_verify + multi_true收紧<br/>+ NLI禁蕴含 + leak + MiniMax歧义门]
GATE -->|失败| RE
GATE -->|通过| ACC[on_accept 落盘<br/>pair 原子成对写]
ACC -.批次后置.-> NET2[完整 agent 作弊门第二道网<br/>pair 双向 AND 评对 + 补生成迭代]
NET2 --> FINAL[accepted_questions_final.json]
4. 组件设计
4.1 双模式生成（contrastive_gen.py，仅 AR）
SubPattern 已有 supports_flip/flip_axis（Phase B Task 1）。生成分流：
A. 可翻转（temporal→before/after, cross_segment→first/last）— 镜像对
- VLM 生成题 P（正解 + 干扰项）后，同素材翻转 flip_axis 生成镜像 Q（正解天然相反）；
- 选项尽量 bag-of-words 匹配（Vinoground：正负选项同词不同序 → 长度/具体度线索结构上消失）；
- 产出 (P, Q) 共享
pair_id，评分双向 AND。
B. 不可翻转（其余 4 个）— 4 选对比集
- VLM 生成正解 + 3 个单维反事实（各改一维、互不重叠 → 防逐槽多数投票）；
- 硬约束（写进 prompt + 后置校验）：等信息量/等长、禁蕴含（正解非任一干扰项子串、反之亦然）、动词/事件结构上反事实（非名词替换，VITATECS 警示名词替换易解）。
4.2 独立 VLM grounding（改 distractor_selector.py）
- 装配拆分：
InfraSettings新增读M3_VL_LLM_*；adapter 产出第二个GovernedVLMClient（scorer_vlm=MiniMax-M3）。生成用主 VLM（qwen），打分用 scorer_vlm。 build_grounded_options增scorer_vlm形参；_score_options用 scorer_vlm。区间选择[s_correct-δ_high, s_correct-δ_low]/ 退火 / hard-fail 落库逻辑不变。- 早期风险校验：MiniMax-M3 打分粒度未知（Phase A 观测到 qwen 自评是 1.0/0.1 粗档）。实现第一步抽验 scorer 打分是否够细；过粗则记录为已知局限并考虑候选池扩容补偿。
4.3 内联轻量对抗探针（adversarial_probes.py，仅 AR）
生成候选通过 grounding 后、进正式门前，跑两个便宜探针（都不跑完整树搜索 agent）：
- text-only 盲答探针：去掉视频/帧，只把 question+options 喂一个 LLM 盲选；答对（对 pair 是双向都对）→ 判"不看视频可解"→ 拒，回灌"该题能被纯文本解，请增强对视觉的依赖"重生。
- MiniMax 快解探针：MiniMax-M3 在不深搜（只给采样帧+题）设定下试答；秒解 → 拒，回灌失败模式。
探针结果记 run_store 观测（供调参）。
4.4 门控收紧 + 独立歧义门
| 门 | v2 处置 |
|---|---|
| key_verify | 保留 |
| multi_true | 收紧：撤销 Phase A 松绑，回到"≥2 选项在题干限定下都完全为真→fail"，且取向 precision over recall（宁杀错） |
| NLI 禁蕴含门（新，仅 AR） | 用 NLI 模型（如 Sentence-BERT / 现有文本 embed 近似）判正解与各干扰项互不蕴含；存在蕴含→fail（杀子串/最模糊项） |
| MiniMax 歧义门（新，仅 AR） | MiniMax-M3 独立判：是否有干扰项其实也正确/语义等价于正解；有→fail（独立于生成器的"错误性/wrongness"核验） |
| leak_test | 保留 |
4.5 完整 agent 后置第二道网（改造 adversarial_filter.py）
- 作弊者门：定位为后置第二道网（非唯一裁判）。完整树搜索 agent 试答；对 pair 做双向 AND（P、Q 都答对=太简单→剔）。
- 翻转门：镜像已在生成期产出，不再事后生成；直接对 (P,Q) 做双向评对（reuse judge_flip：答案随问题翻转=有效，否则剔）。
- 补生成迭代 / 难度报告 / 两份 JSON / verdicts 续跑：保留。
5. 契约改动（评测/训练适配）
core/types.py::GeneratedQuestion新增：pair_id: str | None、question_role: str（"single"|"pair_original"|"pair_mirror"，默认 "single"）、flip_axis: str | None。默认值保证 11 非 AR + 现有构造点不变。- harness/eval 评分：
question_role=="single"照常 MCQ；pair（同pair_id的 original+mirror）按双向 AND——两题都判对，pair 才计 1 分，否则 0。correctness 信号按 pair 粒度喂诊断/进化。 - loader/batching：pair 作为一个不可拆单元进 batch（original 与 mirror 同批，避免跨批割裂）。
- AgentLoop 本身不改：仍一次答一道 MCQ；pair 语义只在评分/聚合层。
- loader 读回：
load_benchmark补pair_id/question_role/flip_axis（.get向后兼容旧 JSON）。
6. 错误处理
- grounding hard-fail（凑不齐 grounded 干扰项）→ 重出（reuse 现有机制）；
- 镜像生成失败（造不出合法翻转对）→ 该 slot 退回 4 选对比集模式或重出（不产半个 pair）；
- scorer VLM / 探针 VLM 异常 → slot 级隔离（对齐 Phase A C3 修复：宽异常→重出，不崩整批）；
- NLI/歧义门模型不可用 → 明确报错（不静默跳过，防漏过歧义题）。
7. 非功能性需求
| 维度 | 设计 |
|---|---|
| 持久化 | on_accept 逐题追加；pair 原子成对写——P、Q 同时落盘或都不落（tmp 缓冲一对再 os.replace），崩溃不留半个 pair。selector/探针观测随题落 run_store |
| 幂等性 | 同 seed→同 slot；镜像由 flip_axis 确定性构造；VLM 非确定性为既有属性，不新增 |
| 断点续跑 | progress（slot→status）；pair 以"整对完成"为 accepted 单位；后置 verdicts 表按 (question_id/hash/stage) 续跑 |
| 原子性 | 逐 slot / 逐 pair 落盘；final JSON 全量 tmp+os.replace；pair 半写检测（读回时校验成对完整，缺半剔除并重生） |
8. 测试策略
- 单元：双模式分流（flippable→pair、非 flippable→4 选）；bag-of-words 匹配校验；NLI 禁蕴含判定；text-only 探针与快解探针（mock VLM）；pair 原子写/半写检测；双向 AND 评分。
- 集成：AR 端到端（mock 主 VLM + mock scorer VLM + mock 探针）→ 验证 pair 成对落盘、非 flippable 走 4 选、门收紧生效；后置双向评对。
- 回归：11 非 AR 题型 generate-v2 行为字节级不变（现有测试全绿）；harness/loader 对混格题库（AR pair + 非 AR single）评分正确。
- Agent 类测试产出 MD（§4.6 规范）。
9. 分期实现（一个设计，writing-plans 分阶段）
- 契约 + 双模式生成骨架（GeneratedQuestion 新字段 + contrastive_gen 分流 + pair 落盘）；
- 独立 VLM grounding（装配第二 VLM + selector 换 scorer + 粒度校验）；
- 内联对抗 + 门收紧 + NLI/歧义门；
- 后置双向评分 + 补生成（改造 adversarial_filter）；
- harness/eval/loader/batching 混格适配。
10. 风险与回退
| 风险 | 回退 |
|---|---|
| MiniMax-M3 打分过粗/不准 | 扩候选池补偿；或记录为已知局限，后置 agent 门兜底 |
| 网关无 NLI 模型 | 用现有文本 embed 近似蕴含判定；或 LLM few-shot 判蕴含 |
| 混格题库拖累训练 | 分期 5 先验证评分正确性；必要时 AR pair 与非 AR 分池训练 |
| 双模式产量低（4 选非 flippable 侧 hard-fail 高） | 早停 + 补生成迭代兜底（reuse Phase B） |
11. 核心算法保真
v2 局限于 question_gen 层，不迁移 research-wiki/ARCHITECTURE.md §6 的 12 项核心算法。作弊门复用既有 run_inference（AgentLoop 完整树搜索）未改内部。保真校验不适用。