143 lines
5.2 KiB
Markdown
143 lines
5.2 KiB
Markdown
---
|
||
id: maintenance-pool
|
||
title: 训练池 Maintenance 正确题自动补入机制
|
||
type: design
|
||
created: 2026-07-14
|
||
status: approved
|
||
---
|
||
|
||
# 训练池 Maintenance 正确题自动补入机制
|
||
|
||
## 1. 目标
|
||
|
||
在 `PerCategoryPoolStrategy` 的池构建阶段，baseline infer 完成后、分层划分前，自动检测每个 task_type 分组的正确/错误比例。若正确题占比低于 `batch_correct_ratio`，从 `test_questions_dir`（VME benchmark）中补入该 task_type 的已验证正确题，使训练集有足够的正确题满足 batch 构建需求。
|
||
|
||
### 驱动场景
|
||
|
||
SubPattern 靶向出题（如 AR30）刻意针对 agent 失败模式，agent 在 baseline infer 中大部分答错。`batch_correct_ratio=0.5` 要求 mini-batch 一半正确一半错误，但 train 池正确题不足会导致 batch 构建失败或质量下降。
|
||
|
||
## 2. 算法
|
||
|
||
在 `PerCategoryPoolStrategy.build()` 的 Phase 2（按 task_type 分组）和 Phase 3（分层划分）之间插入 Phase 2.5。
|
||
|
||
### 候选筛选
|
||
|
||
当前 baseline correctness dict 仅包含训练题（如 AR30），**不包含 benchmark 题**。因此补入候选的正确性判定需要额外查询 DB 中的历史推理记录：
|
||
|
||
```
|
||
# 从 DB 查询所有 run 中对 benchmark 题的评估结果（取最新一次）
|
||
benchmark_correctness = query_db(
|
||
"SELECT question_id, prediction, answer FROM predictions
|
||
WHERE question_id IN (benchmark_qids)
|
||
ORDER BY timestamp DESC"
|
||
)
|
||
# 每个 question_id 取最新记录判定正确性
|
||
```
|
||
|
||
若 DB 中无该题的历史记录，该题不作为候选（不假设正确）。
|
||
|
||
### 补入流程
|
||
|
||
```
|
||
对每个 task_type 分组:
|
||
c = 该组正确题数（来自当前 baseline correctness）
|
||
w = 该组错误题数
|
||
r = batch_correct_ratio
|
||
|
||
if batch_correct_ratio 为 None:
|
||
跳过
|
||
|
||
ratio = c / (c + w)
|
||
if ratio > 1 - r:
|
||
logger.warning(
|
||
"类别 {} 正确率 {:.1%} 过高（阈值 {:.1%}），出题可能太简单",
|
||
task_type, ratio, 1 - r,
|
||
)
|
||
|
||
if ratio >= r:
|
||
跳过（正确题已充足）
|
||
|
||
k = ceil((r * w - (1 - r) * c) / (1 - r))
|
||
|
||
candidates = test_questions_dir 中同 task_type 的题
|
||
∩ DB 历史推理中正确的
|
||
− 已在当前组中的 question_id
|
||
|
||
actual = min(k, len(candidates))
|
||
补入 actual 道：
|
||
- 构造新 GeneratedQuestion（clone，family="VME_MAINTENANCE"）
|
||
- correctness[qid] = True
|
||
合并到该 task_type 分组
|
||
```
|
||
|
||
### 接口传参
|
||
|
||
`PerCategoryPoolStrategy.build` 新增 `db_path: Path | None = None` 参数，用于查询历史 benchmark 推理记录。调用方 `build_or_load_pools` 已持有 `db_path`，直接透传。
|
||
|
||
### 边界情况
|
||
|
||
| 场景 | 行为 |
|
||
|------|------|
|
||
| 正确率已满足 r | 不补入 |
|
||
| 候选不足（如需 30 道但只有 41 道可用） | 补入全部可用，接受比例不完美 |
|
||
| `batch_correct_ratio` 为 None | 跳过补入 |
|
||
| `test_questions_dir` 为 None | 跳过补入 |
|
||
| DB 中无 benchmark 历史记录 | 无候选，不补入（日志警告） |
|
||
| 补入题与 test 池重复 | 允许 — test 池保持完整不动 |
|
||
| `_split_one_category` 的 floor 造成 ±1 误差 | 接受 — 比例不完美是预期行为 |
|
||
| 正确率 > 1 - r（如 r=0.5 时正确率 > 50%） | `logger.warning` 警告出题可能太简单，不阻断 |
|
||
|
||
## 3. 接口变更
|
||
|
||
| 组件 | 变更 |
|
||
|------|------|
|
||
| `PoolConfig` | 新增字段 `batch_correct_ratio: float \| None = None` |
|
||
| `_to_pool_config` | 从 `RunConfig.batch_correct_ratio` 映射（`RunConfig` 已有该字段，默认 0.5） |
|
||
| `PerCategoryPoolStrategy.build` | 新增 `db_path` 参数；Phase 2 和 Phase 3 之间插入 Phase 2.5 |
|
||
| `build_or_load_pools` | 透传 `db_path` 给 `strategy.build()` |
|
||
|
||
### 不变的部分
|
||
|
||
- `_split_one_category` 不改 — 补入后的分组正常走分层划分
|
||
- test 池加载（Phase 4）不改 — 63 道 VME AR 完整保留
|
||
- `GlobalPoolStrategy` 不改
|
||
- pipeline / runner / batching 不改
|
||
|
||
## 4. 补入题的标记与追溯
|
||
|
||
| 字段 | 值 | 说明 |
|
||
|------|-----|------|
|
||
| `family` | `"VME_MAINTENANCE"` | 区分于 `"ACTION_RECOGNITION"` 生成题 |
|
||
| `skill_target` | 保持原题值 | 从 benchmark 原始数据继承 |
|
||
| correctness | `True` | 来源定义：从"已验证正确"池选出 |
|
||
|
||
## 5. 数据流
|
||
|
||
```
|
||
baseline infer (30 道 AR30)
|
||
↓
|
||
correctness = {qid: True/False} (如: 5 correct, 25 wrong)
|
||
↓
|
||
PerCategoryPoolStrategy.build()
|
||
Phase 1: 按 task_types 过滤
|
||
Phase 2: 按 task_type 分组
|
||
Phase 2.5: ←── 新增 maintenance 补入
|
||
检查: c=5, w=25, r=0.5 → 需补 k=20
|
||
从 VME benchmark 加载 AR 正确题 (41 道)
|
||
排除已有 → 补入 min(20, 41) = 20 道
|
||
组总量: 50 (25 correct, 25 wrong)
|
||
Phase 3: _split_one_category (train_ratio=0.667)
|
||
train: 33 题 (≈17 correct + 16 wrong)
|
||
val: 17 题 (≈8 correct + 9 wrong)
|
||
Phase 4: test 池 (63 道 VME AR，完整不动)
|
||
```
|
||
|
||
## 6. 非功能性需求
|
||
|
||
| 维度 | 设计 |
|
||
|------|------|
|
||
| 持久化 | 补入题写入 pools.json 冻结，与原生题一视同仁 |
|
||
| 幂等性 | pools.json 存在则直接加载，不重复补入 |
|
||
| 断点续跑 | 不影响 — pools.json 冻结后训练可断点恢复 |
|
||
| 原子性 | 不适用 — 池构建是一次性操作 |
|