150 lines
6.8 KiB
Bash
Executable File
150 lines
6.8 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# ============================================================================
|
||
# 结果驱动视频级切分 —— capstone 可复现实验（离线管线最后一步）
|
||
# ----------------------------------------------------------------------------
|
||
# 把整条离线管线串成零参可复现实验：诊断信号 → 贪心联合约束选择 → 冻结 pools.json。
|
||
# 全部旋钮写死在 config/video_split.yaml，零参即可复现（GPU 卡号除外）。
|
||
#
|
||
# 用法:
|
||
# CUDA_VISIBLE_DEVICES=0 bash scripts/build_video_split.sh
|
||
#
|
||
# ============================================================================
|
||
# 两阶段流程
|
||
# ----------------------------------------------------------------------------
|
||
# ① 离线诊断（Task 4，run_baseline_diagnosis）——【LLM 重活，需单独跑一次】
|
||
# 对 baseline run（infer_adhoc，workspaces/default/harness.db 内 236 道错题）
|
||
# 逐题跑诊断瀑布，把 defect/lapse/infra/degraded 投影为 tier 信号，逐行 upsert
|
||
# 到 harness.db 的 baseline_diagnosis 表（主键含 diag_fingerprint，断点续跑幂等）。
|
||
# 诊断依赖完整 harness 装配（GovernedLLMClient / 树数据 / 诊断 prompt），
|
||
# 不在本脚本内联，由诊断编排单独执行；本脚本前置校验诊断信号已落库，缺失即 fail loud。
|
||
#
|
||
# ② 冻结切分（Task 11，build_split）——【本脚本执行】
|
||
# 读 canonical 基线预测 + 诊断信号 → 构建全视频画像 → 贪心选择 trainval/test →
|
||
# 视频组原子切三池 → 原子冻结 pools.json + 溯源 manifest → 六条防御断言。
|
||
#
|
||
# ============================================================================
|
||
# 标定程序（诊断跑完 → 用真实 T2 分布把 config/video_split.yaml 的占位值定死）
|
||
# ----------------------------------------------------------------------------
|
||
# 1. floor_k : 读 baseline_diagnosis 各 task_type 的 T2(defect) 计数，
|
||
# 每个高信号题型取克制值 floor = min(可用 defect 数, 3)，
|
||
# 避免把该类信号全抽进 trainval（会让 test 失去代表性）。
|
||
# 2. n_trainval : trainval 目标视频数，取 ~100（总 300 视频的约 1/3），
|
||
# 给多样性阶段留足填充预算，同时保证 test ≥ 2/3 保代表性。
|
||
# 3. epsilon : test 相对全局的最大分布偏差，取 0.1（题型/难度逐桶容忍 10%）。
|
||
# 4. val_wrong_min : validation 池最少错题数，取 McNemar 检验功效阈 ≈ 20；
|
||
# 切分后 val 错题不足此值 → 验证信号不可靠 → fail loud。
|
||
# 5. report_floor : per-type 报告门限，题数 ≥ 27 的 task_type 才入 ε 约束（滤长尾）。
|
||
# ============================================================================
|
||
|
||
set -euo pipefail
|
||
|
||
cd "$(dirname "$0")/.."
|
||
|
||
CUDA_VISIBLE_DEVICES="${CUDA_VISIBLE_DEVICES:-0}"
|
||
export CUDA_VISIBLE_DEVICES
|
||
|
||
# 日志即时输出，不缓存，便于实时排错。
|
||
export PYTHONUNBUFFERED=1
|
||
|
||
# 工程配置（DB 路径、LLM 凭证）走 .env，不写死在脚本。
|
||
set -a
|
||
source .env
|
||
set +a
|
||
|
||
PYTHON="$(conda run -n Video-Tree-TRM which python)"
|
||
|
||
CONFIG="config/video_split.yaml"
|
||
HARNESS_DB="workspaces/default/harness.db"
|
||
QUESTIONS_DIR="store/questions/benchmarks/Video-MME"
|
||
OUT_DIR="workspaces/video-split"
|
||
|
||
echo "=== 结果驱动视频级切分：冻结 pools.json（读 ${CONFIG}）==="
|
||
|
||
# 诊断口径指纹的代码分量 = 当前 git 短 SHA（诊断代码变则指纹变，旧信号不被覆盖）。
|
||
CODE_VERSION="$(git rev-parse --short HEAD)"
|
||
export CODE_VERSION HARNESS_DB QUESTIONS_DIR OUT_DIR CONFIG
|
||
|
||
"${PYTHON}" -c "
|
||
import datetime
|
||
import os
|
||
from pathlib import Path
|
||
|
||
import yaml
|
||
from loguru import logger
|
||
|
||
from adapters.baseline_diagnosis_store import SqliteDiagnosisSignalStore
|
||
from app.harness.build_split import SplitBuildConfig, build_split
|
||
from app.harness.split_selection import diag_fingerprint
|
||
|
||
config_path = Path(os.environ['CONFIG'])
|
||
cfg = yaml.safe_load(config_path.read_text(encoding='utf-8'))
|
||
vs = cfg['video_split']
|
||
dg = cfg['diag']
|
||
|
||
# 诊断口径指纹：诊断 prompt 版本 + 模型名 + 代码短 SHA（三分量任一变则换指纹）。
|
||
fingerprint = diag_fingerprint(dg['prompt_version'], dg['model'], os.environ['CODE_VERSION'])
|
||
logger.info('诊断口径指纹 diag_fingerprint={} (prompt={} model={} code={})',
|
||
fingerprint, dg['prompt_version'], dg['model'], os.environ['CODE_VERSION'])
|
||
|
||
harness_db = Path(os.environ['HARNESS_DB'])
|
||
questions_dir = Path(os.environ['QUESTIONS_DIR'])
|
||
out_dir = Path(os.environ['OUT_DIR'])
|
||
out_dir.mkdir(parents=True, exist_ok=True)
|
||
|
||
store = SqliteDiagnosisSignalStore(str(harness_db))
|
||
try:
|
||
# 前置校验（P5 fail loud）：本指纹下必须已有诊断信号（Phase 1 诊断先跑完）。
|
||
signals = store.load(vs['baseline_run_id'], fingerprint)
|
||
if not signals:
|
||
raise SystemExit(
|
||
f'诊断信号为空：baseline={vs[\"baseline_run_id\"]} fingerprint={fingerprint} '
|
||
f'在 {harness_db} 的 baseline_diagnosis 表无任何行。'
|
||
'请先跑离线诊断（Phase 1 run_baseline_diagnosis）再执行本脚本。'
|
||
)
|
||
logger.info('诊断信号就绪：{} 行，开始冻结切分。', len(signals))
|
||
|
||
result = build_split(
|
||
db_path=harness_db,
|
||
baseline_run_id=vs['baseline_run_id'],
|
||
signal_store=store,
|
||
diag_fingerprint=fingerprint,
|
||
questions_dir=questions_dir,
|
||
config=SplitBuildConfig(
|
||
n_trainval=vs['n_trainval'],
|
||
floor_k=vs['floor_k'],
|
||
epsilon=vs['epsilon'],
|
||
report_floor=vs['report_floor'],
|
||
select_seed=vs['seed'],
|
||
val_ratio=vs['val_ratio'],
|
||
split_seed=vs['seed'],
|
||
),
|
||
out_path=out_dir / 'pools.json',
|
||
manifest_path=out_dir / 'split_manifest.json',
|
||
generated_at=datetime.datetime.now(datetime.timezone.utc).isoformat(),
|
||
)
|
||
finally:
|
||
store.close()
|
||
|
||
# McNemar 功效护栏（P5 fail loud）：build_split 按 Task 11 契约不带 val_wrong_min，
|
||
# 冻结后在 capstone 层校验 validation 池错题数是否达 McNemar 功效阈。
|
||
pools = result['pools']
|
||
val_wrong = sum(1 for q in pools.validation if not pools.correctness[q.question_id])
|
||
val_wrong_min = vs['val_wrong_min']
|
||
if val_wrong < val_wrong_min:
|
||
raise SystemExit(
|
||
f'validation 池错题数 {val_wrong} < val_wrong_min={val_wrong_min}，'
|
||
'验证信号不足以支撑可靠比较（McNemar 检验功效不够）。'
|
||
'请放大 val_ratio / 调整旋钮后重跑，勿静默放行。'
|
||
)
|
||
|
||
logger.info(
|
||
'切分冻结完成：pools={} manifest={} val错题={}/{}(阈)',
|
||
out_dir / 'pools.json',
|
||
out_dir / 'split_manifest.json',
|
||
val_wrong,
|
||
val_wrong_min,
|
||
)
|
||
"
|
||
|
||
echo "=== 完成：冻结产物在 ${OUT_DIR}/ (pools.json + split_manifest.json) ==="
|