iomgaa
273984674b
核心算法保真#5（信息阶梯）：gate_ladder.py 从逐题迁移到 unit 粒度， 只换键 question_id→unit_id，冷启动 2:1 错优先交错、gamma-EMA 公式、 Beta(1,1) 先验、反泄漏 _gate_ 过滤的公式/比例/顺序语义一字不改。 - LadderEntry 按 unit_id 键；AR pair 折叠为一个阶梯单元 - build_cold_entries 收单元列表，unit 错 = 任一成员错（双向 AND）折叠， 2:1 交错 + probe 探针按 unit 抽，Beta 先验 p0 不变 - ladder_for 返回 unit_id 序、exclude 迁到 unit 口径（防半 pair 灌入 触发下游 _ladder_units fail-fast） - update_probs 先把逐题观测折叠成单元观测再按 unit_id 匹配更新， 半观测单元跳过（防按 qid 匹配 pair 失效致 gamma-EMA 停摆） - GatePools.save/load 加 schema_version=2；存量无版本/旧版本 json 加载直接报错，拒绝静默混用 qid/unit 键 - BaselineCache 第四维键改名 unit_id（与 T7 validate 路径对齐） - build_or_load_gate_pools 先折叠单元再排除 test（抽 helper 控复杂度 B） - runner：_init_gate_pools 建 unit 索引；gate 验证 exclude/展开、 _refresh_gate_ladder 折叠观测走 units_by_id 反泄漏 run_id 含 _gate_ 过滤不受影响（未改）。 测试：新增 test_gate_ladder_unit_migration.py（15 例覆盖 a-e）， 既有 test_harness_gate_ladder.py 迁移到 unit API。全量 1363 passed。
Video-Tree-TRM5
在层次化视频树上构建可自我进化的搜索 Agent，实现长视频理解。目标会议：EMNLP 2026。
系统概览
本项目是 Video-Tree-TRM4（MVP）的生产级重构，采用 Clean Architecture 分层设计。
核心思想：自进化循环对标 PyTorch 训练
| PyTorch | 本项目 | 模块 |
|---|---|---|
| DataLoader | 出题 question_gen | app/question_gen/ |
| model.forward() | 推理 inference | app/harness/inference.py + core/agent/loop.py |
| loss.backward() | 诊断 diagnose | core/evolution/diagnose.py |
| optimizer.step() | 进化 evolve | core/evolution/evolve.py |
| nn.Parameter | Skills + Prompts（版本化） | store/skills/, store/prompts/ |
三大模块
| 模块 | 目录 | 说明 |
|---|---|---|
| 建树 | app/tree/ |
离线预处理：VLM 生成三层 TreeIndex（L1段落→L2片段→L3帧），支持字幕注入和后增强 |
| 训练 | app/harness/ + core/ |
自进化循环：推理→诊断→进化，含 CE-Gate 统计检验、信息阶梯、mini-batch 调度 |
| 新题构建 | app/question_gen/ |
生成 Video-MME 风格训练题，原始 benchmark 作 held-out 泛化评测 |
可提取内核
core/agent/ 和 core/evolution/ 只依赖 Protocol 接口，可独立提取用于其他项目。
快速开始
# 1. 创建 Conda 环境
conda create -n Video-Tree-TRM python=3.11 -y
conda activate Video-Tree-TRM
pip install -e ".[dev]"
# 2. 配置环境变量
cp .env.example .env
# 编辑 .env 填入 API 密钥
# 3. 验证
make lint
make test
项目结构
详见 research-wiki/ARCHITECTURE.md。
文档
| 文档 | 说明 |
|---|---|
research-wiki/ARCHITECTURE.md |
系统架构与边界 |
research-wiki/overview.md |
自进化循环总览 |
CLAUDE.md |
Agent 工作指令 |
reference/docs/architecture.md |
建树+检索器参考设计 |