iomgaa/Video-Tree-TRM5
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
395 Commits 2 Branches 0 Tags
e1f08dcd3b6cda52625c39d554232490870c8b54
Commit Graph

239 Commits

Author SHA1 Message Date
iomgaa 53989078a0 feat: add offline baseline diagnosis orchestration 2026-07-15 12:22:07 -04:00
iomgaa 3d8bd75372 feat: build all-video records with difficulty and signal overlay 2026-07-15 12:18:56 -04:00
iomgaa 20eea98cdd refactor: add video-atomic pool split (algo #5 gate input preserved) 2026-07-15 12:14:36 -04:00
iomgaa 9d19328cc9 feat: add signal tiering 2026-07-15 12:12:48 -04:00
iomgaa 75a2aac1c0 test: cover unknown error_type ValueError path 2026-07-15 12:10:24 -04:00
iomgaa 0a7ba724a9 feat: add evolution_target derivation and cell 2026-07-15 12:06:56 -04:00
iomgaa 3a8dd5c167 fix: add close/context-manager to diagnosis store; tighten import boundary 2026-07-15 12:06:29 -04:00
iomgaa 6b85fcbe1c feat: add baseline diagnosis signal store 2026-07-15 12:01:30 -04:00
iomgaa 01f2e7c7b9 feat: add steps_json-backed RunLog wrapper 2026-07-15 11:51:55 -04:00
iomgaa cf7f15d8bb feat: add steps_json to trace-row adapter 2026-07-15 11:47:00 -04:00
iomgaa f8ad8f0143 test: harden baseline_cache guard to per-call unit_id check 2026-07-15 10:13:33 -04:00
iomgaa a536a81b0d chore: apply ruff format to dead-path guard test 2026-07-15 10:07:19 -04:00
iomgaa 13234426b5 chore: guard perquestion revival + mark v2 tables deprecated 2026-07-15 10:06:13 -04:00
iomgaa e9349b55c0 test: add v3 pair-contract full-chain integration regression 2026-07-15 09:57:39 -04:00
iomgaa 58a84dc72b refactor: add CHECK constraints and drop redundant index in v3 tables 2026-07-15 09:47:00 -04:00
iomgaa 3cc8dc9105 refactor: assert warn sink, rename disk-pair sifter, trim WHAT docstrings 
Capture loguru warning via project sink pattern and assert the dangling-orphan
warning is emitted; rename _sift_disk_pairs to _keep_complete_disk_pairs; drop
pure-WHAT docstrings on __init__/pending_orphans while keeping WHY notes.
 2026-07-15 09:42:27 -04:00
iomgaa 5ecbac620c feat: add v3 question-gen observation tables to run_store 2026-07-15 09:33:40 -04:00
iomgaa 1ecb6ba25c fix: fail-loud on disk-corrupt pairs and preserve buffer on reject 
read_accepted now distinguishes size==1 dangling orphans (warn+drop) from
structural corruption / role duplication (raise), and runs explicit binding
checks (video_id/task_type/flip_axis) that survive python -O. add() validates
before evicting the buffered partner so pending_orphans can recover it.
 2026-07-15 09:31:42 -04:00
iomgaa bdcc93d7de feat: add pair atomic accepted-bank writer helper 
PairPendingBuffer collects pair members by pair_id and emits units;
write_accepted does tmp+os.replace atomic write; read_accepted rebuilds
units and drops disk-dangling orphans. Pure helper; on_accept wiring is
Phase 2 (real write point: adversarial_filter.write_final_bank).
 2026-07-15 09:22:41 -04:00
iomgaa 19911e18e0 test(harness): 黄金测试加非空护栏、补类型注解、端到端对照旧逻辑 
回应 Codex 审查三项测试质量问题：
- C1: 每个 byte-identical 断言前加非空护栏（sum(len)>0 / len==samples>0），
  防空==空误通过。
- I1: TestBatchingByteIdentical._assert 补齐完整类型注解。
- I2: 端到端 checkpoint 用例增加 _reference_build_batches 对照，断言真实池划分
  →batching 与旧逐题逻辑逐字节一致（不只是 rebuilt==batches 自往返）。
 2026-07-15 08:28:12 -04:00
iomgaa 6c6fb576ee feat(harness): checkpoint 存 unit_id 序列，断点续跑孪生对不拆 
核心算法保真 #3（断点续跑）：checkpoint 从逐题 question_id 改为存 unit_id
序列（孪生对折叠为单个 unit_id），恢复时 build_units + 按完整 unit 展开，
续跑后 pair 两成员同进同出、绝不被劈开。

- _batch_unit_ids/_batch_from_ids 对称折叠/展开，保序去重，纯非 AR 下
  unit_id==question_id、与旧逐题序列逐字节一致。
- momentum 采样抽取为 _sample_momentum_candidates 纯函数，docstring 显式
  记录 Phase 1 设计偏差：仅保证纯非 AR byte-identical，混格 momentum 不保证。
- 新增 test_checkpoint_pair（unit_id 落盘往返、pair 不拆）与
  test_non_ar_byte_identical（pools→batching→checkpoint→momentum 端到端黄金）。
 2026-07-15 08:22:18 -04:00
iomgaa bd1f7a22a2 feat(harness): pools.json 序列化 pair 四字段防孤儿 single 
_q_to_dict 写出 pair_id/question_role/flip_axis/unit_id，_dict_to_q 用 .get
兼容旧 workspace 的 pools.json 读回并回填（unit_id 缺省交 __post_init__）。
pools.json 是训练主回路读回题目处，此前漏写会让孪生对解冻后退化成孤儿
single、配对指标失真。categories 块沿用 per-qid 记录，Task 3 的 unit 原子
切分已保证两 pair 成员同池同 key，序列化不破坏该原子性。
 2026-07-15 08:05:15 -04:00
iomgaa 273984674b feat(harness): 迁移 gate 信息量阶梯到 unit 粒度 + schema_version 
核心算法保真#5（信息阶梯）：gate_ladder.py 从逐题迁移到 unit 粒度，
只换键 question_id→unit_id，冷启动 2:1 错优先交错、gamma-EMA 公式、
Beta(1,1) 先验、反泄漏 _gate_ 过滤的公式/比例/顺序语义一字不改。

- LadderEntry 按 unit_id 键；AR pair 折叠为一个阶梯单元
- build_cold_entries 收单元列表，unit 错 = 任一成员错（双向 AND）折叠，
  2:1 交错 + probe 探针按 unit 抽，Beta 先验 p0 不变
- ladder_for 返回 unit_id 序、exclude 迁到 unit 口径（防半 pair 灌入
  触发下游 _ladder_units fail-fast）
- update_probs 先把逐题观测折叠成单元观测再按 unit_id 匹配更新，
  半观测单元跳过（防按 qid 匹配 pair 失效致 gamma-EMA 停摆）
- GatePools.save/load 加 schema_version=2；存量无版本/旧版本 json
  加载直接报错，拒绝静默混用 qid/unit 键
- BaselineCache 第四维键改名 unit_id（与 T7 validate 路径对齐）
- build_or_load_gate_pools 先折叠单元再排除 test（抽 helper 控复杂度 B）
- runner：_init_gate_pools 建 unit 索引；gate 验证 exclude/展开、
  _refresh_gate_ladder 折叠观测走 units_by_id

反泄漏 run_id 含 _gate_ 过滤不受影响（未改）。
测试：新增 test_gate_ladder_unit_migration.py（15 例覆盖 a-e），
既有 test_harness_gate_ladder.py 迁移到 unit API。全量 1363 passed。
 2026-07-15 07:56:15 -04:00
iomgaa 7e97081779 test(harness): 补 _ladder_units 直测 + 澄清 gate 观测表 unit_id 口径注释 
M1：quadrant_pair / gate_evidence 的 question_id 列注释与 write_* docstring
更正为承载 unit_id（single=question_id、pair=pair_id），提示逐题明细在
predictions 表溯源、按 pair_id join 真实 question 表会 join 不上。

M2：给 _ladder_units 补直接单测——纯非 AR 恒等（unit 序==原题序、
unit_id==question_id）、混格交错保持信息阶梯序（按单元最早出现下标重排、
pair 整锁）、且与 build_units 的 single-first 默认序显式区分（防阶梯序被污染）。
 2026-07-15 07:40:36 -04:00
iomgaa 4b6d1d8a50 feat(harness): correctness 三口径 + gate 块按 unit 跑 
进化引擎与 gate e-process 从 question_id 口径迁至 unit_id 口径，AR pair
双向 AND 折叠为单元、不被 P/Q 单题计分污染；逐题 predictions 仅作溯源。

- question_units: 新增 unit_correctness_view(units, per_q)->dict[unit_id,bool]
  作为逐题→单元折叠的唯一入口（复用 unit_correctness）。
- core/evolution/validate: pair_block/compute_accuracy 参数改 unit_ids、
  分母按单元数（键即 unit_id）。
- app/harness/validate（gate 实际执行路径）：阶梯题序聚合为单元并保持信息
  阶梯序（_ladder_units），gate 块按单元切分（AR pair 整锁不跨块拆）；
  baseline_cache 键含 unit_id、存单元级对错；候选逐题读回后折叠成单元视图；
  n_used/W/L/四象限/准确率均按单元计；证据行按 unit 口径，candidate_correctness
  独立保留逐题对错供 runner 二轨合并。
- runner: probation 结算按 unit 折叠计 W/L（_probation_unit_flips）；quadrant
  四象限 id 承载 unit_id。

核心算法保真 #5（信息阶梯 e-process）：本次仅迁移 correctness 口径，不改冷启动
2:1 / gamma-EMA / 反泄漏算法本身（gate_ladder 迁移见 Task 8）。
 2026-07-15 07:31:03 -04:00
iomgaa dee6bf4896 test: assert specific missing question_id in T6 invariant error match 2026-07-15 07:09:54 -04:00
iomgaa 8a69a54078 refactor: fail-loud unit grading and stricter orphan pair drop 
Address review: replace bare KeyError with a contextual ValueError invariant
check in _grade_unit (fail-loud, no catch/skip/fallback); tighten
_drop_orphan_pairs to require exactly one original + one mirror with no extra
illegal-role records (total==2); clarify InferenceResult docstring to unit-grained
semantics. Add tests for missing-prediction descriptive error and extra-illegal-role
pair drop.
 2026-07-15 07:05:37 -04:00
iomgaa 61bfa0e633 style: apply ruff format to T6 inference aggregation 2026-07-15 06:58:51 -04:00
iomgaa 730caa7e9a feat: aggregate inference by question unit with pair AND 
Reuse build_units/unit_correctness (pair contract single entry) in the
inference aggregation step: single questions count as one unit, AR pairs
collapse original+mirror into one unit scored by bidirectional AND. total/
correct/per_task_type are unit-grained; orphan pairs (missing one side) are
warned and dropped, not counted. Per-question predictions still land row by
row (traceability unchanged).
 2026-07-15 06:57:48 -04:00
iomgaa 2429dad393 feat(batching): unit 粒度切分——pair 整锁 + 单元级分桶 + 非 AR 独立 rng 
build_batches 改以 QuestionUnit 为原子调度单元：孪生对 2 题整锁进同一 batch、
按单元级正确性（双向 AND）落 correct/error 桶，不再因 P 对 Q 错被劈或被 FFD 拆箱。

- 非 AR（single）用 random.Random(seed) 复现旧逐题算法确切 draw 序列，AR（pair）
  用 _rng_ns(seed,"AR") SHA-256 派生独立流；二者 draw 流互不干扰，故 AR 折叠不改变
  非 AR 抽样/洗牌序列——纯非 AR 输入 build_batches 结果与引入 QuestionUnit 前逐字节一致。
- FFD 容量按 unit.size（pair 占 2），round-robin 遇碎片新开 bin 兜底而非报错。
- _select_mixed_by_task_type 分流各跑一次后合并，大类洗牌按 kind 拆分各用对应 rng。

新增黄金测试 test_batching_pair_lock.py 覆盖三条铁律（同 batch / 单元分桶 /
非 AR byte-identical + draw 流独立）；既有 batching 测试全绿。
 2026-07-15 06:46:28 -04:00
iomgaa c412698cff style(test): 修 loader unit-sampling 测试的 ruff 告警 
TC003 将 Path 导入移入 TYPE_CHECKING 块（仅注解使用），
C408 将 base = dict(...) 改为字典字面量。行为不变。
 2026-07-15 06:30:14 -04:00
iomgaa d6a3107e4e feat(question_gen): loader 按 unit 分层采样 + load_benchmark 读回 pair 字段 
stratified_sample 先 build_units 聚合，以 QuestionUnit 为采样原子做
分层/去重/补足/rng.sample，返回前 flatten_units 展开为逐题列表；
size/correct_ratio/min_per_class 均按 unit 计数，单元正确性走成员 AND，
孪生对两题永不被劈开。纯 single 输入下 build_units 1:1 折叠、顺序不变，
rng 消耗与旧逐题实现字节级一致（新增回归测试守护）。

_backfill_per_class candidates 改按 unit 枚举去重；build_units/flatten_units
函数内延迟导入以规避 question_gen<->harness 循环依赖（沿用 adversarial_filter）。

load_benchmark 反序列化补 pair_id/question_role/flip_axis/unit_id 四字段，
用 .get 兼容旧 JSON（缺失退化为 single，unit_id 由 __post_init__ 回填）。

pools._sample_excluding 随之改为透传 flatten_units(candidates) 给已单元化的
stratified_sample（不再用 lone pair-original 代表），行为对 single-only 保持等价。
 2026-07-15 06:27:41 -04:00
iomgaa ddb9a44f75 feat(pools): 三池切分以 unit 为原子，孪生对同池不被拆散 
build_pools/_sample_excluding 与 PerCategoryPoolStrategy._split_one_category/
build_incremental 两条切分路径均改为以 QuestionUnit 为采样原子：progressive
exclusion 互斥集合与 train/val 分层划分都按 unit_id 计数（pair 计 1 个 unit），
命中单元整体展开，AR 孪生对两题永不落入不同池/split。

复用 app.harness.question_units 的 build_units/flatten_units，不重写分组逻辑。
single-only 输入下 unit 与 question 一一对应、rng 消耗量不变，采样与划分结果
与逐题口径完全一致；抽出 _unit_correct/_assert_correctness_complete 两个 helper
将 _split_one_category 复杂度压回基线以下。

新增 tests/unit/test_pools_pair_atomic.py 覆盖两条路径的 pair 原子性回归。
 2026-07-15 06:09:14 -04:00
iomgaa bef46636fe feat: add question_units helper as pair contract entry point 
build_units/flatten_units/validate_units/unit_correctness——pair 契约唯一入口。
build_units 对孤儿/超员/角色缺失重复 fail-fast raise ValueError（防 next 静默
StopIteration）；unit_correctness 走 per_q[qid] KeyError 防静默兜底。
 2026-07-15 05:52:30 -04:00
iomgaa 7ef9b99217 feat: add QuestionUnit entity and GeneratedQuestion pair fields 
新增 QuestionUnit 契约实体（kind/unit_id/task_type/questions/unit_hash + size/from_single/from_pair），
作为 AR pair 孪生对贯穿评测/训练 harness 的最小调度单元。
GeneratedQuestion 追加 unit_id/pair_id/question_role/flip_axis 四字段，
__post_init__ 回填 unit_id，默认值保证现有非 AR single 题构造点行为不变。
 2026-07-15 05:45:34 -04:00
iomgaa b1c1bf7aac fix: isolate selector VLM exceptions at slot level (no batch crash) 2026-07-14 21:08:00 -04:00
iomgaa f36eb66c18 fix: tolerate backfill under-delivery, fix predict None-fill, drop dead session_id 2026-07-14 17:07:55 -04:00
iomgaa 1d222d9f18 feat: wire real agent runner, backfill assembly and adversarial-filter CLI 2026-07-14 16:58:32 -04:00
iomgaa 73d0bb9190 feat: add adversarial round loop with backfill iteration and difficulty report 2026-07-14 16:40:05 -04:00
iomgaa c1565a01c2 test: assert stage/verdict/pair_id and Q-refusal flip_skipped path 2026-07-14 16:33:09 -04:00
iomgaa 15aee0cfc1 feat: add flip gate reusing P prediction and mirror-Q agent run 2026-07-14 16:26:51 -04:00
iomgaa 8731e448fe fix: harden mirror material rebuild (empty/invalid frames, dedup, observability) 2026-07-14 16:16:38 -04:00
iomgaa 4af99b700b feat: add mirror question generation with canonical distinctness check 2026-07-14 16:08:13 -04:00
iomgaa d4e9852864 feat: add cheater gate with resume-safe survivor recovery 2026-07-14 16:00:14 -04:00
iomgaa 24ed7ca322 fix: harden canonical_answer_text and align decision-core signatures to spec 2026-07-14 15:55:36 -04:00
iomgaa c109f2257a feat: add pure decision core for adversarial filter (hash/fingerprint/canonical/flip) 2026-07-14 15:51:28 -04:00
iomgaa 334fbbc94d feat: add AdversarialFilterConfig for Phase B post-hoc filter layer 2026-07-14 15:47:21 -04:00
iomgaa ac115d96fb test: cover backfill params end-to-end (mutation isolation + seq_offset) 2026-07-14 15:44:43 -04:00
iomgaa 8b9e8aa19f feat: add optional backfill params to run_pipeline_v2 2026-07-14 15:39:57 -04:00
iomgaa d77cbc95eb feat: add adversarial_verdicts table with resume and terminal-verdict query 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-14 15:35:11 -04:00