iomgaa de7f36828a 层2/U2: 纯逻辑 token_divergence（式(2) 全词表 KL/JSD）+ 梯度爆炸演示单测 ...

trainer.py（对应 docs/03 §5 U2，与 sft_loss 同为纯张量损失函数）:
- token_divergence: 全词表精确 KL（β=1 反向=式(2) / β=0 前向 / (0,1) JSD）
- 只吃两组已对齐 logits + labels 掩码，不做移位（复用 T4 几何，留给 U4）
- 删参考实现 top-k/尾桶/nan_to_num（本地全词表恒有限）；按 β 分支省一份 probs
- per-token mean 与 sft_loss 同尺度；全掩码/beta 越界显式报错

test_divergence.py（对应 docs/03 §6.1）:
- 对拍 PyTorch torch.distributions.kl_divergence（独立 oracle，非同式自证）
- 方向性: 反向罚越界(mode-seeking) / 前向罚漏覆盖(mode-covering)
- §4.1 梯度爆炸: teacher 概率 1e-1→1e-6 时 student 梯度范数单调暴涨（层5对照桩）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-19 04:00:25 -04:00

..

test_configs.py

层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）

2026-07-18 04:40:45 -04:00

test_data.py

层1/T3: data.py 数据管线——加载、messages 归一、teacher 缓存挂接、双预算 collator（docs/02 §2.2-2.3）

2026-07-18 04:51:19 -04:00

test_divergence.py

层2/U2: 纯逻辑 token_divergence（式(2) 全词表 KL/JSD）+ 梯度爆炸演示单测

2026-07-19 04:00:25 -04:00

test_estimator_detach.py

tests: 预置 π̂ detach 命门守护测试（对应 docs/01 §3.4，层 3 接入真实 estimator）

2026-07-18 02:32:05 -04:00

test_teacher.py

层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3

2026-07-18 07:52:53 -04:00

test_trainer.py

层1/T4: trainer.py 掩码 SFT 损失 + 最小 HF Trainer 子类（docs/02 §2.4）

2026-07-18 05:02:41 -04:00