ars-opd-rebuild

Files

T

iomgaa 0ca60ea93f 层2/U4: DistillTrainer 编排（on-policy 生成→teacher no_grad 前向→反向KL）

trainer.py（对应 docs/03 §5 U4）:
- build_generated_batch: 纯函数，generate 输出重建 ids/attention/labels；
  "首个 eos 及之前有效"用 cumsum-self==0 实现，稳健对付 pad==eos / pad!=eos / 无eos
- DistillTrainer.compute_loss 四步：生成(no_grad,unwrap)→重建→双前向→移位+divergence
- 损失几何复用 compute_prompt_length（与 sft_loss 同款）；梯度只经 student
- 构造时校验 teacher/student 同 tokenizer（白盒前提，比 DT:2876 更早）
- teacher eval+冻结、设备迁移推迟到 compute_loss；同层1退出梯度累积新式契约

test_distill.py（对应 docs/03 §2.5）:
- build_generated_batch 6 例：eos居中屏蔽/无eos全监督/batch混长/pad==eos/立即eos/prompt段-100

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-19 05:16:57 -04:00

test_configs.py

层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）

2026-07-18 04:40:45 -04:00

test_data.py

层2/U3: SFTCollator 放开 prompt-only 模式（供 on-policy 生成）

2026-07-19 05:02:24 -04:00

test_distill.py

层2/U4: DistillTrainer 编排（on-policy 生成→teacher no_grad 前向→反向KL）

2026-07-19 05:16:57 -04:00

test_divergence.py

层2/U2: 纯逻辑 token_divergence（式(2) 全词表 KL/JSD）+ 梯度爆炸演示单测