 iomgaa
|
0ca60ea93f
|
层2/U4: DistillTrainer 编排（on-policy 生成→teacher no_grad 前向→反向KL）
trainer.py（对应 docs/03 §5 U4）:
- build_generated_batch: 纯函数，generate 输出重建 ids/attention/labels；
"首个 eos 及之前有效"用 cumsum-self==0 实现，稳健对付 pad==eos / pad!=eos / 无eos
- DistillTrainer.compute_loss 四步：生成(no_grad,unwrap)→重建→双前向→移位+divergence
- 损失几何复用 compute_prompt_length（与 sft_loss 同款）；梯度只经 student
- 构造时校验 teacher/student 同 tokenizer（白盒前提，比 DT:2876 更早）
- teacher eval+冻结、设备迁移推迟到 compute_loss；同层1退出梯度累积新式契约
test_distill.py（对应 docs/03 §2.5）:
- build_generated_batch 6 例：eos居中屏蔽/无eos全监督/batch混长/pad==eos/立即eos/prompt段-100
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-19 05:16:57 -04:00 |
|
|
iomgaa
|
de7f36828a
|
层2/U2: 纯逻辑 token_divergence（式(2) 全词表 KL/JSD）+ 梯度爆炸演示单测
trainer.py（对应 docs/03 §5 U2，与 sft_loss 同为纯张量损失函数）:
- token_divergence: 全词表精确 KL（β=1 反向=式(2) / β=0 前向 / (0,1) JSD）
- 只吃两组已对齐 logits + labels 掩码，不做移位（复用 T4 几何，留给 U4）
- 删参考实现 top-k/尾桶/nan_to_num（本地全词表恒有限）；按 β 分支省一份 probs
- per-token mean 与 sft_loss 同尺度；全掩码/beta 越界显式报错
test_divergence.py（对应 docs/03 §6.1）:
- 对拍 PyTorch torch.distributions.kl_divergence（独立 oracle，非同式自证）
- 方向性: 反向罚越界(mode-seeking) / 前向罚漏覆盖(mode-covering)
- §4.1 梯度爆炸: teacher 概率 1e-1→1e-6 时 student 梯度范数单调暴涨（层5对照桩）
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-19 04:00:25 -04:00 |
|
|
iomgaa
|
4f13365ffa
|
层1: 损失缩放终解——显式退出 HF 新式梯度累积契约（model_accepts_loss_kwargs=False）
第二幕根因：新式契约的 ×world_size 补偿在基类 compute_loss 尾部（v5
trainer.py:2028），整体重写会绕过它 → loss 与梯度 ÷4（sanity 0.244≈0.85/4）。
按 HF 文档建议（trainer.py:1977）退出新式契约回经典行为；docs/02 勘误改为
两幕全记录。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 10:25:11 -04:00 |
|
|
iomgaa
|
ee16e29846
|
层1: 修复 HF 梯度累积契约坑——compute_loss 按新式契约返回 sum/num_items_in_batch
根因（探针定案）：预训练模型真实 CE≈0.85，训练日志 7.5≈0.94×8（累积步数）。
Qwen3 forward 接受 loss_kwargs → Trainer 走新式契约不再除以累积步数，我们
返回裸 mean 导致日志与梯度同放大 8 倍。sft_loss 纯函数不动，适配收口在
compute_loss；docs/02 §5 勘误起点预期（~0.85）并记录此坑。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 10:18:09 -04:00 |
|
|
iomgaa
|
f5bb852fde
|
层1/T4: trainer.py 掩码 SFT 损失 + 最小 HF Trainer 子类（docs/02 §2.4）
- sft_loss 纯张量函数：batch-min prompt_length、移位切片、labels 重掩码；
空 batch/无 prompt 行显式报错（参考实现静默归零，差异已标注）
- SFTTrainer 只重写 compute_loss 与 log；不向模型传 labels（防内部损失
绕过重掩码）；日志并入每步有效 token 数供 sanity 监控
- tests/test_trainer.py: 7 个单测，含手算对拍、移位对齐、窗口外无关性、
漏切重掩码
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 05:02:41 -04:00 |
|