iomgaa 8b362eae09 层2: max_grad_norm 提进 DistillConfig（显式化静默稳定器）+ noclip 对照模式 ...

首冒烟发现：sanity 的 loss 平滑、无预期毛刺，因 HF 默认 max_grad_norm=1.0 把
反向 KL 的梯度爆炸（§4.1，实测 grad_norm 14→2 是裁剪前范数）默默压平了——正是
本项目要堵的"静默行为"。

- configs.py: DistillConfig 加 max_grad_norm=1.0（默认=原 HF 行为），docstring 讲清
  它是 §4.1 爆炸的隐形稳定器、日志 grad_norm 是裁剪前值；__post_init__ 校验 >0
- train_whitebox.py: FULL 显式写出、TrainingArguments 传入；build_config 加 noclip
  模式（max_grad_norm=1e9≈关裁剪 + lr 5× + 15 步）暴露原始爆炸供教学对照
- .sh: 用法加 noclip 模式说明

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-19 08:34:14 -04:00

..

__init__.py

层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）

2026-07-18 04:40:45 -04:00

configs.py

层2: max_grad_norm 提进 DistillConfig（显式化静默稳定器）+ noclip 对照模式

2026-07-19 08:34:14 -04:00

data.py

重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺）

2026-07-19 05:21:16 -04:00

teacher.py

层1/T2: max_tokens 放大至 16384（防截断，上限不计费）；并发提到 16；进度行加速度与预计剩余时间

2026-07-18 08:20:57 -04:00

trainer.py

层2/U4: DistillTrainer 编排（on-policy 生成→teacher no_grad 前向→反向KL）

2026-07-19 05:16:57 -04:00