 iomgaa
|
fac8e0dcc5
|
docs: 层 2 关账——§6.1 远程实证勘误"预期见毛刺" + roadmap 存档点 + 接口回看
- docs/03 §6.1：两次远程跑（sanity/noclip）均平稳，勘误当初"预期毛刺"的错误
预测；三条实证结论（爆炸真机制但本区间高度阻尼、grad_norm 是裁剪前值、层 5
真正杀手锏是 logit-free）
- roadmap 存档点：层 2 ✅ 关账，判据全过、关键发现、接口回看（全判"深"，
三条不返工小注）；章节索引 03 标已关账；下一步层 3
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-19 09:30:45 -04:00 |
|
|
iomgaa
|
e42af5256f
|
层2/U1: 新增 DistillConfig（式(2) 白盒蒸馏参数）+ docs/03 表述打磨
configs.py（对应 docs/03 §5 U1）:
- DistillConfig 自包含、不继承 SFTConfig；teacher_model 进 config、student 留脚本
- 三处刻意缺席: 无 teacher_completions_path/max_length/top_k（现场生成+全词表）
- 两温度分名: kl_temperature（散度 softmax）vs gen_temperature（on-policy 采样）
- 默认即式(2): beta=1 反向KL、温度1、纯采样 top_p=1；lr=1e-6（论文§5.1蒸馏）
- __post_init__ 8 分支构造即校验（gen_temperature>0 护 on-policy 语义）
docs/03:
- §2.3 β 三副面孔表: 记号统一 π、补 mode-seeking 对称、附全词表/稀疏双镜像说明
- §2.3 三条实现约定（温度/log域/batchmean）由一句话拆成可扫读表格
- §3 偏差清单上方补统领抉择原则
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-19 03:37:44 -04:00 |
|
|
iomgaa
|
68216ace22
|
docs: 第三章勘误——off-policy 切片是数据轨迹上的 KL 蒸馏而非混 SFT；补 prompt-only 下静默空转的说明
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 09:02:41 -04:00 |
|
|
iomgaa
|
3c1530a1db
|
docs: 第三章——层 2 white-box OPD（式(2) 精读、standard 路径解剖、U1-U5 重构任务）
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 08:34:29 -04:00 |
|