e42af5256f
configs.py(对应 docs/03 §5 U1): - DistillConfig 自包含、不继承 SFTConfig;teacher_model 进 config、student 留脚本 - 三处刻意缺席: 无 teacher_completions_path/max_length/top_k(现场生成+全词表) - 两温度分名: kl_temperature(散度 softmax)vs gen_temperature(on-policy 采样) - 默认即式(2): beta=1 反向KL、温度1、纯采样 top_p=1;lr=1e-6(论文§5.1蒸馏) - __post_init__ 8 分支构造即校验(gen_temperature>0 护 on-policy 语义) docs/03: - §2.3 β 三副面孔表: 记号统一 π、补 mode-seeking 对称、附全词表/稀疏双镜像说明 - §2.3 三条实现约定(温度/log域/batchmean)由一句话拆成可扫读表格 - §3 偏差清单上方补统领抉择原则 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>