iomgaa 630a9c4636 层3 E2: estimator.py——式(4) 几何均值先验 chunk_prior + 式(5) 贝叶斯目标 bayesian_target,17 单测 ...

对应 docs/04 §4 E2。detach 双防线(chunk_prior 内为本质防线、
bayesian_target 末尾为防御性第二道,分别对应参考 trainer:2196/2205);
log 域抗下溢;clamp 下限守定理 4.1(b);k_sem∈[0,N] 口径校验;
方差收缩 toy 模拟对拍 validate_chunk_mc_estimator.py 精神
(MSE_bayes < MSE_freq,含劣先验 ±0.1 稳健性)。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-22 08:01:33 -04:00

..

__init__.py

层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）

2026-07-18 04:40:45 -04:00

configs.py

层2: max_grad_norm 提进 DistillConfig（显式化静默稳定器）+ noclip 对照模式

2026-07-19 08:34:14 -04:00

data.py

重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺）

2026-07-19 05:21:16 -04:00

estimator.py

层3 E2: estimator.py——式(4) 几何均值先验 chunk_prior + 式(5) 贝叶斯目标 bayesian_target,17 单测

2026-07-22 08:01:33 -04:00

similarity.py

层3 E1: similarity.py——语义相似度 φ(rouge1 多重集/edit_distance 词级)+ 式(3) k_sem 聚合,21 单测

2026-07-22 07:58:05 -04:00

teacher.py

层1/T2: max_tokens 放大至 16384（防截断，上限不计费）；并发提到 16；进度行加速度与预计剩余时间

2026-07-18 08:20:57 -04:00

trainer.py

层2/U4: DistillTrainer 编排（on-policy 生成→teacher no_grad 前向→反向KL）

2026-07-19 05:16:57 -04:00