iomgaa ee16e29846 层1: 修复 HF 梯度累积契约坑——compute_loss 按新式契约返回 sum/num_items_in_batch ...

根因（探针定案）：预训练模型真实 CE≈0.85，训练日志 7.5≈0.94×8（累积步数）。
Qwen3 forward 接受 loss_kwargs → Trainer 走新式契约不再除以累积步数，我们
返回裸 mean 导致日志与梯度同放大 8 倍。sft_loss 纯函数不动，适配收口在
compute_loss；docs/02 §5 勘误起点预期（~0.85）并记录此坑。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-18 10:18:09 -04:00

..

__init__.py

层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）

2026-07-18 04:40:45 -04:00

configs.py

层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变）

2026-07-18 09:21:38 -04:00

data.py

层1/T3: data.py 数据管线——加载、messages 归一、teacher 缓存挂接、双预算 collator（docs/02 §2.2-2.3）

2026-07-18 04:51:19 -04:00

teacher.py

层1/T2: max_tokens 放大至 16384（防截断，上限不计费）；并发提到 16；进度行加速度与预计剩余时间

2026-07-18 08:20:57 -04:00

trainer.py

层1: 修复 HF 梯度累积契约坑——compute_loss 按新式契约返回 sum/num_items_in_batch

2026-07-18 10:18:09 -04:00