 iomgaa
|
ee16e29846
|
层1: 修复 HF 梯度累积契约坑——compute_loss 按新式契约返回 sum/num_items_in_batch
根因（探针定案）：预训练模型真实 CE≈0.85，训练日志 7.5≈0.94×8（累积步数）。
Qwen3 forward 接受 loss_kwargs → Trainer 走新式契约不再除以累积步数，我们
返回裸 mean 导致日志与梯度同放大 8 倍。sft_loss 纯函数不动，适配收口在
compute_loss；docs/02 §5 勘误起点预期（~0.85）并记录此坑。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 10:18:09 -04:00 |
|
|
iomgaa
|
a0faec0df7
|
层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变）
根因：150k 大词表下显存大头是 (B,T,V) logits 链（fp32 ~20G@B=8）与逐层激活，
均正比于 B 而与 0.6B 参数量无关。docs/02 §2.6 旧显存估算勘误入档；
train_sft.sh 加 expandable_segments 防碎片。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 09:21:38 -04:00 |
|
|
iomgaa
|
20e6d97427
|
层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3
- teacher.py: 通用 OpenAI 兼容客户端（配置驱动 base_url，替代 OpenRouter 专用）；
缓存即断点（逐条落盘+flush，重跑自动续传）；单条失败先落盘其余、结束汇总显式报错；
M3 思考段 <think>...</think> 入库前剥离（只剥开头一段）
- configs.py: 新增 TeacherGenConfig（采样参数显式化；连接三元组走 .env）
- scripts/generate_teacher_completions.py: 自包含生成脚本（本地跑，与训练侧
同 seed 同子集约束已注明）
- teacher 决策变更同步：.env.example / docs/00 关键设定与存档点 / docs/02
- tests/test_teacher.py: 10 个单测（假客户端注入），含与 attach 的端到端契约闭环
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 07:52:53 -04:00 |
|
|
iomgaa
|
6c128ad6f5
|
docs/02：FSDP 决策定案——DDP 到 1.7B，触发点写死（4B 或 seq>8K），env 坑今日消除（脚本头部前置块）
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 04:21:30 -04:00 |
|
|
iomgaa
|
12e2a8b0ae
|
docs: 第二章——层1 SFT 基线开工文档（参考实现解剖+保留/替代/删除清单+任务表）；CLAUDE.md 映射表补 data.py
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 03:51:06 -04:00 |
|