docs: roadmap 存档点更新——层 2 代码关账(U1-U5 全绿),列远程冒烟三盯待办
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
+4
-3
@@ -7,9 +7,10 @@
|
||||
|
||||
> 每次断点(层完成/工作暂停)更新此节。恢复上下文时:读 CLAUDE.md → 本节 → 对应章节文档。
|
||||
|
||||
- **日期**: 2026-07-18
|
||||
- **当前层**: 层 2(white-box OPD),学习阶段——docs/03 已写,用户精读中;U1-U5 待默认参数确认后开写
|
||||
- **层 2 开写前两件待办**: ① docs/03 §5 默认参数提案待用户确认,其中 per-device batch=4 须先用层 1 实测显存账重审(白盒 = student+teacher 两份全词表 logits);② 用户三道自查题待对答案(尾桶丢什么信息 / off-policy 蒸馏何时值得加回+层 1 缓存的角色 / 低频路径 bug 存活率与单测应压向哪里)
|
||||
- **日期**: 2026-07-19
|
||||
- **当前层**: 层 2(white-box OPD),**代码已完成(U1-U5 全绿,66 单测通过)**,待远程冒烟
|
||||
- **层 2 远程冒烟待办(下一步,用户在远程机执行)**: `bash scripts/train_whitebox.sh sanity`(50 步)。三盯:① `nvidia-smi` 确认 B=4/T=2048 不 OOM(白盒 = student+teacher 两份全词表 logits,§5 估算但未实测,OOM 阶梯:降 B→2、再开 gradient_checkpointing);② KL loss 曲线应见**毛刺**(§4.1 梯度爆炸实况,截图留档给层 5 当有界乘子对照);③ `distill/num_gen_tokens_per_step` 不塌成 0(生成没空转)。首跑会下载 teacher Qwen3-4B(GB 级)到 /data/zym/hf_cache
|
||||
- **层 2 代码构成**: U1 DistillConfig(configs.py,两温度分名/三处刻意缺席);U2 token_divergence + 梯度爆炸单测(trainer.py,全词表 KL/JSD);U3 SFTCollator prompt_only 模式(data.py);U4 DistillTrainer + build_generated_batch(trainer.py,生成→双前向→divergence);U5 train_whitebox.py/.sh。附带:load_sft_dataset 毛刺已磨平(改吃散装参数,接口回看记录清账)
|
||||
- **层 0**: ✅ 已关账(2026-07-18)
|
||||
- **层 1**: ✅ 已关账(2026-07-18)。判据全过:正本缓存 sha `33deb18c…`(1000 条,键唯一,think 残留 0,仅 2 条硬题截断);正式 1 epoch loss 0.94→0.60(56s/16 步);checkpoint 生成通顺(`/data/zym/outputs/sft_qwen3-0.6b_dapo1k`);接口回看完成(全部模块判"深";毛刺记录:load_sft_dataset 吃整个 SFTConfig 迫使诊断脚本填假 output_dir,层 2 第二消费方出现时定夺)
|
||||
- **层 1 疤痕档案**(详见 docs/02 §2.6/§5 勘误): ① 显存大头是 (B,T,V) logits 链与激活(正比 B×T,与参数量无关),B=8 曾爆 80G;② HF 梯度累积契约两幕剧(×8 → ÷4),终解 = model_accepts_loss_kwargs=False 退出新式契约;③ 缓存正本纪律:本地生成一次、单向 scp 分发、sha256 对账,两侧独立生成曾花双份钱且内容漂移
|
||||
|
||||
Reference in New Issue
Block a user