iomgaa/ars-opd-rebuild
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

存档点：压缩前补记层 2 开写前两件待办（默认参数确认+显存重审、自查题对答案）

Browse Source 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
iomgaa
2026-07-18 10:47:08 -04:00
parent eb56883267
commit db392d9c81
1 changed files with 1 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/00-roadmap.md
+1
View File
@@ -9,6 +9,7 @@
- **日期**: 2026-07-18 - **日期**: 2026-07-18
- **当前层**: 层 2（white-box OPD），学习阶段——docs/03 已写，用户精读中；U1-U5 待默认参数确认后开写 - **当前层**: 层 2（white-box OPD），学习阶段——docs/03 已写，用户精读中；U1-U5 待默认参数确认后开写
- **层 2 开写前两件待办**: ① docs/03 §5 默认参数提案待用户确认，其中 per-device batch=4 须先用层 1 实测显存账重审（白盒 = student+teacher 两份全词表 logits）；② 用户三道自查题待对答案（尾桶丢什么信息 / off-policy 蒸馏何时值得加回+层 1 缓存的角色 / 低频路径 bug 存活率与单测应压向哪里）
- **层 0**: ✅ 已关账（2026-07-18） - **层 0**: ✅ 已关账（2026-07-18）
- **层 1**: ✅ 已关账（2026-07-18）。判据全过：正本缓存 sha `33deb18c…`（1000 条，键唯一，think 残留 0，仅 2 条硬题截断）；正式 1 epoch loss 0.94→0.60（56s/16 步）；checkpoint 生成通顺（`/data/zym/outputs/sft_qwen3-0.6b_dapo1k`）；接口回看完成（全部模块判"深"；毛刺记录：load_sft_dataset 吃整个 SFTConfig 迫使诊断脚本填假 output_dir，层 2 第二消费方出现时定夺） - **层 1**: ✅ 已关账（2026-07-18）。判据全过：正本缓存 sha `33deb18c…`（1000 条，键唯一，think 残留 0，仅 2 条硬题截断）；正式 1 epoch loss 0.94→0.60（56s/16 步）；checkpoint 生成通顺（`/data/zym/outputs/sft_qwen3-0.6b_dapo1k`）；接口回看完成（全部模块判"深"；毛刺记录：load_sft_dataset 吃整个 SFTConfig 迫使诊断脚本填假 output_dir，层 2 第二消费方出现时定夺）
- **层 1 疤痕档案**（详见 docs/02 §2.6/§5 勘误）: ① 显存大头是 (B,T,V) logits 链与激活（正比 B×T，与参数量无关），B=8 曾爆 80G；② HF 梯度累积契约两幕剧（×8 → ÷4），终解 = model_accepts_loss_kwargs=False 退出新式契约；③ 缓存正本纪律：本地生成一次、单向 scp 分发、sha256 对账，两侧独立生成曾花双份钱且内容漂移 - **层 1 疤痕档案**（详见 docs/02 §2.6/§5 勘误）: ① 显存大头是 (B,T,V) logits 链与激活（正比 B×T，与参数量无关），B=8 曾爆 80G；② HF 梯度累积契约两幕剧（×8 → ÷4），终解 = model_accepts_loss_kwargs=False 退出新式契约；③ 缓存正本纪律：本地生成一次、单向 scp 分发、sha256 对账，两侧独立生成曾花双份钱且内容漂移