 iomgaa
|
a0faec0df7
|
层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变）
根因：150k 大词表下显存大头是 (B,T,V) logits 链（fp32 ~20G@B=8）与逐层激活，
均正比于 B 而与 0.6B 参数量无关。docs/02 §2.6 旧显存估算勘误入档；
train_sft.sh 加 expandable_segments 防碎片。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 09:21:38 -04:00 |
|
|
iomgaa
|
4621ebae31
|
层1/T2: max_tokens 放大至 16384（防截断，上限不计费）；并发提到 16；进度行加速度与预计剩余时间
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 08:20:57 -04:00 |
|
|
iomgaa
|
20e6d97427
|
层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3
- teacher.py: 通用 OpenAI 兼容客户端（配置驱动 base_url，替代 OpenRouter 专用）；
缓存即断点（逐条落盘+flush，重跑自动续传）；单条失败先落盘其余、结束汇总显式报错；
M3 思考段 <think>...</think> 入库前剥离（只剥开头一段）
- configs.py: 新增 TeacherGenConfig（采样参数显式化；连接三元组走 .env）
- scripts/generate_teacher_completions.py: 自包含生成脚本（本地跑，与训练侧
同 seed 同子集约束已注明）
- teacher 决策变更同步：.env.example / docs/00 关键设定与存档点 / docs/02
- tests/test_teacher.py: 10 个单测（假客户端注入），含与 attach 的端到端契约闭环
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 07:52:53 -04:00 |
|
|
iomgaa
|
58d75cc56a
|
层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）
- ars_opd/configs.py: 冻结 dataclass，机器路径无默认强制显式传入；
双预算/enable_thinking/lr 差异均按 §7 规范标注
- __post_init__ 构造即校验，防"completion 预算为零→loss 恒 0"静默空训练
- tests/test_configs.py: 6 个校验测试
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 04:40:45 -04:00 |
|