 iomgaa
|
f5bb852fde
|
层1/T4: trainer.py 掩码 SFT 损失 + 最小 HF Trainer 子类（docs/02 §2.4）
- sft_loss 纯张量函数：batch-min prompt_length、移位切片、labels 重掩码；
空 batch/无 prompt 行显式报错（参考实现静默归零，差异已标注）
- SFTTrainer 只重写 compute_loss 与 log；不向模型传 labels（防内部损失
绕过重掩码）；日志并入每步有效 token 数供 sanity 监控
- tests/test_trainer.py: 7 个单测，含手算对拍、移位对齐、窗口外无关性、
漏切重掩码
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 05:02:41 -04:00 |
|
|
iomgaa
|
5ea58ddf59
|
层1/T3: data.py 数据管线——加载、messages 归一、teacher 缓存挂接、双预算 collator（docs/02 §2.2-2.3）
- to_messages 三分支归一，except:pass 改显式报错（差异标注在注释）
- prompt_key: sha256 内容寻址，作为与 teacher.py 的缓存契约单点定义
- attach_teacher_completions: 缺键一次性报全，绝不静默跳过
- SFTCollator: 双预算截断 + 未截断长度定边界（坑二）+ -100 掩码 + 左 padding；
prompt-only 行显式报错（层 2 接 on-policy 再放开）
- tests/test_data.py: 19 个单测，玩具字符级 tokenizer 覆盖超长解答/超长题目/
enable_thinking 双取值/左 padding/缓存契约
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 04:51:19 -04:00 |
|
|
iomgaa
|
58d75cc56a
|
层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4）
- ars_opd/configs.py: 冻结 dataclass，机器路径无默认强制显式传入；
双预算/enable_thinking/lr 差异均按 §7 规范标注
- __post_init__ 构造即校验，防"completion 预算为零→loss 恒 0"静默空训练
- tests/test_configs.py: 6 个校验测试
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 04:40:45 -04:00 |
|