 iomgaa
|
404abc22bf
|
重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺）
深模块修正：本函数只用 5 个字段，却索要整个 SFTConfig——层 1 无痛，但诊断脚本
被迫伪造 output_dir（4 处 /tmp/diag、outputs/_unused），层 2 更因 DistillConfig
无 teacher_completions_path 而无法复用。改收 dataset_path/split/subset_size/seed/
teacher_completions_path 五个散装参数（接口终于比实现轻）。
- data.py: 签名改散装参数；移除 TYPE_CHECKING 的 SFTConfig 依赖
- train_sft / diag_loss_probe / diag_collator: 仍持 SFTConfig（喂 collator），改调用点
- diag_generate / generate_teacher_completions: 只为 load 而造 config，直接丢弃、
去掉伪造 output_dir，改传字面量
- 为 U5 层 2 训练脚本能直接 load_sft_dataset(distill_cfg 的字段) 铺路
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-19 05:21:16 -04:00 |
|
|
iomgaa
|
e5a28e8e77
|
层2/U3: SFTCollator 放开 prompt-only 模式（供 on-policy 生成）
data.py（对应 docs/03 §5 U3）:
- 加 prompt_only 开关：True 时输出 prompts/prompt_attention_mask（不产 labels，
由 U4 生成后重建）；False 时 SFT 双预算路径逐字不变
- max_length 改可选：prompt-only 无总预算；SFT 模式缺它构造即报错
- 兑现 T3 为 on-policy 生成预留的口子；生成用左 padding（右边界对齐）
test_data.py:
- 新增 prompt_only 模式：返回 prompt 张量/不报错、左 padding、截断、剥末轮 assistant
- 回归守卫：SFT 模式仍拒绝 prompt-only 行（"SFT 路径行为不变"）
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-19 05:02:24 -04:00 |
|
|
iomgaa
|
5ea58ddf59
|
层1/T3: data.py 数据管线——加载、messages 归一、teacher 缓存挂接、双预算 collator（docs/02 §2.2-2.3）
- to_messages 三分支归一，except:pass 改显式报错（差异标注在注释）
- prompt_key: sha256 内容寻址，作为与 teacher.py 的缓存契约单点定义
- attach_teacher_completions: 缺键一次性报全，绝不静默跳过
- SFTCollator: 双预算截断 + 未截断长度定边界（坑二）+ -100 掩码 + 左 padding；
prompt-only 行显式报错（层 2 接 on-policy 再放开）
- tests/test_data.py: 19 个单测，玩具字符级 tokenizer 覆盖超长解答/超长题目/
enable_thinking 双取值/左 padding/缓存契约
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-18 04:51:19 -04:00 |
|