ars-opd-rebuild

iomgaa/ars-opd-rebuild

Fork 0

Commit Graph

Author	SHA1	Message	Date
iomgaa	404abc22bf	重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺）深模块修正：本函数只用 5 个字段，却索要整个 SFTConfig——层 1 无痛，但诊断脚本被迫伪造 output_dir（4 处 /tmp/diag、outputs/_unused），层 2 更因 DistillConfig 无 teacher_completions_path 而无法复用。改收 dataset_path/split/subset_size/seed/ teacher_completions_path 五个散装参数（接口终于比实现轻）。 - data.py: 签名改散装参数；移除 TYPE_CHECKING 的 SFTConfig 依赖 - train_sft / diag_loss_probe / diag_collator: 仍持 SFTConfig（喂 collator），改调用点 - diag_generate / generate_teacher_completions: 只为 load 而造 config，直接丢弃、去掉伪造 output_dir，改传字面量 - 为 U5 层 2 训练脚本能直接 load_sft_dataset(distill_cfg 的字段) 铺路 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-07-19 05:21:16 -04:00
iomgaa	42a4349e69	层1/T2: 生成脚本接入本地已有的 DAPO 去重版 parquet（17917 行），补试跑说明数据管线已用真实数据验证（加载→归一→seed 抽子集，5 条无报错） Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-18 08:11:01 -04:00
iomgaa	20e6d97427	层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3 - teacher.py: 通用 OpenAI 兼容客户端（配置驱动 base_url，替代 OpenRouter 专用）；缓存即断点（逐条落盘+flush，重跑自动续传）；单条失败先落盘其余、结束汇总显式报错； M3 思考段 <think>...</think> 入库前剥离（只剥开头一段） - configs.py: 新增 TeacherGenConfig（采样参数显式化；连接三元组走 .env） - scripts/generate_teacher_completions.py: 自包含生成脚本（本地跑，与训练侧同 seed 同子集约束已注明） - teacher 决策变更同步：.env.example / docs/00 关键设定与存档点 / docs/02 - tests/test_teacher.py: 10 个单测（假客户端注入），含与 attach 的端到端契约闭环 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-18 07:52:53 -04:00

Author

SHA1

Message

Date

iomgaa

404abc22bf

重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺）

深模块修正：本函数只用 5 个字段，却索要整个 SFTConfig——层 1 无痛，但诊断脚本
被迫伪造 output_dir（4 处 /tmp/diag、outputs/_unused），层 2 更因 DistillConfig
无 teacher_completions_path 而无法复用。改收 dataset_path/split/subset_size/seed/
teacher_completions_path 五个散装参数（接口终于比实现轻）。

- data.py: 签名改散装参数；移除 TYPE_CHECKING 的 SFTConfig 依赖
- train_sft / diag_loss_probe / diag_collator: 仍持 SFTConfig（喂 collator），改调用点
- diag_generate / generate_teacher_completions: 只为 load 而造 config，直接丢弃、
  去掉伪造 output_dir，改传字面量
- 为 U5 层 2 训练脚本能直接 load_sft_dataset(distill_cfg 的字段) 铺路

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-19 05:21:16 -04:00

iomgaa

42a4349e69

层1/T2: 生成脚本接入本地已有的 DAPO 去重版 parquet（17917 行），补试跑说明

数据管线已用真实数据验证（加载→归一→seed 抽子集，5 条无报错）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-18 08:11:01 -04:00

iomgaa

20e6d97427

层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3

- teacher.py: 通用 OpenAI 兼容客户端（配置驱动 base_url，替代 OpenRouter 专用）；
  缓存即断点（逐条落盘+flush，重跑自动续传）；单条失败先落盘其余、结束汇总显式报错；
  M3 思考段 <think>...</think> 入库前剥离（只剥开头一段）
- configs.py: 新增 TeacherGenConfig（采样参数显式化；连接三元组走 .env）
- scripts/generate_teacher_completions.py: 自包含生成脚本（本地跑，与训练侧
  同 seed 同子集约束已注明）
- teacher 决策变更同步：.env.example / docs/00 关键设定与存档点 / docs/02
- tests/test_teacher.py: 10 个单测（假客户端注入），含与 attach 的端到端契约闭环

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-18 07:52:53 -04:00

3 Commits