iomgaa

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-19 16:00:29 +08:00

de7f36828a 层2/U2: 纯逻辑 token_divergence（式(2) 全词表 KL/JSD）+ 梯度爆炸演示单测

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-19 15:38:07 +08:00

e42af5256f 层2/U1: 新增 DistillConfig（式(2) 白盒蒸馏参数）+ docs/03 表述打磨

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:47:10 +08:00

db392d9c81 存档点：压缩前补记层 2 开写前两件待办（默认参数确认+显存重审、自查题对答案）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:45:01 +08:00

eb56883267 层1 正式关账：判据全过、接口回看完成、疤痕档案与诊断工具箱入存档点

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:37:31 +08:00

872d4bd6a6 层1: diag_generate ruff 修复

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:37:16 +08:00

e472a66959 层1: checkpoint 生成测试脚本（关账判据 3）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:25:16 +08:00

4f13365ffa 层1: 损失缩放终解——显式退出 HF 新式梯度累积契约（model_accepts_loss_kwargs=False）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:18:11 +08:00

ee16e29846 层1: 修复 HF 梯度累积契约坑——compute_loss 按新式契约返回 sum/num_items_in_batch

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:14:34 +08:00

1976230250 层1: 损失探针脚本——预训练模型走管线逐行算 CE，区分数据问题与训练环节问题

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 22:05:49 +08:00

ff572bf4b9 层1: collator 对齐诊断脚本——排查远程 loss 7.5 与 \50118 解码异常（逐环检验缓存/模板/分词/切片）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 21:21:41 +08:00

a0faec0df7 层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 21:02:43 +08:00

68216ace22 docs: 第三章勘误——off-policy 切片是数据轨迹上的 KL 蒸馏而非混 SFT；补 prompt-only 下静默空转的说明

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 20:34:48 +08:00

1d272b6d6c docs: roadmap 索引同步（第三章已写待读）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 20:34:31 +08:00

3c1530a1db docs: 第三章——层 2 white-box OPD（式(2) 精读、standard 路径解剖、U1-U5 重构任务）

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 20:20:59 +08:00

4621ebae31 层1/T2: max_tokens 放大至 16384（防截断，上限不计费）；并发提到 16；进度行加速度与预计剩余时间

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 20:16:26 +08:00

c5a3b7d0bb 层1/T5: 自包含训练脚本 train_sft.sh + train_sft.py；层 1 代码收口

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 20:11:05 +08:00

42a4349e69 层1/T2: 生成脚本接入本地已有的 DAPO 去重版 parquet（17917 行），补试跑说明

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 20:06:41 +08:00

e72d07aced 层1: ars_opd 改为 editable 安装，修复脚本/调试器 import 失败

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 19:52:56 +08:00

20e6d97427 层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3

iomgaa pushed to main at iomgaa/ars-opd-rebuild

2026-07-18 17:02:43 +08:00

f5bb852fde 层1/T4: trainer.py 掩码 SFT 损失 + 最小 HF Trainer 子类（docs/02 §2.4）