iomgaa/ars-opd-rebuild
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Commit Graph

  • 630a9c4636 层3 E2: estimator.py——式(4) 几何均值先验 chunk_prior + 式(5) 贝叶斯目标 bayesian_target,17 单测 main iomgaa 2026-07-22 08:01:33 -04:00
  • e06e5ed7a2 层3 E1: similarity.py——语义相似度 φ(rouge1 多重集/edit_distance 词级)+ 式(3) k_sem 聚合,21 单测 iomgaa 2026-07-22 07:58:05 -04:00
  • e7cf27cecc docs: roadmap 存档点更新——docs/04 已精读，下一步开写 E1（压缩前存档） iomgaa 2026-07-19 09:48:40 -04:00
  • 142aeb8ab1 docs: 层 3 章节文档 docs/04（语义相似度 φ + MC 估计器，式3/4/5） iomgaa 2026-07-19 09:40:58 -04:00
  • fac8e0dcc5 docs: 层 2 关账——§6.1 远程实证勘误"预期见毛刺" + roadmap 存档点 + 接口回看 iomgaa 2026-07-19 09:30:45 -04:00
  • 8b362eae09 层2: max_grad_norm 提进 DistillConfig（显式化静默稳定器）+ noclip 对照模式 iomgaa 2026-07-19 08:34:14 -04:00
  • f1b6d1f668 修复: 禁用 HF Xet（hf-mirror 不代理 CAS，teacher 4B 下载 401） iomgaa 2026-07-19 05:58:16 -04:00
  • 2f4780b69f docs: roadmap 存档点更新——层 2 代码关账（U1-U5 全绿），列远程冒烟三盯待办 iomgaa 2026-07-19 05:24:25 -04:00
  • b7f24d635e 层2/U5: white-box OPD 自包含训练脚本（train_whitebox.py + .sh） iomgaa 2026-07-19 05:23:42 -04:00
  • 404abc22bf 重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺） iomgaa 2026-07-19 05:21:16 -04:00
  • 0ca60ea93f 层2/U4: DistillTrainer 编排（on-policy 生成→teacher no_grad 前向→反向KL） iomgaa 2026-07-19 05:16:57 -04:00
  • e5a28e8e77 层2/U3: SFTCollator 放开 prompt-only 模式（供 on-policy 生成） iomgaa 2026-07-19 05:02:24 -04:00
  • de7f36828a 层2/U2: 纯逻辑 token_divergence（式(2) 全词表 KL/JSD）+ 梯度爆炸演示单测 iomgaa 2026-07-19 04:00:25 -04:00
  • e42af5256f 层2/U1: 新增 DistillConfig（式(2) 白盒蒸馏参数）+ docs/03 表述打磨 iomgaa 2026-07-19 03:37:44 -04:00
  • db392d9c81 存档点：压缩前补记层 2 开写前两件待办（默认参数确认+显存重审、自查题对答案） iomgaa 2026-07-18 10:47:08 -04:00
  • eb56883267 层1 正式关账：判据全过、接口回看完成、疤痕档案与诊断工具箱入存档点 iomgaa 2026-07-18 10:44:58 -04:00
  • 872d4bd6a6 层1: diag_generate ruff 修复 iomgaa 2026-07-18 10:37:28 -04:00
  • e472a66959 层1: checkpoint 生成测试脚本（关账判据 3） iomgaa 2026-07-18 10:37:13 -04:00
  • 4f13365ffa 层1: 损失缩放终解——显式退出 HF 新式梯度累积契约（model_accepts_loss_kwargs=False） iomgaa 2026-07-18 10:25:11 -04:00
  • ee16e29846 层1: 修复 HF 梯度累积契约坑——compute_loss 按新式契约返回 sum/num_items_in_batch iomgaa 2026-07-18 10:18:09 -04:00
  • 1976230250 层1: 损失探针脚本——预训练模型走管线逐行算 CE，区分数据问题与训练环节问题 iomgaa 2026-07-18 10:14:31 -04:00
  • ff572bf4b9 层1: collator 对齐诊断脚本——排查远程 loss 7.5 与 \50118 解码异常（逐环检验缓存/模板/分词/切片） iomgaa 2026-07-18 10:05:46 -04:00
  • a0faec0df7 层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变） iomgaa 2026-07-18 09:21:38 -04:00
  • 68216ace22 docs: 第三章勘误——off-policy 切片是数据轨迹上的 KL 蒸馏而非混 SFT；补 prompt-only 下静默空转的说明 iomgaa 2026-07-18 09:02:41 -04:00
  • 1d272b6d6c docs: roadmap 索引同步（第三章已写待读） iomgaa 2026-07-18 08:34:45 -04:00
  • 3c1530a1db docs: 第三章——层 2 white-box OPD（式(2) 精读、standard 路径解剖、U1-U5 重构任务） iomgaa 2026-07-18 08:34:29 -04:00
  • 4621ebae31 层1/T2: max_tokens 放大至 16384（防截断，上限不计费）；并发提到 16；进度行加速度与预计剩余时间 iomgaa 2026-07-18 08:20:57 -04:00
  • c5a3b7d0bb 层1/T5: 自包含训练脚本 train_sft.sh + train_sft.py；层 1 代码收口 iomgaa 2026-07-18 08:16:24 -04:00
  • 42a4349e69 层1/T2: 生成脚本接入本地已有的 DAPO 去重版 parquet（17917 行），补试跑说明 iomgaa 2026-07-18 08:11:01 -04:00
  • e72d07aced 层1: ars_opd 改为 editable 安装，修复脚本/调试器 import 失败 iomgaa 2026-07-18 08:06:40 -04:00
  • 20e6d97427 层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3 iomgaa 2026-07-18 07:52:53 -04:00
  • f5bb852fde 层1/T4: trainer.py 掩码 SFT 损失 + 最小 HF Trainer 子类（docs/02 §2.4） iomgaa 2026-07-18 05:02:41 -04:00
  • 5ea58ddf59 层1/T3: data.py 数据管线——加载、messages 归一、teacher 缓存挂接、双预算 collator（docs/02 §2.2-2.3） iomgaa 2026-07-18 04:51:19 -04:00
  • 58d75cc56a 层1/T1: SFTConfig dataclass 与构造校验（docs/02 §4） iomgaa 2026-07-18 04:40:45 -04:00
  • 240f404416 工作模式变更入档：层 1 起 Claude 编写代码、用户精读提问；存档点同步 iomgaa 2026-07-18 04:30:55 -04:00
  • 6c128ad6f5 docs/02：FSDP 决策定案——DDP 到 1.7B，触发点写死（4B 或 seq>8K），env 坑今日消除（脚本头部前置块） iomgaa 2026-07-18 04:21:30 -04:00
  • 0bcfc6efd4 层 0 关账：两端环境验收通过（本地 4 passed + 远程 4 passed），存档点进入层 1 iomgaa 2026-07-18 04:05:17 -04:00
  • 12e2a8b0ae docs: 第二章——层1 SFT 基线开工文档（参考实现解剖+保留/替代/删除清单+任务表）；CLAUDE.md 映射表补 data.py iomgaa 2026-07-18 03:51:06 -04:00
  • 77f0419bad roadmap：训练数据定为 DAPO-Math-17K（对齐论文§5.1），登记 φ/β 两处论文-代码默认值背离 iomgaa 2026-07-18 03:47:30 -04:00
  • 9c0ec15716 setup_remote.sh 自清 pip 残留；存档点记录远程根分区结构性问题（/root/zym 507G） iomgaa 2026-07-18 03:39:14 -04:00
  • 991e277316 CLAUDE.md：日志不缓存升级为全局硬规则（含 conda run 事故伤疤标注） iomgaa 2026-07-18 03:30:34 -04:00
  • b679bcb24f 修复 setup_remote.sh：弃用 conda run（输出整体缓冲），改为直调环境内 pip/python 实现实时日志 iomgaa 2026-07-18 03:28:13 -04:00
  • f255d5613a docs: roadmap 增加存档点小节（断点恢复用），登记层 0 当前状态 iomgaa 2026-07-18 03:20:12 -04:00
  • 270a9ab291 层0：统一依赖清单 + 远程一键搭建脚本 + 密钥模板 iomgaa 2026-07-18 03:00:35 -04:00
  • cccccc0ce6 docs: 新增研究方向记录（RI-1：OmniOPD × ZO-RGD 零阶黎曼优化的三个结合点） iomgaa 2026-07-18 02:57:01 -04:00
  • 72799a34dc tests: 预置 π̂ detach 命门守护测试（对应 docs/01 §3.4，层 3 接入真实 estimator） iomgaa 2026-07-18 02:32:05 -04:00
  • c9eddd5be8 docs: 修正 π̂ detach 失败机制的方向性错误（压低先验逃逸而非抬高自我强化），补充推导要点 iomgaa 2026-07-18 02:23:49 -04:00
  • d0bedd564c docs: 教学注释规范与接口回看规则入 CLAUDE.md；新增 CLAUDE.md 取舍决策附录 iomgaa 2026-07-17 11:59:05 -04:00
  • 8647c5a89d docs: 第一章——论文精读与参考实现全景映射（含实现与论文差异清单） iomgaa 2026-07-17 11:29:20 -04:00
  • 6dc13314d8 仓库骨架：README、CLAUDE.md、分层重构路线图（docs/00-roadmap.md） iomgaa 2026-07-17 11:26:11 -04:00