iomgaa/ars-opd-rebuild
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
48 Commits 1 Branch 0 Tags
e7cf27cecc356090692e8dbcec043859a7dc580f
Commit Graph

16 Commits

Author SHA1 Message Date
iomgaa 8b362eae09 层2: max_grad_norm 提进 DistillConfig（显式化静默稳定器）+ noclip 对照模式 
首冒烟发现：sanity 的 loss 平滑、无预期毛刺，因 HF 默认 max_grad_norm=1.0 把
反向 KL 的梯度爆炸（§4.1，实测 grad_norm 14→2 是裁剪前范数）默默压平了——正是
本项目要堵的"静默行为"。

- configs.py: DistillConfig 加 max_grad_norm=1.0（默认=原 HF 行为），docstring 讲清
  它是 §4.1 爆炸的隐形稳定器、日志 grad_norm 是裁剪前值；__post_init__ 校验 >0
- train_whitebox.py: FULL 显式写出、TrainingArguments 传入；build_config 加 noclip
  模式（max_grad_norm=1e9≈关裁剪 + lr 5× + 15 步）暴露原始爆炸供教学对照
- .sh: 用法加 noclip 模式说明

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-19 08:34:14 -04:00
iomgaa f1b6d1f668 修复: 禁用 HF Xet（hf-mirror 不代理 CAS，teacher 4B 下载 401） 
远程冒烟实撞：hf-mirror 供小文件正常，但大权重走 Xet 协议会绕过镜像直连
cas-server.xethub.hf.co 并返 401 Unauthorized。加 HF_HUB_DISABLE_XET=1 退回
经典 HTTP/LFS 下载路径（镜像支持）。两个训练脚本都加，防层 1 换机重下也撞。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-19 05:58:16 -04:00
iomgaa b7f24d635e 层2/U5: white-box OPD 自包含训练脚本（train_whitebox.py + .sh） 
对应 docs/03 §5 U5，对齐层 1 train_sft 骨架，换成层 2 装配：
- 双模型：student Qwen3-0.6B(fp32+bf16混训) + teacher Qwen3-4B(bf16 推理)
- prompt_only collator（无 teacher 缓存，现场 on-policy 生成）
- DistillTrainer 装配：teacher_model/teacher_tokenizer + beta/温度/生成参数
- FULL = §5 默认（beta=1、lr=1e-6、B=4×GA=4×4卡=全局64、max_new_tokens=1024）
- 首 prompt 自检（末尾须为生成引导符）；sanity=50步冒烟
- .sh 前置清单强调白盒扛两份全词表 logits、OOM 阶梯、首跑下载 4B teacher

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-19 05:23:42 -04:00
iomgaa 404abc22bf 重构: load_sft_dataset 改吃散装参数（磨平接口回看记录的毛刺） 
深模块修正：本函数只用 5 个字段，却索要整个 SFTConfig——层 1 无痛，但诊断脚本
被迫伪造 output_dir（4 处 /tmp/diag、outputs/_unused），层 2 更因 DistillConfig
无 teacher_completions_path 而无法复用。改收 dataset_path/split/subset_size/seed/
teacher_completions_path 五个散装参数（接口终于比实现轻）。

- data.py: 签名改散装参数；移除 TYPE_CHECKING 的 SFTConfig 依赖
- train_sft / diag_loss_probe / diag_collator: 仍持 SFTConfig（喂 collator），改调用点
- diag_generate / generate_teacher_completions: 只为 load 而造 config，直接丢弃、
  去掉伪造 output_dir，改传字面量
- 为 U5 层 2 训练脚本能直接 load_sft_dataset(distill_cfg 的字段) 铺路

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-19 05:21:16 -04:00
iomgaa 872d4bd6a6 层1: diag_generate ruff 修复 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 10:37:28 -04:00
iomgaa e472a66959 层1: checkpoint 生成测试脚本（关账判据 3） 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 10:37:13 -04:00
iomgaa 1976230250 层1: 损失探针脚本——预训练模型走管线逐行算 CE，区分数据问题与训练环节问题 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 10:14:31 -04:00
iomgaa ff572bf4b9 层1: collator 对齐诊断脚本——排查远程 loss 7.5 与 \50118 解码异常（逐环检验缓存/模板/分词/切片） 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 10:05:46 -04:00
iomgaa a0faec0df7 层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变） 
根因：150k 大词表下显存大头是 (B,T,V) logits 链（fp32 ~20G@B=8）与逐层激活，
均正比于 B 而与 0.6B 参数量无关。docs/02 §2.6 旧显存估算勘误入档；
train_sft.sh 加 expandable_segments 防碎片。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 09:21:38 -04:00
iomgaa c5a3b7d0bb 层1/T5: 自包含训练脚本 train_sft.sh + train_sft.py；层 1 代码收口 
- train_sft.py: FSDP 环境变量前置块（import 前，DDP 下无害）；fail-fast 加载
  顺序（数据→tokenizer→模型）；首样本自检打印（真 tokenizer 掩码边界肉眼核对）；
  remove_unused_columns=False 等非显然约束逐条注释；sanity 模式 = replace 覆盖
- train_sft.sh: 显式 CUDA_VISIBLE_DEVICES 4 卡、PYTHONUNBUFFERED、HF 镜像/缓存
  改道 /data，前置检查清单（含 scp 数据命令）
- 本地验证：fail-fast 到 teacher 缓存缺失处显式报错（941/1000，59 条真实命中
  反向证明 prompt_key 契约端到端成立）
- roadmap 存档点：层 1 代码完成，进入运行阶段

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 08:16:24 -04:00
iomgaa 42a4349e69 层1/T2: 生成脚本接入本地已有的 DAPO 去重版 parquet（17917 行），补试跑说明 
数据管线已用真实数据验证（加载→归一→seed 抽子集，5 条无报错）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 08:11:01 -04:00
iomgaa e72d07aced 层1: ars_opd 改为 editable 安装，修复脚本/调试器 import 失败 
- pyproject.toml: 最小打包配置（依赖仍统一走 requirements*.txt）
- .vscode/launch.json: 调试当前文件 + teacher 生成两个配置，cwd 锚定仓库根
- setup_remote.sh 与 CLAUDE.md 常用命令同步 pip install -e

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 08:06:40 -04:00
iomgaa 20e6d97427 层1/T2: teacher.py 批量生成 + sha256 JSONL 缓存；teacher 改定 MiniMax-M3 
- teacher.py: 通用 OpenAI 兼容客户端（配置驱动 base_url，替代 OpenRouter 专用）；
  缓存即断点（逐条落盘+flush，重跑自动续传）；单条失败先落盘其余、结束汇总显式报错；
  M3 思考段 <think>...</think> 入库前剥离（只剥开头一段）
- configs.py: 新增 TeacherGenConfig（采样参数显式化；连接三元组走 .env）
- scripts/generate_teacher_completions.py: 自包含生成脚本（本地跑，与训练侧
  同 seed 同子集约束已注明）
- teacher 决策变更同步：.env.example / docs/00 关键设定与存档点 / docs/02
- tests/test_teacher.py: 10 个单测（假客户端注入），含与 attach 的端到端契约闭环

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 07:52:53 -04:00
iomgaa 9c0ec15716 setup_remote.sh 自清 pip 残留；存档点记录远程根分区结构性问题（/root/zym 507G） 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 03:39:14 -04:00
iomgaa b679bcb24f 修复 setup_remote.sh：弃用 conda run（输出整体缓冲），改为直调环境内 pip/python 实现实时日志 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-18 03:28:13 -04:00
iomgaa 270a9ab291 层0：统一依赖清单 + 远程一键搭建脚本 + 密钥模板 2026-07-18 03:00:35 -04:00