iomgaa
5ea58ddf59
- to_messages 三分支归一，except:pass 改显式报错（差异标注在注释） - prompt_key: sha256 内容寻址，作为与 teacher.py 的缓存契约单点定义 - attach_teacher_completions: 缺键一次性报全，绝不静默跳过 - SFTCollator: 双预算截断 + 未截断长度定边界（坑二）+ -100 掩码 + 左 padding； prompt-only 行显式报错（层 2 接 on-policy 再放开） - tests/test_data.py: 19 个单测，玩具字符级 tokenizer 覆盖超长解答/超长题目/ enable_thinking 双取值/左 padding/缓存契约 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
ars-opd-rebuild
对论文 OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification（arXiv:2606.01476）参考实现的分层重构。
项目双重目标
- 学习：通过按论文概念逐层重建代码，吃透 OmniOPD 的方法（chunk 级 MC 估计、peak-entropy 调度、贝叶斯平滑、trust-region 锚定）。
- 研究基座：产出一个结构清晰、模块化、可测试的代码库，作为后续研究的起点——替代原版 3200 行自包含 trainer 的组织方式。
原始参考实现位于 references/ars-opd/（只读、不入 git），核心是其 trl fork 中的 trl/experimental/distillation/。
方法一句话
学生模型在线生成推理轨迹；在轨迹的高熵"推理分叉点"选取 M 个 C-token 的 chunk，向黑盒 teacher 按前缀采样 N 条 rollout，用语义相似度（ROUGE-1）做 Monte Carlo 估计并经 Dirichlet 先验平滑，得到有界的 chunk 级监督权重；未被审计的 token 用对冻结初始模型的 KL 锚定防漂移（论文式 8）。全程不需要 teacher 的 logits。
目录结构
ars_opd/ 核心包（模块 ↔ 论文概念一一对应）
configs.py dataclass 配置
similarity.py 语义相似度 φ：rouge1 / edit_distance（式 3） [纯逻辑]
chunking.py peak-entropy chunk 调度器（式 6-7） [纯逻辑]
estimator.py MC 估计 + Dirichlet 贝叶斯平滑（式 4-5） [纯逻辑]
teacher.py teacher 客户端（OpenAI 兼容 API / vLLM） [IO 边缘]
trainer.py 薄编排层：生成 → 审计 → 损失（式 8）
scripts/ 训练/评测入口脚本
tests/ 纯逻辑模块的单元测试（本地 CPU 可跑）
docs/ 循序渐进的学习章节（论文↔代码映射）
references/ 原论文 PDF + 参考实现（gitignore，只读对照）
规模选型（跑通优先，不追论文数值）
| 角色 | 模型 | 部署 |
|---|---|---|
| Student | Qwen3-0.6B | 远程 4×A800 训练 |
| API teacher（OmniOPD 主路径） | DeepSeek / MiniMax | OpenAI 兼容 API |
| White-box teacher（baseline 对照） | Qwen3-4B | 远程本地 vLLM |
工作流
- 本地（这台机器）：读论文、写代码、跑
tests/单元测试（CPU toy 数据对拍原实现）。 - 远程（gpu-a800-060，4×A800-80G）：只跑训练与评测。代码经 gitea 同步：本地 push → 远程 pull → 启动脚本。
- 学习按
docs/章节推进：每章 = 论文一节精读 + 原实现解剖 + 重构任务 + 验证方式。路线图见docs/00-roadmap.md。