docs: 结构.md 记 flow 四部分拆分与验证办法

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-03 09:02:10 -04:00
parent 45859902f1
commit e273eac5e1
2 changed files with 19 additions and 10 deletions
+2 -10
View File
@@ -57,7 +57,7 @@
- 解释的 `cells` 只按完整流程全开实现,一律要求交(用户选"只按全开实现");做步骤开关时再补"关掉消融时不交"。 - 解释的 `cells` 只按完整流程全开实现,一律要求交(用户选"只按全开实现");做步骤开关时再补"关掉消融时不交"。
- 提案、回应、统一的已占用指标编号加 `answer-path`、`safeguard-triggers` 两个保留键(用户选"materials 补进清单")。 - 提案、回应、统一的已占用指标编号加 `answer-path`、`safeguard-triggers` 两个保留键(用户选"materials 补进清单")。
- Jev 退回的原因只列判"是"的几问,只用 jev 的英文问题名(用户选"只列判是的+只写英文")。 - Jev 退回的原因只列判"是"的几问,只用 jev 的英文问题名(用户选"只列判是的+只写英文")。
- flow 的验证一律用真 Jev、真 Docker,不做假的 Jev、Docker、任务,flow 不为此开替换口子,submissions 照旧直接用 jev。验证办法是同样的输入真实跑几次,结果都符合要求就算通过;真实运行里没出现过的情况不专门造出来测(2026-10-03)。用户原话:"我建议用一律用真 Jev、真 Docker。因为其实我们现在是在做科学研究,不是在开发程序……我们只需要重复运行多次……没有出现情况,你不需要去考虑"。 - flow 拆成四部分、各自验证;验证一律用真 Jev、真 Docker,同样的输入真实跑几次;模型一侧回放真实记录和真模型两种都做(2026-10-03,细节见结构.md 第三部分)。用户原话:"我建议用一律用真 Jev、真 Docker。因为其实我们现在是在做科学研究,不是在开发程序……我们只需要重复运行多次";对拆分:"你那几个拆分我基本认同";对两种都做:"同意"。
## 未完成 ## 未完成
@@ -90,12 +90,4 @@
## 下一步 ## 下一步
任务书 11(收尾)已核对通过(13a7e60),materials 行数范围改为 1200–1900。已完成模块收尾完毕,下一步由用户和监督者一起过 flow。用户 2026-10-03 定的做法:flow 拆成 3–5 个能各自独立验证的部分,逐个讲、定、写任务书;每部分既按它自己的目标验证,也拿参考项目真实验收运行的记录(`/home/iomgaa/rb-acceptance/*/board.sqlite`)当对照。用户原话:"把这一部分拆成 3 到 5 个可以独立验证的部分""我们也可以把我们的记录作为一个标杆,然后去匹配""我觉得我们之前其实很多问题都是 flow 没有做好"。 已完成模块收尾完毕,现在由用户和监督者一起过 flow。flow 分四部分写、各自验证,拆分、验证办法和对照用的记录见 `docs/结构.md` 第三部分"flow 分四部分写,各自验证"。用户还要求每部分也拿参考项目真实验收运行的记录(`/home/iomgaa/rb-acceptance/*/board.sqlite`)当对照,原话:"我们也可以把我们的记录作为一个标杆,然后去匹配"。下一步:监督者给用户讲部分 1,定下后写任务书 12。
用户基本认同的拆分(2026-10-03),逐部分讲、写任务书:
1. 骨架、研究开始、第零轮:从账本算出现在到哪;"下一步做什么"的纯函数(步骤先后只写这一处);主循环;恢复入口;派一个模型任务、跑一次正式运行两个共用动作;冻结配置、建镜像、基线;第零轮。
2. 开轮到冻结(4.3 ①–⑦)。
3. 选批到采纳(⑧–⑫)。
4. 消融到收尾(⑬–⑱)与研究结束;最后整份回放 16-real-1 当合起来的验收。
对照能用的记录:只有 16-real-1 从头跑到尾没暂停,144 份提交能机械转成新格式;15-tight-2 第 1 轮有唯一一次修复;判重合并、留池、一人多条提案、修复用完在全部记录里都没出现过。故意和参考项目不同、对照时不对齐的:第一次预测在挑刺之前、修复用完不暂停、Jev 等于阈值收下。
+17
View File
@@ -109,6 +109,23 @@
13. 收尾,更新信念本 13. 收尾,更新信念本
``` ```
### flow 分四部分写,各自验证
用户 2026-10-03 定:参考项目的 flow 太长、很难验证(用户原话:"我觉得我们之前其实很多问题都是 flow 没有做好"),所以拆成四部分,一部分验证通过后再写下一部分,每部分一份任务书。
| 部分 | 管哪些步骤 | 自己的验证目标 | 拿哪份真实记录对照 |
|---|---|---|---|
| 1. 骨架、研究开始、第零轮 | 从账本算出现在到哪;"下一步做什么"的纯函数(步骤先后只写这一处);主循环;恢复入口;派一个模型任务、跑一次正式运行两个共用动作;冻结配置、建镜像、基线;第零轮 | 在各处写账本之后杀掉进程再启动,不重跑、不重扣、不漏写 | 16-real-1 第零轮回放,入口分配和参考项目相同 |
| 2. 开轮到冻结 | 4.3 ①–⑦ | 每次模型调用开始时存下的材料里,没有当时还没公开的东西 | 16-real-1 三轮提案到第二次预测回放;15-tight-2 抄错编号不再卡住 |
| 3. 选批到采纳 | ⑧–⑫ | 扣掉的次数等于确认启动的运行数;修复用完不跑、不扣、记事件 | 选批记录的输入和 16-real-1、15-real-1 存下的比;15-tight-2 第 1 轮的修复 |
| 4. 消融到收尾 | ⑬–⑱ 与研究结束 | 解释冻结早于任何一格启动;每格只结算一次 | 选格输入和 15-real-1、16-real-1 比;最后整份回放 16-real-1,当四部分合起来的验收 |
**怎么验证**(用户 2026-10-03 定):一律用真 Jev、真 Docker,不做假的 Jev、Docker、任务,flow 不为此开替换口子。同样的输入真实跑几次,结果都符合要求就算通过;真实运行里没出现过的情况不专门造出来测。用户原话:"我建议用一律用真 Jev、真 Docker。因为其实我们现在是在做科学研究,不是在开发程序……我们只需要重复运行多次"。模型一侧两种都做:
- 回放:用本机假模型服务,把参考项目真实记录里模型交的东西按原顺序转成新格式再交一遍,走真实的 Pi。新 Jev 的判断可能和当时不同,两边走向分开以后不再对照,按方法判断分开的地方谁对。
- 真模型:用配置里的模型真实跑几次。
**参考项目的记录不是标准答案**:对照前先问"要证明哪一句"。故意和参考项目不同的地方不对齐:第一次预测在挑刺之前、修复用完不暂停、Jev 等于阈值时收下。真实记录里只有 16-real-1 从头跑到尾没暂停;判重合并、留池、一人多条提案、修复用完在全部记录里都没出现过。
--- ---
## 四、账本记录 ## 四、账本记录