docs: 对照组（步骤开关、朴素循环）先不做

用户 2026-10-02："先不做对照组，按你说的改"。参考项目真实运行里从未跑过朴素循环或关掉挑刺与回应。方法.md 第十一部分只留两个决策点的可换规则，对照组注明暂不实现；4.1、4.2 去掉开关；结构.md 第三、五部分去掉开关和预设。config 删开关、vocab 解释每格三个数改回必交，记进 WORK_LOG 由下一份任务书带上。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-02 10:32:49 -04:00
parent d13ecc267a
commit 869766107a
3 changed files with 20 additions and 37 deletions
@@ -30,6 +30,7 @@
 - 谁能看什么归 materials（按任务定材料，第一条消息和查询工具是同一份材料的两种给法），ledger 只存；只在"只能一次"处加唯一约束；Jev 不单独成记录，记在它判断的那件事里（0b0cbb0）。用户原话："给到派的材料有哪些"和"一开始灌进去还是主动等派去查"是分开的事情；Jev"本质只是一种可以代替程序的判别器"。
 - 有自己编号、按定义只发生一次的记录加唯一约束，重复就报错；记录之间的前后顺序检查一律不加，flow 调 ledger 是模块之间的调用，不算边界（493ea6d）。这是监督者提的处理，用户回复"同意"；CLAUDE.md"罕见情况怎么办"第 2 条随之写明边界。
 - 整个系统不设默认值：配置每个字段必填，函数参数不写默认值，可以没有的值写 null（CLAUDE.md"不设默认值"）。用户原话："全部都不要默认值更好，甚至整个系统都不要默认值，因为默认值可能会掩盖错误"。
 - 对照组（步骤开关、朴素循环）先不做，完整流程跑稳之后再按当时的方法补（方法.md 第十一部分）。用户原话："先不做对照组，按你说的改"。
 - 计算时间不再是预算，只记录；预算只有运行次数（42347e4）。用户原话："CPU 秒不当预算但是要记录"。
 - 解释的每格三个数改为可选，关掉消融时不交。用户原话："同意 A：解释的 cells 去掉 minItems，改为可选"。
 - rules 的约定（方法.md 没写死的地方）：入池 P < 0.5 严格；采纳和消融中发现都要严格大于采纳线；成本用 max(0, ĝ₀)；没测的格附"含它的最好组合"的净值；战绩在分数原值上判；编号一律按自然序比较。用户原话："1–8 都同意"。消融成分权重跟随 λ、分歧量不掺开放预留，由用户改进方法.md（a050771）。
@@ -62,10 +63,9 @@
 - 给 materials：别人的"退回"记录不放进任何研究者的材料（退回的提案原样带着作者自评，不另拆封存）。
 - 给 agents：模型的思考档位必须写明，不用参考项目"写 null 表示用 Pi 自己的默认"那种写法。
 - 给 agents、runner："整个环境的用量"（实验员会话的 CPU、内存等）写这两个模块时再定记录种类。
- 任务书 04 留下的：(1) 关掉消融时解释照做，结构.md 第三部分已按方法.md 改（cdf0dde）；(2) 挑刺与回应关掉、或朴素循环里，合并后的候选由谁写统一的协议，待用户定；(3) config 待顺手改：u、衰减挪进"消融开"那一支（只在选格时用到）。
+- 给 flow：步骤清单没有单列"轮末动作"（解封作者自评、入选未跑的候选出池），flow 要做这些。
- 给 rules / flow：`selectUniformRandom` 的输入 `BatchInput` 要 λ 和每个候选的第二次预测范围，朴素循环两样都没有，配置里也写不进 λ。
+- config 待顺手改（下一份任务书带上）：删掉朴素循环和四个步骤开关（第零轮开关、第一次预测、挑刺与回应、消融），第零轮讨论次数和两条规则名保留；u、衰减挪到选格相关的位置；结构.md 第八部分 config 一节同步。
- 给 submissions / vocab：朴素循环"不预测"，提案的作者自评（必填的三个数）要不要交，待定。
+- vocab 待顺手改：消融总是做，解释的每格三个数（`cells`）改回必交、至少一格。
 - 给 flow：步骤清单没有单列"轮末动作"（解封作者自评、入选未跑的候选出池），朴素循环里收尾跳过时 flow 也要做这些。
 - 写 plugin 时实测：源码导入路径带 `.ts` 扩展名，Pi 加载插件能否接受。
 ## 工作方式（用户 2026-10-01 定）
@@ -79,4 +79,4 @@
 ## 下一步
-任务书 04（config）已核对通过（d2bfb97）。待用户定：合并候选在没有回应阶段时的统一协议；朴素循环的提案交不交作者自评。
+任务书 04（config）已核对通过（d2bfb97）。下一个：tasks 与 runner，监督者先讲给用户。
@@ -144,12 +144,12 @@
 ### 4.1 研究开始
-1. 程序把这份研究的配置冻结进账本，包括 N、M、因子数上限、每批上限、运行次数、各开关、各决策点用哪条规则、方法参数、提示词哈希。之后的流程只读这份冻结的配置。
+1. 程序把这份研究的配置冻结进账本，包括 N、M、因子数上限、每批上限、运行次数、各决策点用哪条规则、方法参数、提示词哈希。之后的流程只读这份冻结的配置。
 2. 已有的结果只有在实验条件完全相符时才能当基线；没有符合条件的结果，就安排一次基线运行，计入运行次数。
 ### 4.2 第零轮：各自找不同的入口
-第零轮放在基线之后、第 1 轮之前。它不跑正式实验，不扣运行次数，信念本也不变。整轮可以关掉；讨论次数可配置为 1 或 2 次，现行值是 2。
+第零轮放在基线之后、第 1 轮之前。它不跑正式实验，不扣运行次数，信念本也不变。讨论次数可配置为 1 或 2 次，现行值是 2。
 | 步             | 谁做            | 能看到什么                   | 交什么                              |
@@ -726,16 +726,9 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
 ---
-## 十一、方法的开关与对照流程
+## 十一、可换的规则与对照组
-做方法实验时，下面这些可以换。研究开始时，程序把配置翻译成"这份研究的步骤清单"和"每个决策点用哪条规则"，存进账本。被关掉的步骤，在账本里记一条"按配置跳过"。互相冲突的组合在配置校验时就报错，例如关掉了预测，选批却不是随机。
+做方法实验时，下面两个决策点可以换规则。研究开始时，程序把配置翻译成"这份研究的步骤清单"和"每个决策点用哪条规则"，存进账本。
 **步骤开关**
 - 消融：关掉时不列消融格；解释照样写文字，但不给每格的三个数。
 - 挑刺与回应。
 - 第零轮。
 - 第一次预测。
 **选批规则**
@@ -749,15 +742,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
 - 随机抽同样多的格：格数取"信息价值减成本"对同一输入会选的格数；〔自定〕
 - 都不测。
-**朴素循环**：一组开关的命名预设，不另写流程。
+**对照组（暂不实现）**：步骤开关（关掉消融、挑刺与回应、第零轮或第一次预测）和"朴素循环"（几位研究者各交提案、不预测不挑刺、随机挑几个去跑、留下最好的）是给论文准备的对照实验。用户 2026-10-02 定：完整流程在本项目里跑稳之前先不做，要做时再按当时的方法补进这一节。原始设计见参考项目设计-16 第 7.3 节。
 - N 位研究者每轮各交提案，不挑刺、不回应、不预测，提案直接冻结；
 - 判重和输入检查照常做；
 - 从提案里均匀随机选批；
 - 实现、核验、运行照常；采纳规则和完整流程相同；
 - 不做消融，没有信念本、第零轮、私人笔记、收尾，候选也不留池；
 - 下一轮的材料只有任务说明、当前基线代码，以及之前全部运行的提案正文与分数；
 - 一直跑到运行次数用完。
 ---
@@ -74,14 +74,14 @@
 ## 三、步骤清单
-研究开始时，config 根据配置里的开关生成这份研究的步骤清单，连同每个决策点用哪条规则，一起冻结进账本。flow、导出、恢复都只读这份清单，不再读开关。被关掉的步骤不执行，账本里记一条"按配置跳过"。
+研究开始时，config 根据配置生成这份研究的步骤清单，连同每个决策点用哪条规则，一起冻结进账本。flow、导出、恢复都只读这份清单，不再读配置。按配置不做的步骤（第零轮只讨论 1 次时的第 2 次讨论、只有一位研究者时的讨论）不执行，账本里记一条"按配置跳过"。
 **整份研究**
 ```
 1. 冻结配置
 2. 基线运行
-3. 第零轮：写入口 → 讨论（1 或 2 次）→ 认领 → 分配          〔开关：第零轮〕
+3. 第零轮：写入口 → 讨论（1 或 2 次）→ 认领 → 分配
 4. 一轮接一轮，直到余额用完
 5. 导出
 ```
@@ -92,18 +92,17 @@
 1. 开轮：放信念本，处理留池候选
 2. 提案
 3. 判重合并
- 4. 第一次预测（看原始提案）                                〔开关：第一次预测〕
+ 4. 第一次预测（看原始提案）
- 5. 挑刺                                                    〔开关：挑刺与回应〕
+ 5. 挑刺
- 6. 回应与统一 → 协议冻结                                   〔开关：挑刺与回应〕
+ 6. 回应与统一 → 协议冻结
 7. 第二次预测（看冻结协议）
 8. 选批                                                    〔规则：选批规则〕
 9. 对每个入选候选：实现 → 核验 →（不通过：修复 → 再核验）→ 正式运行
 10. 整批公开，记分数账和信息账
 11. 采纳
 12. 若采纳的改法有 2 个以上因子：
-      列格                                                  〔开关：消融〕
+      列格 → 解释 → 选格 → 对每个选中的格：消融实现 → 核验 → 运行 → 结算
-      解释（消融关掉时照样写文字，只是不给每格的三个数）
+                          〔规则：选格规则〕
      选格 → 对每个选中的格：消融实现 → 核验 → 运行 → 结算    〔开关：消融〕〔规则：选格规则〕
 13. 收尾，更新信念本
 ```
@@ -146,18 +145,17 @@ Jev 是一个判别器，和程序检查地位相同，不单独成一种记录
 | 外部服务 | Pi 会话、Docker 运行器、任务、Jev | 接口。Jev 另配一个"永远判不同"的空实现，用来关掉判重 |
 | 决策规则 | 选批：批内最好期望、均匀随机。选格：信息价值减成本、全测、随机同格数、都不测。以后可能加合并方式 | 纯函数，登记在 rules 里的"名字 → 函数"表里，配置写名字 |
 | 方法参数 | N、M、批量、运行次数、因子数上限、u、衰减、开放预留 | 配置值，不写成常数，也不用环境变量，每个都必须写在配置文件里。分两层：用户配置（配置对话逐项问）；方法参数（做实验时才改，配置对话按方法.md 6.11 的现行值写进文件、给用户看过） |
 | 步骤开关 | 消融、挑刺与回应、第零轮、第一次预测 | 配置值，由 config 翻译进步骤清单 |
 | 模型与提示词 | 每个角色、每位研究者用哪个模型；提示词目录 | 配置值；账本记下每份提示词文件的哈希 |
-对照组"朴素循环"不另写流程，它就是一组开关的命名预设。
+步骤开关和对照组"朴素循环"暂不实现（方法.md 第十一部分）。
 为了让换规则的实验做得对，结构上守住下面几条：
-1. **开关只在一处被读取**：就是第三部分的步骤清单。互相冲突的组合在配置校验时报错，比如关掉了预测，选批却不是随机。
+1. **配置只在一处被翻译**：就是第三部分的步骤清单，flow 不直接读配置里的规则名。
 2. **决策函数是纯函数，输入全部从账本读。** 每条决策记录存下规则名、规则版本、方法参数、随机种子、全部输入和输出。种子由研究编号、轮次、版本算出，不用全局随机数。平票按固定规则处理。决策函数要导出，重放脚本和核对脚本直接调用它，不另抄一份公式。这样同一批记录换一条规则，就能离线重算。
 3. **衡量好坏的尺子只有一把。** 比特、惊讶、覆盖率永远用同一个固定算法，从每个人的原始范围算出来，不跟着决策规则一起变。
 4. **一份研究的配置在开始时冻结进账本**，恢复时以冻结的那份为准。
-5. **只提供跑通过的组合。** 每个命名预设至少有一条小规模的跑通测试。
+5. **只提供跑通过的组合。** 每条可换的规则至少有一条小规模的跑通测试。
 ---