docs: 对照组(步骤开关、朴素循环)先不做

用户 2026-10-02:"先不做对照组,按你说的改"。参考项目真实运行里从未跑过朴素循环或关掉挑刺与回应。方法.md 第十一部分只留两个决策点的可换规则,对照组注明暂不实现;4.1、4.2 去掉开关;结构.md 第三、五部分去掉开关和预设。config 删开关、vocab 解释每格三个数改回必交,记进 WORK_LOG 由下一份任务书带上。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 10:32:49 -04:00
parent d13ecc267a
commit 869766107a
3 changed files with 20 additions and 37 deletions
+10 -12
View File
@@ -74,14 +74,14 @@
## 三、步骤清单
研究开始时,config 根据配置里的开关生成这份研究的步骤清单,连同每个决策点用哪条规则,一起冻结进账本。flow、导出、恢复都只读这份清单,不再读开关。被关掉的步骤不执行,账本里记一条"按配置跳过"。
研究开始时,config 根据配置生成这份研究的步骤清单,连同每个决策点用哪条规则,一起冻结进账本。flow、导出、恢复都只读这份清单,不再读配置。按配置不做的步骤(第零轮只讨论 1 次时的第 2 次讨论、只有一位研究者时的讨论)不执行,账本里记一条"按配置跳过"。
**整份研究**
```
1. 冻结配置
2. 基线运行
3. 第零轮:写入口 → 讨论(1 或 2 次)→ 认领 → 分配 〔开关:第零轮〕
3. 第零轮:写入口 → 讨论(1 或 2 次)→ 认领 → 分配
4. 一轮接一轮,直到余额用完
5. 导出
```
@@ -92,18 +92,17 @@
1. 开轮:放信念本,处理留池候选
2. 提案
3. 判重合并
4. 第一次预测(看原始提案) 〔开关:第一次预测〕
5. 挑刺 〔开关:挑刺与回应〕
6. 回应与统一 → 协议冻结 〔开关:挑刺与回应〕
4. 第一次预测(看原始提案)
5. 挑刺
6. 回应与统一 → 协议冻结
7. 第二次预测(看冻结协议)
8. 选批 〔规则:选批规则〕
9. 对每个入选候选:实现 → 核验 →(不通过:修复 → 再核验)→ 正式运行
10. 整批公开,记分数账和信息账
11. 采纳
12. 若采纳的改法有 2 个以上因子:
列格 〔开关:消融〕
解释(消融关掉时照样写文字,只是不给每格的三个数)
选格 → 对每个选中的格:消融实现 → 核验 → 运行 → 结算 〔开关:消融〕〔规则:选格规则〕
列格 → 解释 → 选格 → 对每个选中的格:消融实现 → 核验 → 运行 → 结算
〔规则:选格规则〕
13. 收尾,更新信念本
```
@@ -146,18 +145,17 @@ Jev 是一个判别器,和程序检查地位相同,不单独成一种记录
| 外部服务 | Pi 会话、Docker 运行器、任务、Jev | 接口。Jev 另配一个"永远判不同"的空实现,用来关掉判重 |
| 决策规则 | 选批:批内最好期望、均匀随机。选格:信息价值减成本、全测、随机同格数、都不测。以后可能加合并方式 | 纯函数,登记在 rules 里的"名字 → 函数"表里,配置写名字 |
| 方法参数 | N、M、批量、运行次数、因子数上限、u、衰减、开放预留 | 配置值,不写成常数,也不用环境变量,每个都必须写在配置文件里。分两层:用户配置(配置对话逐项问);方法参数(做实验时才改,配置对话按方法.md 6.11 的现行值写进文件、给用户看过) |
| 步骤开关 | 消融、挑刺与回应、第零轮、第一次预测 | 配置值,由 config 翻译进步骤清单 |
| 模型与提示词 | 每个角色、每位研究者用哪个模型;提示词目录 | 配置值;账本记下每份提示词文件的哈希 |
对照组"朴素循环"不另写流程,它就是一组开关的命名预设。
步骤开关和对照组"朴素循环"暂不实现(方法.md 第十一部分)。
为了让换规则的实验做得对,结构上守住下面几条:
1. **开关只在一处被读取**:就是第三部分的步骤清单。互相冲突的组合在配置校验时报错,比如关掉了预测,选批却不是随机。
1. **配置只在一处被翻译**:就是第三部分的步骤清单,flow 不直接读配置里的规则名。
2. **决策函数是纯函数,输入全部从账本读。** 每条决策记录存下规则名、规则版本、方法参数、随机种子、全部输入和输出。种子由研究编号、轮次、版本算出,不用全局随机数。平票按固定规则处理。决策函数要导出,重放脚本和核对脚本直接调用它,不另抄一份公式。这样同一批记录换一条规则,就能离线重算。
3. **衡量好坏的尺子只有一把。** 比特、惊讶、覆盖率永远用同一个固定算法,从每个人的原始范围算出来,不跟着决策规则一起变。
4. **一份研究的配置在开始时冻结进账本**,恢复时以冻结的那份为准。
5. **只提供跑通过的组合。** 每个命名预设至少有一条小规模的跑通测试。
5. **只提供跑通过的组合。** 每条可换的规则至少有一条小规模的跑通测试。
---