docs: 对照组(步骤开关、朴素循环)先不做
用户 2026-10-02:"先不做对照组,按你说的改"。参考项目真实运行里从未跑过朴素循环或关掉挑刺与回应。方法.md 第十一部分只留两个决策点的可换规则,对照组注明暂不实现;4.1、4.2 去掉开关;结构.md 第三、五部分去掉开关和预设。config 删开关、vocab 解释每格三个数改回必交,记进 WORK_LOG 由下一份任务书带上。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+5
-20
@@ -144,12 +144,12 @@
|
||||
|
||||
### 4.1 研究开始
|
||||
|
||||
1. 程序把这份研究的配置冻结进账本,包括 N、M、因子数上限、每批上限、运行次数、各开关、各决策点用哪条规则、方法参数、提示词哈希。之后的流程只读这份冻结的配置。
|
||||
1. 程序把这份研究的配置冻结进账本,包括 N、M、因子数上限、每批上限、运行次数、各决策点用哪条规则、方法参数、提示词哈希。之后的流程只读这份冻结的配置。
|
||||
2. 已有的结果只有在实验条件完全相符时才能当基线;没有符合条件的结果,就安排一次基线运行,计入运行次数。
|
||||
|
||||
### 4.2 第零轮:各自找不同的入口
|
||||
|
||||
第零轮放在基线之后、第 1 轮之前。它不跑正式实验,不扣运行次数,信念本也不变。整轮可以关掉;讨论次数可配置为 1 或 2 次,现行值是 2。
|
||||
第零轮放在基线之后、第 1 轮之前。它不跑正式实验,不扣运行次数,信念本也不变。讨论次数可配置为 1 或 2 次,现行值是 2。
|
||||
|
||||
|
||||
| 步 | 谁做 | 能看到什么 | 交什么 |
|
||||
@@ -726,16 +726,9 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
|
||||
---
|
||||
|
||||
## 十一、方法的开关与对照流程
|
||||
## 十一、可换的规则与对照组
|
||||
|
||||
做方法实验时,下面这些可以换。研究开始时,程序把配置翻译成"这份研究的步骤清单"和"每个决策点用哪条规则",存进账本。被关掉的步骤,在账本里记一条"按配置跳过"。互相冲突的组合在配置校验时就报错,例如关掉了预测,选批却不是随机。
|
||||
|
||||
**步骤开关**
|
||||
|
||||
- 消融:关掉时不列消融格;解释照样写文字,但不给每格的三个数。
|
||||
- 挑刺与回应。
|
||||
- 第零轮。
|
||||
- 第一次预测。
|
||||
做方法实验时,下面两个决策点可以换规则。研究开始时,程序把配置翻译成"这份研究的步骤清单"和"每个决策点用哪条规则",存进账本。
|
||||
|
||||
**选批规则**
|
||||
|
||||
@@ -749,15 +742,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- 随机抽同样多的格:格数取"信息价值减成本"对同一输入会选的格数;〔自定〕
|
||||
- 都不测。
|
||||
|
||||
**朴素循环**:一组开关的命名预设,不另写流程。
|
||||
|
||||
- N 位研究者每轮各交提案,不挑刺、不回应、不预测,提案直接冻结;
|
||||
- 判重和输入检查照常做;
|
||||
- 从提案里均匀随机选批;
|
||||
- 实现、核验、运行照常;采纳规则和完整流程相同;
|
||||
- 不做消融,没有信念本、第零轮、私人笔记、收尾,候选也不留池;
|
||||
- 下一轮的材料只有任务说明、当前基线代码,以及之前全部运行的提案正文与分数;
|
||||
- 一直跑到运行次数用完。
|
||||
**对照组(暂不实现)**:步骤开关(关掉消融、挑刺与回应、第零轮或第一次预测)和"朴素循环"(几位研究者各交提案、不预测不挑刺、随机挑几个去跑、留下最好的)是给论文准备的对照实验。用户 2026-10-02 定:完整流程在本项目里跑稳之前先不做,要做时再按当时的方法补进这一节。原始设计见参考项目设计-16 第 7.3 节。
|
||||
|
||||
---
|
||||
|
||||
|
||||
Reference in New Issue
Block a user