docs: 消融只测信息价值选中的格
用户 2026-10-01 选"理解二":采纳后由信息价值减机会成本决定测哪几格,选中的马上测,没选中的记"没测"并写原因、以后不补;至少留 1 次给下一轮正向。 删除份额、照测、欠测、收尾补测、最后一轮预留、为知识放弃的分,以及给欠测留次数的开轮规则。开轮只看余额 ≥ 1。 已知局限补一条:大家押同一因子时信息价值为 0,不测;真实运行后看出现频率。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+41
-69
@@ -18,7 +18,7 @@
|
||||
|
||||
每一轮研究交出三样东西:
|
||||
- 更好的代码;
|
||||
- 按因子的知识:被采纳改法里每个因子"关掉它少多少分"的实测;
|
||||
- 按因子的知识:被采纳改法里,信息价值认为值得测的因子"关掉它少多少分"的实测;
|
||||
- 能度量的认识收窄:信念本和比特。
|
||||
|
||||
方法有三层,三层都要保住:
|
||||
@@ -63,11 +63,7 @@
|
||||
|
||||
**信息价值**:先测某几格再决定下一步,比不测就决定,平均能多拿多少分。**机会成本**:这几次运行如果拿去跑正向候选,本来平均能多拿多少分。
|
||||
|
||||
**必测格、份额、照测、欠测**:
|
||||
- 被采纳改法里,每个因子对应的那一格叫**必测格**,必须有实测。
|
||||
- 信息价值没有选中、但因为"必须实测"仍然去测,叫**照测**。
|
||||
- 照测能用的运行次数有上限,这个上限叫**份额**。
|
||||
- 份额用完、信息价值又没选中的格,先记**欠测**,研究结束前补测。
|
||||
**测哪几格**:被采纳改法的每个因子都列一格,但不是每格都测。程序用"信息价值减机会成本"挑出值得测的格马上测;没挑中的格记"没测"并写明原因,以后也不补。
|
||||
|
||||
**比特、世界比特、惊讶**:
|
||||
- 把分数按固定宽度切成小格。合并分布在这些小格上有多拿不准,就是这次运行揭晓的**世界比特**。评测是确定的,结果一出来就没有不确定了。
|
||||
@@ -179,7 +175,6 @@
|
||||
- 冻结本轮名单和提案上限 M。这两样如果要调整,下一轮才生效。
|
||||
- 上一轮没跑、而且基线没变的候选,自动留在本轮候选池里。它们沿用原来的冻结协议和回应,不重新挑刺、不重新回应,只重新做第二次预测。作者自评继续封存,作者也不用重新给。留池候选不占作者本轮的提案名额,候选池不设上限。
|
||||
- 基线变了的旧候选离开候选池,只在信念本里列出名字,可以重新提出。
|
||||
- 判断本轮是不是最后一轮;如果是,先留出消融预留(见第七部分)。
|
||||
|
||||
**② 提案(每位研究者,各自独立)**
|
||||
- 每人交 1 至 M 条合格提案,每条按因子写,格式见第五部分。
|
||||
@@ -272,8 +267,8 @@
|
||||
- 收齐 N 人后冻结。冻结必须早于任何一格消融的启动,这样这些范围才算事前预测。
|
||||
|
||||
**⑮ 定测哪几格(程序)**
|
||||
- 推算方向收益,对每一种测格组合,算信息价值和机会成本,选出现在要测的组合。
|
||||
- 信息价值没选中的必测格,在份额内照测,其余记欠测。
|
||||
- 推算方向收益,对每一种测格组合,算信息价值和机会成本,选出要测的组合,马上测。
|
||||
- 没选中的格记"没测",写明原因,以后不补。
|
||||
- 写一条决定记录,附上全部数字(见 6.7)。
|
||||
|
||||
**⑯ 消融的实现、核验与运行**
|
||||
@@ -292,7 +287,7 @@
|
||||
- 几格都过线时,取分数最高的;分数相同时,取因子编号小的。
|
||||
- "一起关"的格也同样算。
|
||||
- 不为它另列消融格。
|
||||
- 在最后一轮和收尾补测里同样适用,过线的那一格就成为最终代码。
|
||||
- 研究的最后一次消融同样适用,过线的那一格就成为最终代码。
|
||||
- 定下押的因子(见 6.8),写进信念本。
|
||||
|
||||
**⑱ 信念本更新与收尾(每位研究者)**
|
||||
@@ -305,14 +300,8 @@
|
||||
|
||||
### 4.4 研究结束
|
||||
|
||||
1. 每轮开轮时,程序先看能不能开这一轮(第七部分"什么时候开下一轮")。开不了,正向研究就停止。
|
||||
2. **收尾补测**:用剩下的运行次数补测欠测的格,顺序见第七部分。
|
||||
- 剩下的次数不够补全时,按顺序定一份补测计划。
|
||||
- 计划里有格跑不起来,或者某格沿用了"一起关"的结果而没扣次数,就按同样的顺序接着定下一份计划,直到运行次数或欠测格用完。〔自定〕
|
||||
3. 补测的格照 6.6 结算。这时已经没有下一轮的读者了,所以结果只进导出和最终信念本。
|
||||
- 补上了格的那次消融,追加一条最终结算;那一轮当时的结算原样保留。
|
||||
- 押的因子按那一轮当时的结算定,补测后不重算。
|
||||
4. 导出全部记录:正向、消融、两次预测、第零轮、提交的替换次数、解封的作者自评、合法化、资源用量、答案路径、`concerns`、两条曲线、常数表。
|
||||
1. 运行次数用完,研究结束(第七部分"什么时候开下一轮")。
|
||||
2. 导出全部记录:正向、消融、两次预测、第零轮、提交的替换次数、解封的作者自评、合法化、资源用量、答案路径、`concerns`、两条曲线、常数表。
|
||||
|
||||
---
|
||||
|
||||
@@ -453,13 +442,13 @@
|
||||
|
||||
**一格的几种结局**:
|
||||
|
||||
| 结局 | 情形 | 解释在这一格 | 撑几成 | 算不算"有实测" | 收尾时补不补 |
|
||||
|---|---|---|---|---|---|
|
||||
| 有效分数 | 跑完、有分数(含合法化后的分数) | 判确认 / 否定;记世界比特与惊讶 | 按公式算 | 算 | 不补 |
|
||||
| 证据不足 | 启动了(扣了次数),但跑崩、超时、没有产物、修不了,或判为违规 | 不判,不记账 | "证据不足:原因" | 算已尽力 | 不补 |
|
||||
| 欠测 | 份额用完、信息价值又没选中,或者运行次数用完 | 暂不判 | "欠测:原因" | 不算 | 有剩余就补 |
|
||||
| 跑不起来 | 实验员交了"跑不起来",也没给一起关的方案;不启动,不扣次数 | 不判 | "跑不起来:原因" | 算已尽力 | 不补 |
|
||||
| 一起关 | 关 p 时代码跑不起来,实际和 q 一起关了 | 记"证据不足(测的是 p + q 一起关)" | 记在"p + q 一起"名下,不算成 p 的 | p 算已尽力;q 有自己的格照常测 | 不补 |
|
||||
| 结局 | 情形 | 解释在这一格 | 撑几成 |
|
||||
|---|---|---|---|
|
||||
| 有效分数 | 跑完、有分数(含合法化后的分数) | 判确认 / 否定;记世界比特与惊讶 | 按公式算 |
|
||||
| 证据不足 | 启动了(扣了次数),但跑崩、超时、没有产物、修不了,或判为违规 | 不判,不记账 | "证据不足:原因" |
|
||||
| 没测 | 信息价值减成本没选中,或者剩余次数不够 | 不判 | "没测:原因(附净值)" |
|
||||
| 跑不起来 | 实验员交了"跑不起来",也没给一起关的方案;不启动,不扣次数 | 不判 | "跑不起来:原因" |
|
||||
| 一起关 | 关 p 时代码跑不起来,实际和 q 一起关了 | 记"证据不足(测的是 p + q 一起关)" | 记在"p + q 一起"名下,不算成 p 的;q 有自己的格时照常测 |
|
||||
|
||||
- 后四种结局都不进标签的求和。
|
||||
- "一起关"是对称的:关 p 要连 q 一起关,关 q 也要连 p 一起关,这是同一种设置。已经有结果就直接沿用,不重跑,不重复扣次数,也不重复记账。
|
||||
@@ -494,7 +483,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- 价值(S) = u × m′ × VOI(S)。
|
||||
- u 是"测出的知识会被用上的概率",方法参数,现行值 0.5。
|
||||
- m′ 是这份知识以后还能用几次的折算:m′ = 1 + r + r² + …,一共 R̂ 项,衰减 r 是方法参数,现行值 0.5。
|
||||
- R̂ 是测完 S 之后估计还能开几轮:R̂ = ⌊(可开新轮的运行次数 − |S|) ÷ 每批上限⌋,"可开新轮的运行次数"的定义见第七部分。〔自定:按运行次数估算剩余轮数〕最后一轮的 R̂ = 0,所以 m′ = 0。
|
||||
- R̂ 是测完 S 之后估计还能开几轮:R̂ = ⌈(余额 − |S|) ÷ 每批上限⌉。〔自定:按运行次数估算剩余轮数〕余额全部用在消融上时 R̂ = 0,m′ = 0。
|
||||
- 成本(S) = 2ĝ₀ × [(K + |S|) ÷ (K + |S| + 1) − K ÷ (K + 1)]。
|
||||
- K 是每批上限;ĝ₀ = max_p E(收益_p),即按现在的看法押的那个因子的期望收益。
|
||||
- 这个式子假设下一轮每个候选的涨幅在 0 到 2ĝ₀ 之间均匀分布。
|
||||
@@ -502,17 +491,15 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- 净值(S) = 价值(S) − 成本(S)。
|
||||
|
||||
**选格**:
|
||||
1. 在所有非空、而且 |S| 不超过余额的组合里,取净值最大、并且净值 > 1e-12 的组合。〔自定:格数超过余额的组合不参与〕净值相差不到 1e-12 的视为相同,先取格数少的,再按因子编号从小到大比。所有组合的净值都不大于 1e-12 时,一格都不选。
|
||||
2. 选中组合之外的必测格:份额还有剩余时,按因子编号从小到大照测;其余记欠测,并写明原因(份额用完,或运行次数用完)。
|
||||
3. 记录**为知识放弃的分** = 不考虑"必须实测"时最好组合的净值 − 实际测的组合(含照测)的净值。只记账,不参与决定。
|
||||
|
||||
照测和份额只属于"信息价值减成本"这条选格规则。改用其他选格规则时(见第十一部分),不照测,也没有份额。
|
||||
1. 只考虑格数不超过"余额 − 1"的非空组合,至少留 1 次给下一轮正向。余额为 0 或 1 时不做消融。
|
||||
2. 在这些组合里,取净值最大、并且净值 > 1e-12 的组合。净值相差不到 1e-12 的视为相同,先取格数少的,再按因子编号从小到大比。所有组合的净值都不大于 1e-12 时,一格都不测。
|
||||
3. 没选中的格记"没测":组合里放不下的写"剩余次数不够",其余写"信息价值不足以抵过成本",都附上它所在组合的净值。没测的格以后不补。
|
||||
|
||||
### 6.8 押的因子
|
||||
|
||||
- 一次消融全部结算完之后、收尾补测之前,算每个因子的方向收益:
|
||||
- 一次消融全部结算完之后,算每个因子的方向收益:
|
||||
- 有效格用实测值换算;
|
||||
- 其余格(欠测、证据不足、跑不起来、一起关)用"只按有效格更新过的成分权重"来估;
|
||||
- 其余格(没测、证据不足、跑不起来、一起关)用"只按有效格更新过的成分权重"来估;
|
||||
- "一起关"的分数不参与权重更新;
|
||||
- 实测落在所有成分的范围之外、权重无从更新时,保持起始权重。〔自定〕
|
||||
- 收益最大的那个因子就是押的因子,同时记下预测收益。
|
||||
@@ -559,7 +546,6 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
| 精度 ε、已知最好 | 任务配置(填圆:0.01、2.635983) | 任务配置 |
|
||||
| 开放预留 λ | 0.10 | 方法参数 |
|
||||
| u、衰减 r | 0.5、0.5 | 方法参数 |
|
||||
| 份额比例 | 运行次数的 1/3,向下取整 | 方法参数 |
|
||||
| 第零轮讨论次数 | 2 | 可配置(1 或 2) |
|
||||
| 采纳线上限 | ε | 跟随 ε |
|
||||
| 采纳线下限、剩余空间下限、比特格宽 Δ | ε/100 | 跟随 ε |
|
||||
@@ -580,7 +566,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- 程序记录整个环境的用量:正式运行和实验员会话的 CPU 时间、GPU 时间、内存、墙钟时间,以及模型调用量。这些只记录,不作为限制。
|
||||
|
||||
**什么时候扣次数**
|
||||
- 基线、正向候选、消融格、收尾补测,都按实际启动计入。
|
||||
- 基线、正向候选、消融格,都按实际启动计入。
|
||||
- 启动前先预留一次名额和最大计算额度,确认进程已经启动,才扣一次。
|
||||
- 启动后失败、超时、被取消,照样计数。
|
||||
- 确认没有启动就取消的,退还名额和没用上的计算预留;已经发生的准备成本照样记录。
|
||||
@@ -588,39 +574,24 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- "这一格跑不起来"的情况不启动,也不扣次数。
|
||||
- 轻量检查有次数和时长上限(见配置),只能用来检查语法、接口和极小的样例。正式规模的求解,哪怕叫"调试",也是正式运行,不能借轻量检查绕开预算。
|
||||
|
||||
**份额**
|
||||
- 份额 = ⌊运行次数 ÷ 3⌋。例如 13 次时是 4 次,8 次时是 2 次。
|
||||
- 必测格实际花掉的次数,不管是被信息价值选中的还是照测的,都计入份额。
|
||||
- 份额只限制照测,不限制信息价值选中的格。所以信息价值高时,消融的总次数可以超过三分之一。
|
||||
**什么时候开下一轮**
|
||||
- 余额至少还有 1 次,就开下一轮;余额为 0,研究结束。不设轮数上限。
|
||||
- 本轮正向的批量 k = min(每批上限, 余额)。
|
||||
- 消融最多测"余额 − 1"格,保证下一轮至少还能跑 1 次正向(见 6.7)。
|
||||
- 最后一次正向如果用掉了全部余额,又采纳了多因子改法,这次采纳就没有消融,各格记"没测:剩余次数不够"。
|
||||
|
||||
**什么时候开下一轮**〔自定:去掉轮数上限后的开轮与最后一轮规则〕
|
||||
- 记 D 为当前欠测格的个数。**可开新轮的运行次数** = 余额 − D,也就是给欠测格留够补测的次数之后,还剩多少。
|
||||
- 可开新轮的运行次数 ≥ 1 时,开下一轮;否则不再开新轮,进入收尾补测。
|
||||
- 开轮时,如果可开新轮的运行次数 ≤ 每批上限 + 因子数上限,这一轮就是**最后一轮**。意思是剩下的次数已经不够"再跑一批候选、再做一次完整消融"之后还能接着开轮。
|
||||
- **最后一轮预留**:最后一轮开轮时,先从可开新轮的运行次数里留出 max(0, min(因子数上限, 可开新轮的运行次数 − 1)) 次给消融,至少留 1 次给正向。本轮可用于正向的次数 = 可开新轮的运行次数 − 预留。
|
||||
- 这一轮没有采纳,或者采纳的改法因子比留出的次数少,没用上的预留就取消,次数回到余额。
|
||||
- 最后一轮之后不再开新轮。剩下的次数先用于收尾补测;补测完还有剩余,原样记录,不再使用。
|
||||
- 不是最后一轮时,本轮可用于正向的次数 = 可开新轮的运行次数。
|
||||
**示例**(推演,不是真实运行):运行次数 13,每批上限 2。消融选哪几格是假设的。
|
||||
|
||||
**收尾补测**
|
||||
- 研究结束前,用剩下的运行次数补测欠测的格。补测不受份额限制,也不计入份额。
|
||||
- 补测顺序:先补最后一轮被采纳改法的格,再按欠下的先后补更早的;同一次采纳里的格,按因子编号排。
|
||||
- 最后一轮的 m′ = 0,信息价值恒为 0,所以最后一轮的必测格只有两条路:在份额内照测,或者先记欠测、收尾时补。
|
||||
|
||||
**示例**(推演,不是真实运行):运行次数 13,每批上限 2,因子数上限 3,份额 4。消融选哪几格是假设的。
|
||||
|
||||
| 时点 | 用掉 | 余额 | 欠测 D | 发生什么 |
|
||||
|---|---:|---:|---:|---|
|
||||
| 基线 | 1 | 12 | 0 | |
|
||||
| 第 1 轮开轮 | — | 12 | 0 | 可开新轮 12 > 5,不是最后一轮 |
|
||||
| 第 1 轮正向 | 2 | 10 | 0 | 采纳一个 3 因子改法 |
|
||||
| 第 1 轮消融 | 3 | 7 | 0 | 假设信息价值选中 2 格,照测 1 格;份额已用 3 |
|
||||
| 第 2 轮开轮 | — | 7 | 0 | 可开新轮 7 > 5,不是最后一轮 |
|
||||
| 第 2 轮正向 | 2 | 5 | 0 | 没有采纳 |
|
||||
| 第 3 轮开轮 | — | 5 | 0 | 可开新轮 5 ≤ 5,是最后一轮;预留 min(3, 4) = 3,正向可用 2 |
|
||||
| 第 3 轮正向 | 2 | 3 | 0 | 采纳一个 2 因子改法 |
|
||||
| 第 3 轮消融 | 1 | 2 | 1 | m′ = 0;照测 1 格,份额用完;另一格记欠测;预留没用上的取消 |
|
||||
| 收尾补测 | 1 | 1 | 0 | 补测欠下的那一格;剩下 1 次原样记录 |
|
||||
| 时点 | 用掉 | 余额 | 发生什么 |
|
||||
|---|---:|---:|---|
|
||||
| 基线 | 1 | 12 | |
|
||||
| 第 1 轮正向 | 2 | 10 | 采纳一个 3 因子改法 |
|
||||
| 第 1 轮消融 | 2 | 8 | 假设信息价值减成本选中 2 格;第 3 格记"没测" |
|
||||
| 第 2 轮正向 | 2 | 6 | 没有采纳 |
|
||||
| 第 3 轮正向 | 2 | 4 | 采纳一个 2 因子改法 |
|
||||
| 第 3 轮消融 | 0 | 4 | 假设大家都押同一个因子,信息价值为 0,两格都记"没测" |
|
||||
| 第 4 轮正向 | 2 | 2 | 没有采纳 |
|
||||
| 第 5 轮正向 | 2 | 0 | 余额用完,研究结束 |
|
||||
|
||||
---
|
||||
|
||||
@@ -664,7 +635,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- **每个花钱的动作都先登记、再执行、再登记结果**,包括正式运行和模型调用。每次启动都走同一条恢复路径:从账本读出当前状态,找出已经登记、但还没有结果的动作,逐个核对。
|
||||
- 正式运行能核对出"确认启动"或"确认没启动"的,按第七部分扣次数或退还;核对不出来的,记"状态未知"并停下。
|
||||
- 模型任务还没有收下提交的,重新发起;已经收下提交的,以账本为准。
|
||||
- **驱动了实际动作的决定,一经写入,恢复时就按原决定走,不重算。** 这类决定包括:选批、测哪几格、照测与欠测、份额计数、最后一轮预留、入口分配、押的因子、补测计划。还没写入的决定,由同一个纯函数从账本里的输入重新算出,结果相同。这里不用全局随机数;需要随机时,种子由研究编号、轮次、版本算出。
|
||||
- **驱动了实际动作的决定,一经写入,恢复时就按原决定走,不重算。** 这类决定包括:选批、测哪几格、入口分配、押的因子。还没写入的决定,由同一个纯函数从账本里的输入重新算出,结果相同。这里不用全局随机数;需要随机时,种子由研究编号、轮次、版本算出。
|
||||
- **同一格只结算一次**,同一条解释在同一格上只有一行账。重复读取、导入、恢复,或者换个编号重建同一次消融,都不会再记一次账。同一次运行服务于不同的比较时,记录共享同一个来源,不算成几份独立的证据。
|
||||
- **冻结的东西不可覆盖,更正一律追加记录。** 这包括协议、因子清单、因子位置表、范围、原始证据。冻结先于启动,这个先后关系在中断前后都要成立:中断前已经冻结的范围,仍然算事前预测;中断后才写的范围,不能冒充事前预测。
|
||||
- **运行一旦启动,就按实测记账。** 跑完才发现实现有错,也不标为无效重跑。
|
||||
@@ -707,7 +678,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- 均匀随机:从候选池的全部候选里随机抽一批,不看入池门槛,批量规则不变,种子按第九部分的方法定。
|
||||
|
||||
**选格规则**
|
||||
- 信息价值减成本(含照测与份额);
|
||||
- 信息价值减成本;
|
||||
- 全测;
|
||||
- 随机抽同样多的格;
|
||||
- 都不测。
|
||||
@@ -731,4 +702,5 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
4. 消融中发现的新基线,其余因子的作用是在原来的完整代码上测出来的。因子之间有交互时,两者会不同,信念本里会写明"测于完整代码"。
|
||||
5. N 位研究者用的是同一个模型。第零轮、材料顺序和两次预测都是为了把他们拉开,效果要实际量一量;量不出差别时,只能如实写"同一个模型抽样了 N 次"。
|
||||
6. 第一次预测估的是原始提案,和最后真正跑的冻结协议可能有出入,所以两次预测的对比里,也混着"协议被改过"这一层。
|
||||
7. 一份研究只有十来次运行、一到三次采纳,所有比较都只能当案例来讲。
|
||||
7. 所有研究者都认为下一步该在同一个因子上继续时,信息价值严格为 0,这次采纳的因子就不测,没有"关掉它少多少分"的实测。导出里会记下"没测"和净值,真实运行后看这种情况出现得多不多,再决定要不要把知识本身的价值算进信息价值。
|
||||
8. 一份研究只有十来次运行、一到三次采纳,所有比较都只能当案例来讲。
|
||||
|
||||
Reference in New Issue
Block a user