docs: 新增任务书 08-jev,方法.md 补齐 Jev 九问
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+2
-2
@@ -230,7 +230,7 @@
|
||||
|
||||
- **回应**:逐条答复挑刺,只交改动了的部分,并给出实现条款。作者自评不能改;作者看完挑刺后怎么想,由他在第二次预测里自己交的范围来体现。
|
||||
- **统一**:合并而成的候选,由编号最小的作者写成一份完整的冻结协议。它仍然按因子写,因子数上限照样适用;要逐条写明每份原提案在哪里体现,不能在原提案和挑刺之外加新改动。
|
||||
- Jev 检查冻结条款有没有改动评测、有没有自相矛盾,有问题就退回。
|
||||
- Jev 检查冻结条款有三类问题:改动了评测、自相矛盾、写得太含糊没法照着实现。有就退回。
|
||||
- 回应阶段关闭时,协议冻结。冻结协议包括:因子清单、保障清单、协议正文、因子之间的关系、指标、实现条款。
|
||||
|
||||
**⑦ 第二次预测(每位研究者,各自独立)**
|
||||
@@ -252,7 +252,7 @@
|
||||
- 代码;
|
||||
- 因子位置表:每个因子、每条保障分别在哪几行。同一行既属于某个因子又属于某条保障时,两边都写;不属于任何因子的改动,写一句说明;
|
||||
- `concerns`:照冻结原文实现、但认为会出问题的地方,尤其是某条保障会挡掉或改变什么。没有就写"无"。它不阻止运行,也不改动协议。
|
||||
- 程序检查实验员有没有改不许改的文件。Jev 检查改动里有没有这几类问题:用了不固定种子的随机数、协议没登记就读时钟、测不到的量写成 0。有就退回。
|
||||
- 程序检查实验员有没有改不许改的文件。Jev 检查改动里有没有这几类问题:用了不固定种子的随机数、协议没登记就读时钟、算登记指标的方式与定义不符、比协议登记的停止条件更早结束、测不到的量写成 0。有就退回。
|
||||
- 程序把两类情况交给核验员:没有归到任何因子或保障的改动,核验员逐条判断是否越界;同一行同时出现在因子和保障里,核验员在说明里写一句,只是提醒,不判越界。
|
||||
- 核验员只交逐项结果:每条实现条款、每个因子、每条保障,找没找到、在哪里;没有归属的改动,逐条判断是否越界。只要有一项"没落实"或者判为越界,程序就判不通过,退回实验员修复。修复次数有上限,可配置。
|
||||
|
||||
|
||||
+2
-2
@@ -145,7 +145,7 @@ Jev 是一个判别器,和程序检查地位相同,不单独成一种记录
|
||||
|
||||
| 种类 | 例子 | 换法 |
|
||||
|---|---|---|
|
||||
| 外部服务 | Pi 会话、Docker 运行器、任务、Jev | 接口。Jev 另配一个"永远判不同"的空实现,用来关掉判重 |
|
||||
| 外部服务 | Pi 会话、Docker 运行器、任务、Jev | 接口 |
|
||||
| 决策规则 | 选批:批内最好期望、均匀随机。选格:信息价值减成本、全测、随机同格数、都不测。以后可能加合并方式 | 纯函数,登记在 rules 里的"名字 → 函数"表里,配置写名字 |
|
||||
| 方法参数 | N、M、批量、运行次数、因子数上限、u、衰减、开放预留 | 配置值,不写成常数,也不用环境变量,每个都必须写在配置文件里。分两层:用户配置(配置对话逐项问);方法参数(做实验时才改,配置对话按方法.md 6.11 的现行值写进文件、给用户看过) |
|
||||
| 模型与提示词 | 每个角色、每位研究者用哪个模型;提示词目录 | 配置值;账本记下每份提示词文件的哈希 |
|
||||
@@ -188,7 +188,7 @@ Jev 是一个判别器,和程序检查地位相同,不单独成一种记录
|
||||
| ledger | 500–900 |
|
||||
| rules | 1500–2500 |
|
||||
| submissions | 600–1000 |
|
||||
| jev | 300–500 |
|
||||
| jev | 400–600(不含校准脚本) |
|
||||
| materials | 1000–1800 |
|
||||
| agents | 600–700 |
|
||||
| workspace | 200–300 |
|
||||
|
||||
Reference in New Issue
Block a user