docs: 核对任务书 09;方法.md 补核验修复用完时的处理
- 方法.md 4.3 ⑨ ⑯、6.6:修复次数用完仍不通过,正向候选不跑;消融格可重做,用完记证据不足。用户原话:"同意"。 - 结构.md:materials 行数范围改为 1200–1850。 - WORK_LOG:记下核对发现的 7 处要改的地方,并入任务书 10;删掉一条没有实测证据的推断。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+12
-3
@@ -49,9 +49,19 @@
|
||||
- materials 与 submissions 一起设计、分两份任务书(09 materials 先、10 submissions 后):materials 对每个任务产出"给模型看的材料 + 对号清单 + 能读的代码版本",整份存进"模型调用开始"记录,submissions 只拿清单对号;谁能看什么每种任务一个函数,不写通用判定;提示词以参考项目为底稿只做必要改动;materials 预期 1200–1800 行,submissions 500–800 行。用户原话:"我建议submissions和materials一起做你觉得可以吗?"、"可以"、"都同意"。
|
||||
- 中断的模型调用,恢复时补写"出错、原因'进程中断'、墙钟时间测不到"(`callEnded` 的墙钟时间用 `Measured`)。用户原话:"墙钟时间改用 Measured,恢复时写出错加测不到(原因'进程中断')"。
|
||||
- materials(任务书 09)开工前用户定的四件事(2026-10-03,用户选了推荐项):vocab 上限改 1150,只放对号清单 `Checklist`,任务材料其余类型放 materials;冻结协议、位置表、判重合并输出、决定种类和编号规则由 materials 定义并导出,flow 照着写,ledger 不改;实验员、核验员不给信念本,方法.md 4.3 ① 改为"研究者任务";合并而成的候选按原提案挑刺。
|
||||
- 核验不通过、修复次数用完时:正向候选不跑(不扣次数,记事件写明原因);消融格和正向一样可以退回实验员重做,次数用同一个修复上限,用完仍不通过这一格不跑、不扣次数、记"证据不足"(方法.md 4.3 ⑨ ⑯、6.6)。用户原话:"同意"。
|
||||
|
||||
## 未完成
|
||||
|
||||
- 任务书 09 核对后要改的 materials,并入任务书 10 先做(监督者核对 446e262 时发现,用户同意):
|
||||
1. 挑刺的"现在交什么"落进了研究者的通用一句"调用一次交上就完成了",和任务说明"可以交一份或几份"相反;给挑刺单写一句。
|
||||
2. 退回记录加"对象"字段(同提交记录的 target);materials 按阶段、作者、种类、对象找上一次的退回,删掉按 `callId` 前缀定位的写法和"同一任务不并行"的要求。
|
||||
3. 核验材料里删掉 Jev 预扫的概率和阈值:方法里没有这一项,能到核验说明 Jev 已判过没问题,再给核验员看等于把 Jev 当提示用。
|
||||
4. 信念本选批历史补"合法化扣掉的分"(方法.md 6.10 第 3 条)。
|
||||
5. 删掉"答案出自被关掉的因子,它本该关着"那句:方法里没有,也没有真实证据。
|
||||
6. 消融核验不通过可以重做(用户 2026-10-03 定):重发消融实现时材料里带核验意见;一格不跑而记"证据不足"时,信念本不能再去读它的运行(现在的写法假定证据不足的格一定有运行),rules 里 `insufficient` 的注释跟着改。
|
||||
7. 顺手改三处旧说法:`tasks/circle_packing/TASK.md`"保障写'无'时写 {}";`src/vocab/submissions.ts` 开头注释的 q₁ ≤ q₅ ≤ q₉;读代码工具的 `offset` 参数(提示词里已删)。
|
||||
- 信念本"按因子归并"(方法.md 6.10 第 1 条"出现在哪些候选里"):现在是每个候选的每个因子一行,用"(延续 X)"连起来,没合成一行。等真实运行后再看要不要合。
|
||||
- jev 判重材料加上每个因子的"关键设定"(现在只有名称和做法,而问题写着"设定不同就不算同一个改法"),并入下一份任务书。用户原话:"我同意加上"。
|
||||
- Jev 校准:新项目跑出真实研究后,从账本取真实的 Jev 判断和材料,由 Claude 或 GPT 打标签作为校准集和留出集,重新校准九问的问法和阈值。不用参考项目 8 个验收数据库(材料格式还会变)。
|
||||
- `inbox/调研.md`:要迁进 `docs/调研/` 的调研结论。
|
||||
@@ -80,8 +90,7 @@
|
||||
- 给 flow:容器名要在本机所有研究之间唯一(例如带研究编号);`docker run` 因重名失败时 runner 按"启动了"处理。日志目录每次运行一个新的。
|
||||
- 给 flow:取出时目标目录必须是空的,workspace 不查。
|
||||
- 给 flow(materials 审阅):冻结协议只在回应阶段关闭后写进账本,阶段内给 Jev 查的协议只放内存;解封只在本轮收尾阶段关闭后写;阶段关闭只在名单上的人交齐后写。materials 把这几条记录的出现当作"已公开",提前写会泄露(审阅者在临时账本里实测过)。
|
||||
- 给 flow:没采纳时也写一条采纳决定(adopted 为 null),本轮正向运行靠它公开;修复任务要在核验阶段关闭后再发;模型调用编号用 materials 的 `callId`,同一人同一阶段同一种任务不并行(退回原因按编号前缀定位)。
|
||||
- 给 flow:每个任务单独一个代码取出目录,只取出这份材料列出的版本;实验员的 shell 不能读到别的候选的取出目录和研究目录里的 ledger.db(里面有封存和第一次预测)。审阅者读代码推断,未实测。
|
||||
- 给 flow:没采纳时也写一条采纳决定(adopted 为 null),本轮正向运行靠它公开;修复任务要在核验阶段关闭后再发。
|
||||
- 给以后换任务镜像:镜像里必须有 `setpriv`(runner 用它把命令降到当前用户);容器里不要用 `python -I`,它会忽略 `PYTHON_CPU_COUNT`。
|
||||
|
||||
## 工作方式(用户 2026-10-01 定)
|
||||
@@ -95,4 +104,4 @@
|
||||
|
||||
## 下一步
|
||||
|
||||
任务书 09 已完成并本地提交,等监督者核对;之后写任务书 10(submissions,并带上判重材料加关键设定)。
|
||||
任务书 09 已核对(行数范围改为 1200–1850)。下一步写任务书 10(submissions),开头先做"任务书 09 核对后要改的 materials"那几条,并带上判重材料加关键设定。
|
||||
|
||||
+3
-2
@@ -254,7 +254,7 @@
|
||||
- `concerns`:照冻结原文实现、但认为会出问题的地方,尤其是某条保障会挡掉或改变什么。没有就写"无"。它不阻止运行,也不改动协议。
|
||||
- 程序检查实验员有没有改不许改的文件。Jev 检查改动里有没有这几类问题:用了不固定种子的随机数、协议没登记就读时钟、算登记指标的方式与定义不符、比协议登记的停止条件更早结束、测不到的量写成 0。有就退回。
|
||||
- 程序把两类情况交给核验员:没有归到任何因子或保障的改动,核验员逐条判断是否越界;同一行同时出现在因子和保障里,核验员在说明里写一句,只是提醒,不判越界。
|
||||
- 核验员只交逐项结果:每条实现条款、每个因子、每条保障,找没找到、在哪里;没有归属的改动,逐条判断是否越界。只要有一项"没落实"或者判为越界,程序就判不通过,退回实验员修复。修复次数有上限,可配置。
|
||||
- 核验员只交逐项结果:每条实现条款、每个因子、每条保障,找没找到、在哪里;没有归属的改动,逐条判断是否越界。只要有一项"没落实"或者判为越界,程序就判不通过,退回实验员修复。修复次数有上限,可配置。用完了仍不通过,这个候选不跑:不扣运行次数,记一条事件写明原因。(用户 2026-10-03 定)
|
||||
|
||||
**⑩ 正式运行(程序)**
|
||||
|
||||
@@ -309,6 +309,7 @@
|
||||
- 交"这一格跑不起来:原因"。这一格不启动,也不扣次数;
|
||||
- 报告还需要一起关掉哪个因子,这一格就同时关掉它们,并写明。
|
||||
- 核验员只查一件事:是不是只关了指定的因子。
|
||||
- 核验不通过时,和正向一样退回实验员重做,次数用同一个修复上限;用完了仍不通过,这一格不跑、不扣次数,记"证据不足:原因"。(用户 2026-10-03 定)
|
||||
- 运行的规矩和正向运行相同。
|
||||
- 完整代码和基线的分数,直接取本批已有的运行结果,不重跑。
|
||||
|
||||
@@ -489,7 +490,7 @@
|
||||
| 结局 | 情形 | 解释在这一格 | 撑几成 |
|
||||
| ---- | ------------------------------- | ---------------------- | ---------------------------------- |
|
||||
| 有效分数 | 跑完、有分数(含合法化后的分数) | 判确认 / 否定;记世界比特与惊讶 | 按公式算 |
|
||||
| 证据不足 | 启动了(扣了次数),但跑崩、超时、没有产物、修不了,或判为违规 | 不判,不记账 | "证据不足:原因" |
|
||||
| 证据不足 | 启动了(扣了次数),但跑崩、超时、没有产物、修不了,或判为违规;或者核验不通过、重做次数用完(不启动,不扣次数) | 不判,不记账 | "证据不足:原因" |
|
||||
| 没测 | 信息价值减成本没选中,或者剩余次数不够 | 不判 | "没测:原因(附净值)" |
|
||||
| 跑不起来 | 实验员交了"跑不起来",也没给一起关的方案;不启动,不扣次数 | 不判 | "跑不起来:原因" |
|
||||
| 一起关 | 关 p 时代码跑不起来,实际和 q 一起关了 | 记"证据不足(测的是 p + q 一起关)" | 记在"p + q 一起"名下,不算成 p 的;q 有自己的格时照常测 |
|
||||
|
||||
+1
-1
@@ -189,7 +189,7 @@ Jev 是一个判别器,和程序检查地位相同,不单独成一种记录
|
||||
| rules | 1500–2500 |
|
||||
| submissions | 600–1000 |
|
||||
| jev | 400–600 |
|
||||
| materials | 1200–1800(实际 1831:其中 shapes.ts 约 116 行是用户 2026-10-03 决定 2 新加的账本内容形状,原估算没算它) |
|
||||
| materials | 1200–1850(多出的部分是用户 2026-10-03 让 materials 定义的账本内容形状) |
|
||||
| agents | 600–700 |
|
||||
| workspace | 200–300 |
|
||||
| runner | 250–450 |
|
||||
|
||||
Reference in New Issue
Block a user