docs: 任务书 14 收尾，结构.md flow、materials 两节与 WORK_LOG

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 18:51:44 -04:00
parent a2a1392f01
commit 0b677cfc0c
2 changed files with 59 additions and 10 deletions
@@ -24,6 +24,7 @@
 - 任务书 11（收尾，提交 13a7e60）：假设专用指标冻结时加候选前缀，全名"候选编号.短名"，只在 materials 的 `freezeProtocol` 加；短名恢复不能含 `.`（最长 64），已占用清单只剩任务的指标和两个保留键。消融格核验不通过重做时，材料写"工作目录是上一次交的这一格代码的副本"，能读的版本加上它，完整代码照旧列出；消融实现提示词同步改。jev 判重的材料说明补 `keySettings` 一句。materials 1868 行（上限 1850，多出主要是 `freezeProtocol`），submissions 391 行，vocab 1118 行。`npm test` 405 条通过；`npm run test:jev -- jev-latest` 判重一问照常拿回概率。结构.md 第八部分 vocab、materials、jev 已更新。
 - 任务书 12（flow 第 1 部分：骨架、研究开始、第零轮）：src/flow 11 个文件、775 行（预期 900–1200；实验员、核验员会话接法和多份提交的编号要用到第 2、3 部分才写），materials 1897 行（+29：`finalEntries`、`researcherId`、`StudyRecord`），eval/ 1006 行。`npm test` 418 条通过（新增 flow 下一步 11 条、真 Docker 2 条：研究编号重复报错、docker run 没启动后停下不在本进程重跑）。全新上下文审阅 2.5、2.7 一轮，采纳两条（同上两条测试对应的修复）。真实检验：16-real-1 回放分配与当年完全相同、0 退回；三处杀进程、两份同时跑全部通过。**研究质量未通过**：3 次真实运行（`/home/iomgaa/inforsi-eval/2026-10-03-r0-real-1`、`-2`、`-3`，2、3 被内存回收杀过一次、按正式恢复路径续跑完）第 1、3 问都不通过，入口全体没有 K1（联合优化）；材料核对符合方法.md 4.2，交用户判断。
 - 任务书 13（第零轮重测，提交 a423497 及收尾提交）：三处小改动——研究编号只许小写、`task`/`promptDir` 必须绝对路径（config +22/−7，`npm test` 420 条通过）；检验第 2、6 问每对两个顺序各问一次取平均（eval +35/−17）。用监督者改过的提示词真实跑第零轮 3 次（`/home/iomgaa/inforsi-eval/2026-10-03-r0-v2-1`、`-2`、`-3`，都一次跑完没中断）：**研究质量仍未通过**，3 次第 3 问都不通过（v2-1、v2-3 的 K1 入口没被分出去；v2-2 分出去了，但另一个分到的入口判为只停在 D2；v2-1 分到的一个判为停在 D1、D2，v2-3 一个停在 D1），v2-1 另有第 4、5 问不通过；第 1 问 3 次都通过（入口全体里各有 1 个指向 K1，上次 0/3）。按事先定的规则照实收下，不再调提示词。上次 3 次运行和 16-real-1 回放用新的第 2 问复评在 `2026-10-03-rescore-*`（只有 r0-real-3 第 2 问由不通过变通过）。
+- 任务书 14（flow 第 2 部分：第 r 轮开轮到选批，提交 2c6fdce 提示词、f98d664 代码、a2a1392 eval，以及之后的收尾提交）：提示词按参考项目高分运行第 1 轮的真实记录诊断后改了研究者角色提示词和这一段的六份任务消息（角色提示词 6836→4386 字）。src/flow 1105 行（上限 1700），materials 1910 行（上限 1950，导出 `Board`、讨论原文里作废的入口编号标"（已作废）"），vocab 1132 行；`npm test` 437 条通过。全新上下文审阅一轮（三个程序步骤与恢复），没有会污染账本的问题。3 次真实运行 `/home/iomgaa/inforsi-eval/2026-10-03-r1-v1-kill`、`-r1-v1-a`、`-r1-v1-b` 都停在第 1 轮选批后（原因"实现还没写"），杀进程四条通过；盲评和 Jev 结果在 `/home/iomgaa/inforsi-eval/2026-10-03-r1-compare/`，研究质量（两位盲评，我们 3 次对参考 5 次）：方向一项低 1.1、1.8 分（我们 9 条提案只有 1 条做联合优化、3 条判为停在构造或只改半径的死路，9 条都含固定圆心求半径；参考项目当时的提示词带填圆做法），挑刺、回应、预测、选批持平或略高，多样性、提案质量持平；材料核对符合方法.md 第三部分与 4.3，按事先定的规则不再调提示词。

 ## 关键决定（用户原话见各提交说明）

@@ -69,15 +70,15 @@
 - flow 第 2 部分（2026-10-03）：选批并进第 2 部分；不回放 16-real-1；验收看整体研究质量（方向、多样性与判重、提案、挑刺、回应、预测、选批，加过程数字），不只看某一个想法；这一段的提示词先按调研结论诊断再改，改完提交后才跑，看到结果不再调；三块合成一份任务书。用户原话："直接看也没有联合优化是狭隘的，我们其实是要从更广阔的领域去分析整一个系统，它有没有正常高质量的运行"、"选批并进部分 2；不回放"、"这个部分现有的 prompt 一定是有问题的"、"同意，合成一份，写任务书 14 吧"。
 ## 未完成

- 第零轮之后再看（2026-10-03 定，等部分 2 的数据）：②第一条消息里没有题目本身，要模型自己查 TASK.md，是否由程序放在最前面；③三位研究者拿到完全一样的提示，是否给每人分一个不同的看题路径；④研究者角色提示词每个任务都发全文，是否按任务只发用得到的几节。
+- 第零轮之后再看（2026-10-03 定，等部分 2 的数据）：②第一条消息里没有题目本身，要模型自己查 TASK.md，是否由程序放在最前面；③三位研究者拿到完全一样的提示，是否给每人分一个不同的看题路径；④研究者角色提示词每个任务都发全文，是否按任务只发用得到的几节。现状（任务书 14）：角色提示词已瘦身到 4386 字，但仍每个任务整份发。
 - 信念本"按因子归并"（方法.md 6.10 第 1 条"出现在哪些候选里"）：现在是每个候选的每个因子一行，用"（延续 X）"连起来，没合成一行。等真实运行后再看要不要合。
 - Jev 校准：新项目跑出真实研究后，从账本取真实的 Jev 判断和材料，由 Claude 或 GPT 打标签作为校准集和留出集，重新校准九问的问法和阈值。不用参考项目 8 个验收数据库（材料格式还会变）。
 - `inbox/调研.md`：要迁进 `docs/调研/` 的调研结论。
 - `docs/方法.md` 里还有 7 条标〔自定〕的规则，待用户过目。
- 给 flow：同一轮里选批和选格都用随机规则时，传不同的"版本"算种子，否则两次抽取用同一串随机数。
+- 给 flow：选格用随机规则时，种子用版本 2 算（选批已用版本 1，任务书 14），否则两次抽取用同一串随机数。
 - 给 flow：步骤清单没有单列"轮末动作"（解封作者自评、入选未跑的候选出池），flow 要做这些。
 - 写 plugin 时实测：源码导入路径带 `.ts` 扩展名，Pi 加载插件能否接受。
- 给 flow（materials 审阅）：冻结协议只在回应阶段关闭后写进账本，阶段内给 Jev 查的协议只放内存；解封只在本轮收尾阶段关闭后写。materials 把这几条记录的出现当作"已公开"，提前写会泄露（审阅者在临时账本里实测过）。
+- 给 flow（materials 审阅）：解封只在本轮收尾阶段关闭后写。materials 把这条记录的出现当作"已公开"，提前写会泄露（审阅者在临时账本里实测过）。
 - 给 flow：没采纳时也写一条采纳决定（adopted 为 null），本轮正向运行靠它公开；修复任务要在核验阶段关闭后再发。
 - 给 flow：消融格核验不通过、修复次数用完时写 `cellNotRunEvent(格, 原因)` 事件，结算记 insufficient。flow 重做时，把上一次这一格的提交取出来当工作目录（materials 的消融实现材料就是这样写的）。
 - 给 flow：修复的差异块按本批基线算（任务书 10 第二部分第 2 步），切好交给 submissions。
@@ -96,4 +97,4 @@

 ## 下一步

-任务书 13 已核对。第零轮到此为止。flow 第 2 部分已写成任务书 14（`任务书/14-flow-2-开轮到选批.md`）：先改这一段的提示词，再写 ①–⑧ 的代码，最后真实跑 3 次，和参考项目 5 次高分运行的第 1 轮盲评比较。等用户另开会话执行。
+任务书 14 已完成，等监督者核对。