iomgaa/InfoRSI
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: WORK_LOG 记任务书 13 结果（第零轮重测 3 次仍未通过）

Browse Source 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
iomgaa
2026-10-03 12:33:55 -04:00
parent a42349717c
commit 999ee8e8ef
1 changed files with 3 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files
WORK_LOG.md
+3 -2
View File
@@ -23,6 +23,7 @@
- 任务书 10（submissions）：先改 materials 第一部分 7 处，另加两处小改动（jev 判重材料带关键设定、核验 `body` 字段说明补同行提醒）。src/submissions 6 个文件、391 行（预期 400–600）；materials 1850 行；vocab 1107 行；ledger 退回记录加对象字段，表结构版本升到 4。`npm test` 400 条通过；`npm run test:jev` 新增三个真实用例：写得好的回应收下（三问 0.06 / 0.04 / 0.04），改评测的回应退回（changes_measurement 0.91，阈值 0.21），实现 3 块 15 条判断全否。全新上下文审阅一轮：采纳消融实现退回文字前后矛盾、两处测试加强；另发现同轮指标重名，用户定的改法见"未完成"。结构.md 第七、八部分已更新。 - 任务书 10（submissions）：先改 materials 第一部分 7 处，另加两处小改动（jev 判重材料带关键设定、核验 `body` 字段说明补同行提醒）。src/submissions 6 个文件、391 行（预期 400–600）；materials 1850 行；vocab 1107 行；ledger 退回记录加对象字段，表结构版本升到 4。`npm test` 400 条通过；`npm run test:jev` 新增三个真实用例：写得好的回应收下（三问 0.06 / 0.04 / 0.04），改评测的回应退回（changes_measurement 0.91，阈值 0.21），实现 3 块 15 条判断全否。全新上下文审阅一轮：采纳消融实现退回文字前后矛盾、两处测试加强；另发现同轮指标重名，用户定的改法见"未完成"。结构.md 第七、八部分已更新。
- 任务书 11（收尾，提交 13a7e60）：假设专用指标冻结时加候选前缀，全名"候选编号.短名"，只在 materials 的 `freezeProtocol` 加；短名恢复不能含 `.`（最长 64），已占用清单只剩任务的指标和两个保留键。消融格核验不通过重做时，材料写"工作目录是上一次交的这一格代码的副本"，能读的版本加上它，完整代码照旧列出；消融实现提示词同步改。jev 判重的材料说明补 `keySettings` 一句。materials 1868 行（上限 1850，多出主要是 `freezeProtocol`），submissions 391 行，vocab 1118 行。`npm test` 405 条通过；`npm run test:jev -- jev-latest` 判重一问照常拿回概率。结构.md 第八部分 vocab、materials、jev 已更新。 - 任务书 11（收尾，提交 13a7e60）：假设专用指标冻结时加候选前缀，全名"候选编号.短名"，只在 materials 的 `freezeProtocol` 加；短名恢复不能含 `.`（最长 64），已占用清单只剩任务的指标和两个保留键。消融格核验不通过重做时，材料写"工作目录是上一次交的这一格代码的副本"，能读的版本加上它，完整代码照旧列出；消融实现提示词同步改。jev 判重的材料说明补 `keySettings` 一句。materials 1868 行（上限 1850，多出主要是 `freezeProtocol`），submissions 391 行，vocab 1118 行。`npm test` 405 条通过；`npm run test:jev -- jev-latest` 判重一问照常拿回概率。结构.md 第八部分 vocab、materials、jev 已更新。
- 任务书 12（flow 第 1 部分：骨架、研究开始、第零轮）：src/flow 11 个文件、775 行（预期 900–1200；实验员、核验员会话接法和多份提交的编号要用到第 2、3 部分才写），materials 1897 行（+29：`finalEntries`、`researcherId`、`StudyRecord`），eval/ 1006 行。`npm test` 418 条通过（新增 flow 下一步 11 条、真 Docker 2 条：研究编号重复报错、docker run 没启动后停下不在本进程重跑）。全新上下文审阅 2.5、2.7 一轮，采纳两条（同上两条测试对应的修复）。真实检验：16-real-1 回放分配与当年完全相同、0 退回；三处杀进程、两份同时跑全部通过。**研究质量未通过**：3 次真实运行（`/home/iomgaa/inforsi-eval/2026-10-03-r0-real-1`、`-2`、`-3`，2、3 被内存回收杀过一次、按正式恢复路径续跑完）第 1、3 问都不通过，入口全体没有 K1（联合优化）；材料核对符合方法.md 4.2，交用户判断。 - 任务书 12（flow 第 1 部分：骨架、研究开始、第零轮）：src/flow 11 个文件、775 行（预期 900–1200；实验员、核验员会话接法和多份提交的编号要用到第 2、3 部分才写），materials 1897 行（+29：`finalEntries`、`researcherId`、`StudyRecord`），eval/ 1006 行。`npm test` 418 条通过（新增 flow 下一步 11 条、真 Docker 2 条：研究编号重复报错、docker run 没启动后停下不在本进程重跑）。全新上下文审阅 2.5、2.7 一轮，采纳两条（同上两条测试对应的修复）。真实检验：16-real-1 回放分配与当年完全相同、0 退回；三处杀进程、两份同时跑全部通过。**研究质量未通过**：3 次真实运行（`/home/iomgaa/inforsi-eval/2026-10-03-r0-real-1`、`-2`、`-3`，2、3 被内存回收杀过一次、按正式恢复路径续跑完）第 1、3 问都不通过，入口全体没有 K1（联合优化）；材料核对符合方法.md 4.2，交用户判断。
- 任务书 13（第零轮重测，提交 a423497 及收尾提交）：三处小改动——研究编号只许小写、`task`/`promptDir` 必须绝对路径（config +22/−7，`npm test` 420 条通过）；检验第 2、6 问每对两个顺序各问一次取平均（eval +35/−17）。用监督者改过的提示词真实跑第零轮 3 次（`/home/iomgaa/inforsi-eval/2026-10-03-r0-v2-1`、`-2`、`-3`，都一次跑完没中断）：**研究质量仍未通过**，3 次第 3 问都不通过（v2-1、v2-3 的 K1 入口没被分出去；v2-2 分出去了，但另一个分到的入口判为只停在 D2；v2-1 分到的一个判为停在 D1、D2，v2-3 一个停在 D1），v2-1 另有第 4、5 问不通过；第 1 问 3 次都通过（入口全体里各有 1 个指向 K1，上次 0/3）。按事先定的规则照实收下，不再调提示词。上次 3 次运行和 16-real-1 回放用新的第 2 问复评在 `2026-10-03-rescore-*`（只有 r0-real-3 第 2 问由不通过变通过）。
## 关键决定（用户原话见各提交说明） ## 关键决定（用户原话见各提交说明）
@@ -67,7 +68,7 @@
## 未完成 ## 未完成
- 待用户定（第零轮，任务书 13 的结果出来后再议）：①认领的分配规则是"按志愿一轮一轮分、撞车给作者"，照实排不一定对自己最好，3 次运行 9/9 都分到自己写的入口；是否换成照实排最好的分配方式、去掉作者优先。②第一条消息里没有题目本身，要模型自己查 TASK.md；是否由程序把题目放在最前面。③三位研究者拿到完全一样的提示，是否给每人分一个不同的看题路径（只规定从哪里出发，不规定结论）。④研究者角色提示词每个任务都发全文（因子、保障、指标等第零轮用不到），是否按任务只发用得到的几节。 - 待用户定（第零轮，任务书 13 的结果已出，见"已完成"）：①认领的分配规则是"按志愿一轮一轮分、撞车给作者"，照实排不一定对自己最好，3 次运行 9/9 都分到自己写的入口；是否换成照实排最好的分配方式、去掉作者优先。②第一条消息里没有题目本身，要模型自己查 TASK.md；是否由程序把题目放在最前面。③三位研究者拿到完全一样的提示，是否给每人分一个不同的看题路径（只规定从哪里出发，不规定结论）。④研究者角色提示词每个任务都发全文（因子、保障、指标等第零轮用不到），是否按任务只发用得到的几节。
- 信念本"按因子归并"（方法.md 6.10 第 1 条"出现在哪些候选里"）：现在是每个候选的每个因子一行，用"（延续 X）"连起来，没合成一行。等真实运行后再看要不要合。 - 信念本"按因子归并"（方法.md 6.10 第 1 条"出现在哪些候选里"）：现在是每个候选的每个因子一行，用"（延续 X）"连起来，没合成一行。等真实运行后再看要不要合。
- Jev 校准：新项目跑出真实研究后，从账本取真实的 Jev 判断和材料，由 Claude 或 GPT 打标签作为校准集和留出集，重新校准九问的问法和阈值。不用参考项目 8 个验收数据库（材料格式还会变）。 - Jev 校准：新项目跑出真实研究后，从账本取真实的 Jev 判断和材料，由 Claude 或 GPT 打标签作为校准集和留出集，重新校准九问的问法和阈值。不用参考项目 8 个验收数据库（材料格式还会变）。
- `inbox/调研.md`：要迁进 `docs/调研/` 的调研结论。 - `inbox/调研.md`：要迁进 `docs/调研/` 的调研结论。
@@ -94,4 +95,4 @@
## 下一步 ## 下一步
任务书 12 已核对（75d7cff）：程序部分通过；第零轮研究质量 3 次都没通过，原因查实在提示词（唯一的好例子就是 K4；角色和多份任务提示词里写着参考项目填圆的具体做法，5 条关键想法泄露了 4 条）。监督者按两份调研（参考系统怎么写"提出方向"、好的 skill 怎么写）改了提示词，写了任务书 13：重测第零轮 3 次（事先定好只改这一次、结果照实收下），加研究编号只许小写、配置路径必须绝对、检验第 2 问两个顺序取平均。等用户另开会话执行。 任务书 13 已完成，等监督者核对。第零轮质量 3 次仍未通过（第 3 问：K1 写进了入口全体，3 次只有 1 次分出去，且每次都有分到的入口判为停在死路），连同"未完成"里待用户定的四件事一起交用户议。