# 任务书 13:改提示词后重测第零轮,加三处小改动 任务书 12 的第零轮研究质量没有通过:3 次真实运行里,"联合优化"(K1)一次都没出现。查下来,主要原因在提示词: - 写入口的提示词里唯一的"好例子",就是"固定圆心求最优半径"(K4)这条路。9 位研究者的第 1 个入口都照着它写。 - 研究者的角色提示词和多份任务提示词里,写满了参考项目跑填圆时的具体做法:线性规划、结构起点、扰动后重跑优化、多起点 SLSQP 等等。研究者还没开始,就已经读到了 5 条关键想法里的 4 条。所以上一轮的质量结果被提示词污染了,不能当真。 监督者已经按调研结论改好了提示词(提交说明里列了改了哪些文件),这份任务书只做两件事: 1. 用新提示词把第零轮重新测 3 次; 2. 顺带做用户 2026-10-03 同意的三处小改动。 本任务书已由用户和监督者在 2026-10-03 一起确定。下面说的"监督者",是在参考项目目录里和用户讨论设计的另一个会话。 ## 开工前先读 - `CLAUDE.md`:"测试"一节,尤其是"正式代码和检验代码完全分开"。 - `任务书/12-flow-1-骨架与第零轮.md`:第四部分(分开的规矩)、第五部分(六问和通过条件)。这次照旧适用,下面只写改了什么。 - 监督者改过的提示词:`git log -1 --stat` 看监督者的提交。改了的有: - `prompts/roles/researcher.md`、`prompts/roles/experimenter.md`; - `prompts/tasks/` 下的 entry、discussion、claim、proposal、critique、explanation、wrapUp、response; - `tasks/circle_packing/TASK.md` 开头两行。 **你不改提示词。** - `WORK_LOG.md`。 ## 一、三处小改动(用户 2026-10-03 同意) 1. **研究编号只许小写。** 研究编号会进 Docker 的镜像标签,标签只认小写。 - 在 config 里把 `studyId` 的格式限定成小写字母、数字和 `._-`,首字符是小写字母或数字,让大写写不进来。 - 不改 vocab 的通用 `Id`。 - 字段说明同步改。 2. **配置里的路径必须是绝对路径。** `task`、`promptDir` 写相对路径时,`checkConfig` 报错,报错写明字段路径。 - 原因:从别的目录接着跑一份研究时,相对路径会读到别处的任务目录,而任务目录没有哈希核对挡着。 - 不另加字段,也不在冻结时把相对路径转成绝对路径:以后 research.json 由配置对话生成,写绝对路径没有成本。 - `eval/` 里的配置改成绝对路径。 3. **检验第 2 问两个顺序都问、取平均。** "两个入口是不是同一条路"本来是对称的问题。上次同一对入口换个顺序问,概率从 0.58 变成 0.35,正好跨在阈值两边。 - 第 2 问和第 6 问的重合度,一律每对 A、B 和 B、A 各问一次,取两次概率的平均,大于 0.5 判"是"。两次的原始概率都存进 JSON。 - 只改 `eval/` 里的检验,不动 `src/jev/`。正式判重的同类问题留到以后"Jev 校准"再看,这次不碰。 ## 二、重测第零轮 照任务书 12 第五部分的六问和通过条件,用新提示词真实跑 3 次。 **事先定好的规则(用户 2026-10-03 定,改不得):** - 这次只换了提示词,跑 3 次,结果不管好坏都照实收下。 - 不通过也不再调提示词,记作发现,交给用户。 - 你不改提示词、不改 Jev 问题(第一部分第 3 条除外)、不改阈值、不改想法清单。 **配置:** 照 `eval/round-zero/research.json`,三个新的研究编号(小写),路径改成绝对路径,其余不变。 **16-real-1 回放不用重跑**:回放交的是当年的内容,和提示词无关。重测的结果和上次的回放成绩放在同一张表里对照。 **这次多看两样:** 1. **有没有照抄例子。** 新提示词的例子来自另一道题(排任务到几台机器上的调度程序)。逐个入口看有没有搬进"机器""调度""任务排序"这类说法,或者照搬例子的句式。有的话列出来。 2. **入口落在哪类起点上。** 新提示词把起点分成三类:基线的一段代码、题目本身、做法的类别。每次运行闭门写的入口,逐个由你读原文判它属于哪一类,列成表。 - 这一项只用来看分布,不设通过线,也不用问 Jev。 - 拿不准的标"拿不准"。 ## 三、质量通过与否之外,还要交的 上次的报告只给了表格,监督者要自己去读原文。这次在报告里直接贴出:每次运行闭门写的全部入口、讨论后最终的全部入口、分配结果的名称。 ## 四、测试与规模 - `npm test` 加上: - 研究编号带大写时 `checkConfig` 报错; - 路径是相对路径时报错。 - 改动预期:config 不到 20 行;`eval/` 不到 40 行。 ## 五、文档 - `docs/结构.md` 第八部分 config 一节:研究编号只许小写、路径必须绝对,各一句。 - `WORK_LOG.md`:"已完成"补一条,写明 3 次运行的目录和结果。 不新建 md 文件。 ## 六、验收与报告 做完后本地提交,然后在回复里交一份报告: 1. 提交号;修改的文件列表,分 `src/`、`tests/`、`eval/` 列。 2. `npm run check`、`npm test` 的完整输出。 3. 研究质量表: - 行是新的 3 次运行、上次的 3 次运行、16-real-1 回放; - 列是六问的结果和是否通过。 - 另附两样:K1–K5 各被几个入口覆盖;第 2 问每对入口的两个顺序的概率。 4. 第三部分要求的入口原文和分配结果。 5. 第二部分"多看两样"的结果:照抄例子的情况;起点类别分布表。 6. 你和这份任务书不一致的地方,以及为什么。 7. **规则不清楚的地方**:哪里让你犹豫、哪里你是靠猜的。没有就写"没有"。