prompts: 去掉填圆具体做法、例子换成无关领域、重写第零轮三份提示词；新增任务书 13（重测第零轮）

改了：roles/researcher.md、roles/experimenter.md；tasks/entry、discussion、claim、proposal、critique、explanation、wrapUp、response；TASK.md 开头两行。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 11:31:54 -04:00
parent 75d7cffd27
commit b516f8a612
13 changed files with 154 additions and 50 deletions
@@ -0,0 +1,91 @@
+# 任务书 13：改提示词后重测第零轮，加三处小改动
+
+任务书 12 的第零轮研究质量没有通过：3 次真实运行里，"联合优化"（K1）一次都没出现。查下来，主要原因在提示词：
+
+- 写入口的提示词里唯一的"好例子"，就是"固定圆心求最优半径"（K4）这条路。9 位研究者的第 1 个入口都照着它写。
+- 研究者的角色提示词和多份任务提示词里，写满了参考项目跑填圆时的具体做法：线性规划、结构起点、扰动后重跑优化、多起点 SLSQP 等等。研究者还没开始，就已经读到了 5 条关键想法里的 4 条。所以上一轮的质量结果被提示词污染了，不能当真。
+
+监督者已经按调研结论改好了提示词（提交说明里列了改了哪些文件），这份任务书只做两件事：
+
+1. 用新提示词把第零轮重新测 3 次；
+2. 顺带做用户 2026-10-03 同意的三处小改动。
+
+本任务书已由用户和监督者在 2026-10-03 一起确定。下面说的"监督者"，是在参考项目目录里和用户讨论设计的另一个会话。
+
+## 开工前先读
+
+- `CLAUDE.md`："测试"一节，尤其是"正式代码和检验代码完全分开"。
+- `任务书/12-flow-1-骨架与第零轮.md`：第四部分（分开的规矩）、第五部分（六问和通过条件）。这次照旧适用，下面只写改了什么。
+- 监督者改过的提示词：`git log -1 --stat` 看监督者的提交。改了的有：
+  - `prompts/roles/researcher.md`、`prompts/roles/experimenter.md`；
+  - `prompts/tasks/` 下的 entry、discussion、claim、proposal、critique、explanation、wrapUp、response；
+  - `tasks/circle_packing/TASK.md` 开头两行。
+
+  **你不改提示词。**
+- `WORK_LOG.md`。
+
+## 一、三处小改动（用户 2026-10-03 同意）
+
+1. **研究编号只许小写。** 研究编号会进 Docker 的镜像标签，标签只认小写。
+   - 在 config 里把 `studyId` 的格式限定成小写字母、数字和 `._-`，首字符是小写字母或数字，让大写写不进来。
+   - 不改 vocab 的通用 `Id`。
+   - 字段说明同步改。
+2. **配置里的路径必须是绝对路径。** `task`、`promptDir` 写相对路径时，`checkConfig` 报错，报错写明字段路径。
+   - 原因：从别的目录接着跑一份研究时，相对路径会读到别处的任务目录，而任务目录没有哈希核对挡着。
+   - 不另加字段，也不在冻结时把相对路径转成绝对路径：以后 research.json 由配置对话生成，写绝对路径没有成本。
+   - `eval/` 里的配置改成绝对路径。
+3. **检验第 2 问两个顺序都问、取平均。** "两个入口是不是同一条路"本来是对称的问题。上次同一对入口换个顺序问，概率从 0.58 变成 0.35，正好跨在阈值两边。
+   - 第 2 问和第 6 问的重合度，一律每对 A、B 和 B、A 各问一次，取两次概率的平均，大于 0.5 判"是"。两次的原始概率都存进 JSON。
+   - 只改 `eval/` 里的检验，不动 `src/jev/`。正式判重的同类问题留到以后"Jev 校准"再看，这次不碰。
+
+## 二、重测第零轮
+
+照任务书 12 第五部分的六问和通过条件，用新提示词真实跑 3 次。
+
+**事先定好的规则（用户 2026-10-03 定，改不得）：**
+- 这次只换了提示词，跑 3 次，结果不管好坏都照实收下。
+- 不通过也不再调提示词，记作发现，交给用户。
+- 你不改提示词、不改 Jev 问题（第一部分第 3 条除外）、不改阈值、不改想法清单。
+
+**配置：** 照 `eval/round-zero/research.json`，三个新的研究编号（小写），路径改成绝对路径，其余不变。
+
+**16-real-1 回放不用重跑**：回放交的是当年的内容，和提示词无关。重测的结果和上次的回放成绩放在同一张表里对照。
+
+**这次多看两样：**
+1. **有没有照抄例子。** 新提示词的例子来自另一道题（排任务到几台机器上的调度程序）。逐个入口看有没有搬进"机器""调度""任务排序"这类说法，或者照搬例子的句式。有的话列出来。
+2. **入口落在哪类起点上。** 新提示词把起点分成三类：基线的一段代码、题目本身、做法的类别。每次运行闭门写的入口，逐个由你读原文判它属于哪一类，列成表。
+   - 这一项只用来看分布，不设通过线，也不用问 Jev。
+   - 拿不准的标"拿不准"。
+
+## 三、质量通过与否之外，还要交的
+
+上次的报告只给了表格，监督者要自己去读原文。这次在报告里直接贴出：每次运行闭门写的全部入口、讨论后最终的全部入口、分配结果的名称。
+
+## 四、测试与规模
+
+- `npm test` 加上：
+  - 研究编号带大写时 `checkConfig` 报错；
+  - 路径是相对路径时报错。
+- 改动预期：config 不到 20 行；`eval/` 不到 40 行。
+
+## 五、文档
+
+- `docs/结构.md` 第八部分 config 一节：研究编号只许小写、路径必须绝对，各一句。
+- `WORK_LOG.md`："已完成"补一条，写明 3 次运行的目录和结果。
+
+不新建 md 文件。
+
+## 六、验收与报告
+
+做完后本地提交，然后在回复里交一份报告：
+
+1. 提交号；修改的文件列表，分 `src/`、`tests/`、`eval/` 列。
+2. `npm run check`、`npm test` 的完整输出。
+3. 研究质量表：
+   - 行是新的 3 次运行、上次的 3 次运行、16-real-1 回放；
+   - 列是六问的结果和是否通过。
+   - 另附两样：K1–K5 各被几个入口覆盖；第 2 问每对入口的两个顺序的概率。
+4. 第三部分要求的入口原文和分配结果。
+5. 第二部分"多看两样"的结果：照抄例子的情况；起点类别分布表。
+6. 你和这份任务书不一致的地方，以及为什么。
+7. **规则不清楚的地方**：哪里让你犹豫、哪里你是靠猜的。没有就写"没有"。