iomgaa
b516f8a612
改了：roles/researcher.md、roles/experimenter.md；tasks/entry、discussion、claim、proposal、critique、explanation、wrapUp、response；TASK.md 开头两行。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
92 lines
5.8 KiB
Markdown
92 lines
5.8 KiB
Markdown
# 任务书 13：改提示词后重测第零轮，加三处小改动
|
||
|
||
任务书 12 的第零轮研究质量没有通过：3 次真实运行里，"联合优化"（K1）一次都没出现。查下来，主要原因在提示词：
|
||
|
||
- 写入口的提示词里唯一的"好例子"，就是"固定圆心求最优半径"（K4）这条路。9 位研究者的第 1 个入口都照着它写。
|
||
- 研究者的角色提示词和多份任务提示词里，写满了参考项目跑填圆时的具体做法：线性规划、结构起点、扰动后重跑优化、多起点 SLSQP 等等。研究者还没开始，就已经读到了 5 条关键想法里的 4 条。所以上一轮的质量结果被提示词污染了，不能当真。
|
||
|
||
监督者已经按调研结论改好了提示词（提交说明里列了改了哪些文件），这份任务书只做两件事：
|
||
|
||
1. 用新提示词把第零轮重新测 3 次；
|
||
2. 顺带做用户 2026-10-03 同意的三处小改动。
|
||
|
||
本任务书已由用户和监督者在 2026-10-03 一起确定。下面说的"监督者"，是在参考项目目录里和用户讨论设计的另一个会话。
|
||
|
||
## 开工前先读
|
||
|
||
- `CLAUDE.md`："测试"一节，尤其是"正式代码和检验代码完全分开"。
|
||
- `任务书/12-flow-1-骨架与第零轮.md`：第四部分（分开的规矩）、第五部分（六问和通过条件）。这次照旧适用，下面只写改了什么。
|
||
- 监督者改过的提示词：`git log -1 --stat` 看监督者的提交。改了的有：
|
||
- `prompts/roles/researcher.md`、`prompts/roles/experimenter.md`；
|
||
- `prompts/tasks/` 下的 entry、discussion、claim、proposal、critique、explanation、wrapUp、response；
|
||
- `tasks/circle_packing/TASK.md` 开头两行。
|
||
|
||
**你不改提示词。**
|
||
- `WORK_LOG.md`。
|
||
|
||
## 一、三处小改动（用户 2026-10-03 同意）
|
||
|
||
1. **研究编号只许小写。** 研究编号会进 Docker 的镜像标签，标签只认小写。
|
||
- 在 config 里把 `studyId` 的格式限定成小写字母、数字和 `._-`，首字符是小写字母或数字，让大写写不进来。
|
||
- 不改 vocab 的通用 `Id`。
|
||
- 字段说明同步改。
|
||
2. **配置里的路径必须是绝对路径。** `task`、`promptDir` 写相对路径时，`checkConfig` 报错，报错写明字段路径。
|
||
- 原因：从别的目录接着跑一份研究时，相对路径会读到别处的任务目录，而任务目录没有哈希核对挡着。
|
||
- 不另加字段，也不在冻结时把相对路径转成绝对路径：以后 research.json 由配置对话生成，写绝对路径没有成本。
|
||
- `eval/` 里的配置改成绝对路径。
|
||
3. **检验第 2 问两个顺序都问、取平均。** "两个入口是不是同一条路"本来是对称的问题。上次同一对入口换个顺序问，概率从 0.58 变成 0.35，正好跨在阈值两边。
|
||
- 第 2 问和第 6 问的重合度，一律每对 A、B 和 B、A 各问一次，取两次概率的平均，大于 0.5 判"是"。两次的原始概率都存进 JSON。
|
||
- 只改 `eval/` 里的检验，不动 `src/jev/`。正式判重的同类问题留到以后"Jev 校准"再看，这次不碰。
|
||
|
||
## 二、重测第零轮
|
||
|
||
照任务书 12 第五部分的六问和通过条件，用新提示词真实跑 3 次。
|
||
|
||
**事先定好的规则（用户 2026-10-03 定，改不得）：**
|
||
- 这次只换了提示词，跑 3 次，结果不管好坏都照实收下。
|
||
- 不通过也不再调提示词，记作发现，交给用户。
|
||
- 你不改提示词、不改 Jev 问题（第一部分第 3 条除外）、不改阈值、不改想法清单。
|
||
|
||
**配置：** 照 `eval/round-zero/research.json`，三个新的研究编号（小写），路径改成绝对路径，其余不变。
|
||
|
||
**16-real-1 回放不用重跑**：回放交的是当年的内容，和提示词无关。重测的结果和上次的回放成绩放在同一张表里对照。
|
||
|
||
**这次多看两样：**
|
||
1. **有没有照抄例子。** 新提示词的例子来自另一道题（排任务到几台机器上的调度程序）。逐个入口看有没有搬进"机器""调度""任务排序"这类说法，或者照搬例子的句式。有的话列出来。
|
||
2. **入口落在哪类起点上。** 新提示词把起点分成三类：基线的一段代码、题目本身、做法的类别。每次运行闭门写的入口，逐个由你读原文判它属于哪一类，列成表。
|
||
- 这一项只用来看分布，不设通过线，也不用问 Jev。
|
||
- 拿不准的标"拿不准"。
|
||
|
||
## 三、质量通过与否之外，还要交的
|
||
|
||
上次的报告只给了表格，监督者要自己去读原文。这次在报告里直接贴出：每次运行闭门写的全部入口、讨论后最终的全部入口、分配结果的名称。
|
||
|
||
## 四、测试与规模
|
||
|
||
- `npm test` 加上：
|
||
- 研究编号带大写时 `checkConfig` 报错；
|
||
- 路径是相对路径时报错。
|
||
- 改动预期：config 不到 20 行；`eval/` 不到 40 行。
|
||
|
||
## 五、文档
|
||
|
||
- `docs/结构.md` 第八部分 config 一节：研究编号只许小写、路径必须绝对，各一句。
|
||
- `WORK_LOG.md`："已完成"补一条，写明 3 次运行的目录和结果。
|
||
|
||
不新建 md 文件。
|
||
|
||
## 六、验收与报告
|
||
|
||
做完后本地提交，然后在回复里交一份报告：
|
||
|
||
1. 提交号；修改的文件列表，分 `src/`、`tests/`、`eval/` 列。
|
||
2. `npm run check`、`npm test` 的完整输出。
|
||
3. 研究质量表：
|
||
- 行是新的 3 次运行、上次的 3 次运行、16-real-1 回放；
|
||
- 列是六问的结果和是否通过。
|
||
- 另附两样：K1–K5 各被几个入口覆盖；第 2 问每对入口的两个顺序的概率。
|
||
4. 第三部分要求的入口原文和分配结果。
|
||
5. 第二部分"多看两样"的结果：照抄例子的情况；起点类别分布表。
|
||
6. 你和这份任务书不一致的地方，以及为什么。
|
||
7. **规则不清楚的地方**：哪里让你犹豫、哪里你是靠猜的。没有就写"没有"。
|