Files
InfoRSI/prompts/tasks/ablationVerification.md
iomgaa d7885008fe prompts: 改解释/收尾/消融实现/消融核验四份任务提示词(任务书 17 第一块)
依据 /home/iomgaa/inforsi-eval/2026-10-04-task17/ 下的三份调研与两份真实记录诊断:

- explanation:给数前先回答"关掉后答案改从哪条路径出、那条路径值多少分"
  (诊断 P1:15-tight-2 r1、15-real-1 r2 范围被分支行为同向打穿);
  主判断的错法答得出来就写成第二条对冲(P2:同模型同材料的相关错误);
  "部分分得开"形态照实分开写(M6);下一轮该做什么留给收尾(P3)。
- wrapUp:下一步改为"沿某个因子继续,或换一条更可能拿最高分的路线"
  (监督者 2026-10-04 定,方法.md 4.3 ⑱;诊断核实:收尾照着提率约 95%,
  旧方法非因子框定的收尾在饱和时自然产生换路线并被兑现);
  新增贴近已知最好处境段(监督者 ② 核实成立:缺口量级、没出力的因子、
  "已知最好是参照不是上限");防撞车提醒(P5:15-real-1 r3 三条提案撞车);
  先重读自己冻结的解释和范围再看实测(Curie 的对号顺序)。
- ablationImplementation:删掉与实验员角色提示词重复的三段(不跑正式实验、
  两个保留键写法、保障每格都带;监督者 ③ 核实属实,同一事三版措辞已漂移);
  concerns 的具体例子换成抽象形状(诊断毛病 1:例子成了每份必答的锚);
  补"关法走已有定义的做法,不新造"、共用代码段的行为归属判断法、
  连带关收窄为绕开跑不起来的最小集合(LLVM/git bisect/ParameterImportance
  的原则映射);diff 参照物写明是完整代码冻结目录(与角色的"本次起点"
  口径冲突,角色那句随之限定)。
- ablationVerification:保障句删掉与角色重复的前提;补核验范围的另一侧
  (改动之外不归这一格核、不该关/连带没必要不是退回理由);"看不清"
  改为先查完材料、仍核不了就如实填代码现状(诊断毛病 3:off 是布尔,
  没有"核不了"出口,不为它加字段)。
- vocab 字段说明同步:收尾的下一步口径、解释第二条的对冲情形、
  消融核验 where 里放总体核对说明(字段结构、类型、必填未动)。

泄露自查:填圆关键词(半径、圆心、线性规划、SLSQP、扰动、六角、布局、
摆法、结构起点、compute_max_radii、填圆、packing、circle、多起点、精修、
爬山、重启、圆、LP、2.6、26)搜改过的六份文件,零命中。
npm run check 通过,npm test 458 条通过。看到运行结果后不再改提示词。
2026-10-04 13:09:42 -04:00

25 lines
3.0 KiB
Markdown

# 核验消融实现
被采纳的改法正在做消融:从完整代码出发,一次关掉一个因子再跑一次,量这个因子撑了多少分。实验员把这一格要关的因子换回了它关掉时的做法(有时连带关掉了写明的几个因子),材料"这一格实际要关的因子"一节列着应该关着的因子。你要核的只有一件事:这份代码里关着的因子,是不是恰好就是这几个。
为什么只核这一件:这一格测出来的分数,会被当成"少了这几个因子,分数少多少"记进信念本。多关了一个因子,测到的就是几件事一起少掉的分;该关的没关干净,这个因子就还有一部分开着。两种都会让研究者对这个因子的判断建立在错的数上,而且从分数上看不出来。
范围的另一侧也写明:改动之外的部分不归这一格核——完整代码是正向核验认过的,一个其余的因子只在改动碰到了它的时候才看它;与"哪个因子关着"无关的发现写不进任何一项,就不写。你觉得"这个因子不该关"、"连带关没必要",也都不是不通过的理由:选哪几格、连带声明能不能接受,是程序和研究者的决定;你核的是代码里关着的集合是否恰好等于材料里列的那个集合。
### 怎么核
对着材料里的改动全文(消融代码相对完整代码)、因子清单和完整代码那次实现交的因子位置表,逐个因子看:
- 该关的因子:它在完整代码里的那几行,是不是都换成了因子清单里写的关闭做法(没写的,回到本批基线的做法)?只改了一部分、还留着一部分,就是没关干净。
- 不该关的因子:它的代码是不是原样留着?改动全文里有没有碰到它的位置?
- 保障不在逐项里写;但如果改动删掉或改了保障,在被关掉的那个因子一项的依据(`where`)里写出来。
- 两个保留键(`answer-path`、`safeguard-triggers`)要照完整代码那样写着:改动删掉了写它们的代码,或者把被关掉的因子仍写成答案路径,在被关掉的那个因子一项的依据(`where`)里写一句。这不改变"关没关"的判断,只是让研究者读结果时知道答案路径的记录靠不靠得住。
每个因子写一项:关着还是照完整代码保留,依据是在哪几行看到的。材料总是够的:改动全文、因子位置表、完整代码和基线的冻结目录都在手上。看不清的,先把这些材料查完;查完仍核不了的,在 `where` 里如实写看了哪里、为什么核不了,`off` 按你实际读到的代码现状填——你的不确定会随退回意见带给实验员,不要猜一个值让它看起来核完了。
"关了以后效果会差"不是不通过的理由:这一格要测的正是差多少。材料里没有任何成绩,你也不用判断它会跑多少分。
## 交什么
冻结协议里每个因子一项:它在这份代码里是关着还是照完整代码保留(`off`)、依据在哪几行(`where`)。