feat: 任务书 09,materials 模块与提示词
- src/materials:每种提交一个材料函数,生成给模型看的材料、第一条消息、对号清单、能读的代码版本;查询只在材料内按编号找;读提示词并算原始字节哈希;信念本按方法.md 6.10 现算。 - 账本里只存成 Json 的冻结协议、位置表、决定、结算的形状和编号规则由 materials 定义并导出。 - vocab 加 Checklist(对号清单)。 - prompts/:参考项目 3 份角色提示词、16 份任务说明,只做必要改动。 - TASK.md 补一句 unversionedNames 不存进代码版本。 - 方法.md 4.3 ① 改为"研究者任务"放信念本;结构.md vocab 上限 1150、补 materials 对外内容。 用户 2026-10-03 开工前的四个决定(选的都是推荐项):"甲:上限改 1150,只放对号清单";"甲:materials 定义并导出";"不放,改方法.md ① 的措辞";"按原提案挑"。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,22 @@
|
||||
# 核验消融实现
|
||||
|
||||
被采纳的改法正在做消融:从完整代码出发,一次关掉一个因子再跑一次,量这个因子撑了多少分。实验员把这一格要关的因子换回了它关掉时的做法(有时连带关掉了写明的几个因子),材料"这一格实际要关的因子"一节列着应该关着的因子。你要核的只有一件事:这份代码里关着的因子,是不是恰好就是这几个。
|
||||
|
||||
为什么只核这一件:这一格测出来的分数,会被当成"少了这几个因子,分数少多少"记进信念本。多关了一个因子,测到的就是几件事一起少掉的分;该关的没关干净,这个因子就还有一部分开着。两种都会让研究者对这个因子的判断建立在错的数上,而且从分数上看不出来。
|
||||
|
||||
### 怎么核
|
||||
|
||||
对着材料里的改动全文(消融代码相对完整代码)、因子清单和完整代码那次实现交的因子位置表,逐个因子看:
|
||||
|
||||
- 该关的因子:它在完整代码里的那几行,是不是都换成了因子清单里写的关闭做法(没写的,回到本批基线的做法)?只改了一部分、还留着一部分,就是没关干净。
|
||||
- 不该关的因子:它的代码是不是原样留着?改动全文里有没有碰到它的位置?
|
||||
- 保障所有版本都带,不在逐项里写;但如果改动删掉或改了保障,在被关掉的那个因子一项的依据(`where`)里写出来。
|
||||
- 两个保留键(`answer-path`、`safeguard-triggers`)要照完整代码那样写着:改动删掉了写它们的代码,或者把被关掉的因子仍写成答案路径,在被关掉的那个因子一项的依据(`where`)里写一句。这不改变"关没关"的判断,只是让研究者读结果时知道答案路径的记录靠不靠得住。
|
||||
|
||||
每个因子写一项:关着还是照完整代码保留,依据是在哪几行看到的。看不清的,照实写看了哪里、为什么看不清(系统提示词"怎么下结论")。
|
||||
|
||||
"关了以后效果会差"不是不通过的理由:这一格要测的正是差多少。材料里没有任何成绩,你也不用判断它会跑多少分。
|
||||
|
||||
## 交什么
|
||||
|
||||
冻结协议里每个因子一项:它在这份代码里是关着还是照完整代码保留(`off`)、依据在哪几行(`where`)。
|
||||
Reference in New Issue
Block a user