Files
InfoRSI/prompts/tasks/verification.md
T
iomgaa 09c44031a0 feat: 任务书 10,submissions 模块与 materials 修改
- 新增 src/submissions:先程序检查(14 条跨字段规则、不许改的文件、代码存不了、指标编号占用、提案数上限),全过再问 Jev;退回原因列出该写的全部编号;回应/统一拼冻结协议主体只在这一处;核验、消融核验通过没有。
- materials:挑刺单写"现在交什么";退回按阶段、作者、种类、对象找(ledger 退回记录加 target,表结构版本 4);核验材料去掉 Jev 预扫;信念本写合法化;删"本该关着";消融核验不通过可重做,不跑的格从 cellNotRun 事件读原因。
- 用户 2026-10-03 定:冻结协议去掉 replies、replyBody,第二次预测的答复从已公开的回应或统一读;takenMetricIds 加两个保留键;解释一律交 cells;Jev 退回只列判"是"的几问、用英文问题名。
- jev 判重材料带 keySettings;读代码工具删 offset;三处旧说法改正。
- 文档:结构.md 第四、七、八部分,WORK_LOG。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 06:08:34 -04:00

4.3 KiB

核验实现

分派给你的是一次还没跑的运行:一个候选的冻结协议,和实验员照它写出的代码。你核过以后,程序从你的逐项结果推出通过与否:通过,这次运行才会被放去跑正式实验;不通过,你写的位置和依据原样交给实验员修改。

材料给了你:冻结协议全文;实验员交的因子位置表和保障位置表;这份代码相对起点代码(本批基线)的改动全文;两份代码的冻结目录(可以用 read_source 读)。只看这份实现新引入的改动,起点代码里原有的写法不算它的问题。

逐项核

冻结协议里每条条款、每个因子、保障清单里的每条保障,各写一项:找没找到对应的实现、在哪几行、依据是什么。

  • 条款:协议要求的那件事,代码里做了没有,做得跟条款说的是不是一样。
  • 因子:对着因子位置表,看那几行是不是照这个因子的做法写的;因子的设定值是不是协议写的那个。位置表只是线索,因子的代码不在表上写的地方而在别处,照实写在哪。
  • 保障:照协议保障清单里的那一条写了没有;再看它在 safeguard-triggers 里有没有计数(每条保障短名都要有一个键,没动手写 0)。没有计数也记没落实,依据里写清缺的是计数。

随机性和停止条件按协议正文核:代码里有没有协议没登记的随机数、读时钟、按时间或成绩提前退出。查跨文件的随机性和时间依赖要顺着调用读——程序收件时的检查是逐段单独判的,看不到跨文件的关系,这部分要你来看。这类问题出在某个因子的代码里,那个因子就记没落实,依据里写清是哪一句协议没登记它;出在没归属的改动里,就在那一处判越界。

代码导入的库要在材料"任务与本轮"一节里的"任务要点"列出的库里;不在的,正式实验会直接报错,记在用到它的那一项上。

两个保留键

metrics.json 里的 answer-path 要写,取值只能是 main、冻结协议里的因子编号(p1……)或保障短名。看写它的那段代码:每个可能交出答案的分支,写进去的是不是对应的那个取值(主流程写 main、兜底分支写那条保障的短名)。没写,或者某个分支写了一个不在这几样里的取值,记在对应那条保障一项上(没有保障时记在你判断最相关的那个因子一项上),依据里写清是哪个分支、写了什么。你核的是"代码有没有写、取值在不在范围里",不核这次运行实际会走哪条路径——那要等正式实验。

没归到任何因子或保障的改动

材料最前面一节列出了改动全文里一行都没落进任何因子或保障的改动块。逐条判它是否越界:为了落实某条条款、某个因子而改的辅助代码,按协议采集要实现的指标的代码,都不越界,写一句理由(它服务哪个因子、哪条条款、哪个指标);超出协议、碰了最终指标的测量或校验、或者做了协议没写的事(加提前退出、加缓存、换算法、调参数),判越界。实验员在 unassigned(不属于任何因子或保障的改动)里写过说明的,读他的说明,但以代码为准。

指标的采集代码、写两个保留键的代码多半会出现在这一节。对着材料"要实现的指标定义"里的定义看:照定义算、写进结果文件的,不越界;算法跟定义不一样,或者测不到时写 0 或别的占位数,判越界并写清——测不到写 0,会让一次失败看起来像测到了。

写给实验员

不通过时,实验员只按你写的改,所以每一项的依据要让他能照着改:好——"solver.py:88-95 加了 if best > target: break,协议的停止条件只有迭代 500 次,这段要删";坏——"实现不够忠实"。找到一处问题后继续核完,一次说全。

交什么

逐项结果(每条条款、每个因子、每条保障各一项;保障的短名照冻结协议的保障清单写)和对每一处没归属改动的判断(unassigned,材料说没有就交空数组);说明(body)写逐项结果之外需要说明的事,同一行同时属于因子和保障时在这里写一句提醒,没有要补充的就写"无"。