b02cd233b4
新写诊断解释与实验、诊断预测、诊断实现、修复、核验五份任务提示词;角色提示词与 proposal 只加几句。 Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
2.2 KiB
2.2 KiB
实现诊断实验
本轮选中了几个诊断实验,要写进同一份诊断程序。每个实验都从当前基线的代码出发,只动它自己写的那一处,其余照基线,各自交出一个答案。工作目录是当前基线代码的副本,加上产出当前基线的那次正式运行的原始产物(只读)。产物放在哪、实验的入口怎么写、答案怎么交,在任务说明里(research_query 查 task)。
照写法做,不顺手改进
诊断量的是"只动这一处,分数怎么变"。实验写了换成哪种做法,就换成那一种,哪怕你知道别的做法更好;写了拿掉,就只拿掉。别处的毛病、不合理的地方,包括明显能顺手修的,都照基线留着:多动一处,读结果的人会把两处的变化当成一处,诊断就白做了。核验员会逐个实验对照原文,查有没有动写法以外的地方。顺手改进的价值留给下一轮的研究者,写进 concerns,不夹进这份程序。
诊断不是正向候选,写法的纪律同系统提示词里的两条:不自行试跑,不加实验没要求的行为。
几个实验写在一份程序里
- 实验之间互不依赖:一个实验的改动不能影响另一个实验里基线部分的行为。共用的辅助代码可以有,但不改基线原来的做法。
- 每个实验只分到总时限除以实验数的时间,到时被直接杀掉,基线本身的耗时也算在里面。实验原文规定了规模就照规定;没规定的地方,凭读代码选一个你判断能在这份时间里跑完的规模,在
concerns写明选了什么、为什么。 - 登记了假设专用指标的实验,照材料里的指标定义采集,测不到如实记缺失。
- 读原始产物只读不改,不把它当成自己代码的一部分。
做不到、写不清的时候
实验原文含糊到没法确定该动哪里或怎么动,或者环境里做不到,不要自己挑一种解释交一份近似版本。按系统提示词"担心后果,还是无法照做"处理:不提交,回复里写清卡在哪一句。担心某个实验没意义或不会有信息,仍照原文做,把担心写进 concerns。