prompts: 去掉填圆具体做法、例子换成无关领域、重写第零轮三份提示词;新增任务书 13(重测第零轮)

改了:roles/researcher.md、roles/experimenter.md;tasks/entry、discussion、claim、proposal、critique、explanation、wrapUp、response;TASK.md 开头两行。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-03 11:31:54 -04:00
parent 75d7cffd27
commit b516f8a612
13 changed files with 154 additions and 50 deletions
+4 -8
View File
@@ -1,13 +1,9 @@
# 第零轮:认领入口
入口已经定了最后一版,讨论也结束了(材料"本任务要处理的东西"里有全部人的最终入口清单和全部讨论)。现在请你按想走的先后,把入口编号排成一串志愿。可以排别人写的入口;讨论里有人说某条路没人站、而你愿意走,就把它排前面。讨论原文里写的是当时的编号:有人在讨论里整份换过入口,他的旧编号已经作废(材料末尾"入口编号对照"里标着),按讨论想排的入口要在对照里找到它在最后一版里的编号;作者换掉了它,它就不能再排。
入口已经定了最后一版,讨论也结束了(材料"本任务要处理的东西"里有全部人的最终入口清单和全部讨论)。现在请你按想走的先后,把入口编号排成一串志愿。可以排别人写的入口:讨论里有人说某条路没人站、而你愿意走,就把它排前面。
分配由程序按志愿轮做:先看每个人的第一志愿,只有一人选的入口就给他;几个人撞在同一个入口上,入口的作者在其中就给作者,否则给研究者编号小的;没分到的人再看第二志愿,依此类推;志愿用完还没分到的,按编号从剩下的入口里拿。每人最后分到一个入口。
讨论原文里写的是当时的编号。有人在讨论里整份换过入口,他的旧编号已经作废,材料末尾"入口编号对照"里标着;志愿只能写最后一版里的编号。
所以志愿排的是你**真想走**的先后,不用为了避开撞车去揣测别人会怎么排:撞了,程序会按上面的规则分开;你为了避让把真想走的排到后面,只会让你从一条你不看好的路出发。
分配由程序按志愿一轮一轮做:先看每个人的第一志愿,几个人撞在同一个入口上时,入口的作者在其中就给作者,否则给研究者编号小的;没分到的人再看第二志愿,依此类推;志愿用完还没分到的,按编号从剩下的入口里拿。每人最后分到一个入口。
分到的入口放在你第 1 轮材料"你自己的"一节最前面,提示词会说"从这里开始看"。它只规定起点:第 1 轮的提案不必只围着它转,第 2 轮起走不走这条路由你自己定。
## 交什么
一串志愿:入口编号,按你想走的先后排,至少排到下面列出的个数,不重复。
分到的入口放在你第 1 轮材料"你自己的"一节最前面。它只规定起点:第 1 轮的提案不必只围着它转。
+4 -4
View File
@@ -19,9 +19,9 @@
好的意见让作者能动手改,说清缺什么、在哪、不改会怎样:
- 坏:"这个提案不够严谨。"好:"协议的'什么时候停'只写了'收敛为止',没写判据和最大迭代数,实验员只能自己定,两个人会实现出不同的停止点,结果差异分不清来自改法还是停止点。"
- 坏:"p2 好像太大了。"好:"p2 同时改了起点模板和起点之后的随机扰动,两件事单独放到基线上都说得通;合成一个因子,消融时只能一起关,分不出哪一件在出力。建议拆成两个因子;因子数已到上限的话,把其中一件留到下一轮再提。"
- 坏:"保障可能有影响。"好:"保障 `legal-gate` 写的是'不合法的起点不参加择优',但检查做在'减 1e-9'之前,结构起点的线性规划解带 1e-16 级的违反,会全部被挡掉,而评测(容差 0、先合法化再判)本来会收它们。这是拦,而且拦了评测会收的东西,应当算一个因子、写明关掉时换回什么。"
- 坏:"兜底解有点奇怪。"好:"保障 `fallback-structured` 在没有合格起点时改交一个结构解,这是补,可补上去的是一个能拿分的新答案,不是基线做法或报错。关掉 p3 以后只剩一个起点、又被门槛挡掉,这个兜底每次都会被用上——那一格量到的是兜底解,不是关掉 p3 的效果。应当算因子。"
- 坏:"p2 好像太大了。"好:"p2 同时改了初始化方式和训练中途的学习率调度,两件事单独放到基线上都说得通;合成一个因子,消融时只能一起关,分不出哪一件在出力。建议拆成两个因子;因子数已到上限的话,把其中一件留到下一轮再提。"
- 坏:"保障可能有影响。"好:"保障 `legal-gate` 写的是'不合法的候选不参加择优',但检查做在修正之前,修正前只带极小违反的那一类候选会全部被挡掉,而评测(先修到合法再判)本来会收它们。这是拦,而且拦了评测会收的东西,应当算一个因子、写明关掉时换回什么。"
- 坏:"兜底解有点奇怪。"好:"保障 `fallback-backup` 在没有合格候选时改交一个备用解,这是补,可补上去的是一个能拿分的新答案,不是基线做法或报错。关掉 p3 以后只剩一个候选、又被门槛挡掉,这个兜底每次都会被用上——那一格量到的是备用解,不是关掉 p3 的效果。应当算因子。"
分轻重时,对每条意见想一想:作者不处理的话,结果会往哪边偏,会不会让这一轮的结论作废。会作废的,写清楚为什么;只是让结果不够干净的,一句带过。不用给每条标轻重。
@@ -39,7 +39,7 @@
### 推测要标出来
你没对照代码、也没有已测运行可以核实的判断,写成"(推测)",并说依据是什么。例如"σ=0.03 大概率改不动行数级的几何(推测:只凭扰动幅度和圆间距的量级比较,没有运行可查)"。这不是让你少写推测——推测常常正是最有用的意见——而是让后面读的人分得清哪句是查过的、哪句是猜的。上一份研究里,一条没标的推测被作者"同意"以后,两位预测的人直接拿它当依据,三个人的数一起偏到了同一边。
你没对照代码、也没有已测运行可以核实的判断,写成"(推测)",并说依据是什么。例如"学习率降到 1e-4 大概率来不及在预算内收敛(推测:只凭步长和损失下降速度的量级比较,没有运行可查)"。这不是让你少写推测——推测常常正是最有用的意见——而是让后面读的人分得清哪句是查过的、哪句是猜的。上一份研究里,一条没标的推测被作者"同意"以后,两位预测的人直接拿它当依据,三个人的数一起偏到了同一边。
## 交什么
+6 -7
View File
@@ -1,19 +1,18 @@
# 第零轮:讨论入口分工
全部人的入口都摆出来了(材料"本任务要处理的东西"里,标明作者;之前已经有过讨论的,讨论全文也在那里)。这一次讨论的目标是**分工,不是共识**:大家最后各走一个入口,所以要弄清的是哪几条路其实是同一条、哪条路没人站、谁更适合走哪条。不需要大家同意哪个入口更好——入口好不好,由第 1 轮以后的实测说话;现在争出一个"最好的入口",反而会让大家都挤到同一条路上。
全部人的入口都摆出来了(材料"本任务要处理的东西"里,标明作者;之前已经有过讨论的,讨论全文也在那里)。这一次讨论的目标是**分工,不是共识**:大家最后各走一个入口,所以要弄清的是哪几条路其实是同一条、哪条路没人站、谁更适合走哪条。不需要大家同意哪个入口最好——现在争出一个"最好的入口",大家反而会都挤到同一条路上。
可以顺着这几个问题想,不必按顺序写,也不必每个都答:
- 哪些入口其实是同一条路?两个入口最后会读同一段代码、问同一个问题,就建议合并,或者其中一位换一个。
- 哪条路没人站,但值得有人走?比如大家都在想怎么改解,没人去看评测到底收下什么。
- 把全部入口按"顺着它走下去,最后会做成哪一类改动"归一归类:哪几类有好几个人站,有没有一整类做法没人站?有没有哪个设定,所有入口都默认它不动?
- 哪条路如果走对了收益最大?说出你的判断和依据;它不决定谁走哪条,但能帮大家看清哪条路空着最可惜。
- 你自己更想走哪条,为什么——你在那条路上能看到什么别人看不到的东西?
别人的入口可以评,说清你觉得它和哪个入口重叠、或者为什么它看不到它想看的东西;但不用替别人改写入口,也不用说服谁放弃。你的看法和别人不同,照实写。
别人的入口可以评,说清你觉得它和哪个入口重叠,或者为什么它看不到它想看的东西;但不用替别人改写入口,也不用说服谁放弃。你的看法和别人不同,照实写。
### 换掉自己的入口
读完别人的,你可能发现自己的某个入口跟别人的重了,或者想到了一条没人站的路。这时可以整份交一份新的入口清单(两到三个,写法跟闭门写时一样:入口是起点,不是结论,不写"应该改成什么""能到多少分",自己推出来的预期提升也不写——那是还没测的猜想,写进入口就成了别人的起点假设)。整份替换,不是只改一个;只按你最后一版进认领。新清单的编号由程序按顺序给,旧编号作废;之前讨论里提到你旧编号的人,认领时会在"入口编号对照"里看到它已作废。不换就不交入口清单,只交讨论正文。
默认不换。读完别人的,如果发现自己的某个入口跟别人的重了,或者看到一条没人站、而你更适合走的路,可以整份交一份新的入口清单(两到三个,写法跟闭门写时一样)。换之前问一句:换过去以后,那条路是不是变成两个人站,而你原来那条就空了?
## 交什么
一段讨论正文(`body`);可选:整份替换你自己的入口清单(`entries`)。讨论原样给其他人读,认领时大家会读到全部讨论。
整份替换,不是只改一个;只按你最后一版进认领,旧编号作废,新编号由程序给。不换就只交讨论正文。
+28 -13
View File
@@ -1,25 +1,40 @@
# 第零轮:闭门写入口
研究还没有正式开始。在第 1 轮提案之前,每位研究者先各自写下两三个"入口":你觉得这道题值得从哪里开始看。你手上只有任务说明、基线代码和基线分数;你看不到别人写的入口,别人也看不到你的。收齐以后大家才一起读到全部入口,再讨论怎么分工,最后各自认领一个,作为第 1 轮的起点。
研究还没有正式开始。在第 1 轮提案之前,每位研究者先各自写下两三个"入口":这道题值得从哪里开始看。你手上有任务说明、基线代码和基线分数;你看不到别人写的入口,别人也看不到你的。收齐以后大家一起读全部入口,讨论怎么分工,最后各自认领一个,作为第 1 轮的起点。
为什么要先闭门写:几位研究者是同一个模型、读同一份材料,如果一上来就一起想,几个人会想到同一处去,第 1 轮的提案就像同一个人写了三遍。先各写各的,再摆到一起,才看得出哪些路有人站、哪些路没人走。所以这一步不用猜别人会写什么,也不用为了"跟别人不同"去写一个你自己并不看好的方向——那样的入口没人真想走,分到手里也只会走成一条凑数的路。写你自己真觉得值得看的地方。
先闭门写,是因为几位研究者是同一个模型、读同一份材料:一上来就一起想,几个人会想到同一处去。
### 一个入口是什么
### 先看题,再看基线
入口是**起点,不是结论**。它说的是"从哪里开始看":先读哪段代码、先问哪个问题、先质疑哪个设定。它不说"应该改成什么""能到多少分"——那是看完以后才知道的事,写进入口,就把还没看的东西提前定死了,后面的人只会照着去证实它。
先读任务说明全文(`research_query` 查编号 `task`)里的题目:要最大化或最小化什么,你能决定哪些量,受哪些约束,评测怎么判分。然后再读基线代码。基线只是这道题的一种做法,不是题目本身:它把题目拆成了哪几步、每一步怎么做,都只是它自己的选择。
- 好:"先读 compute_max_radii:半径是逐对按比例缩出来的,先问这种缩法离'给定圆心下的最大半径和'差多少。"
- 坏:"把半径算法换成线性规划,能到 2.6。"——这是一条提案,不是入口;而且它替还没开始的研究下了结论。
- 坏:"优化算法。"——读的人不知道该从哪一行开始看。
### 入口是什么
每个入口写三样:一句话的名称,离开这份清单也能读懂;从哪里开始看;为什么值得有人走——这条路可能找到什么,别的入口为什么看不到它。
入口是**起点,不是结论**。它说的是"从哪里开始看",起点可以落在三类地方:
### 写几个
- **基线的一段代码**:先读哪一段,先问它什么问题。
- **题目本身**:目标、能决定的量、约束之间是什么关系;有没有哪个设定是题目并没有要求、只是被默认定死了的。
- **做法的类别**:这一类问题通常有哪几类做法,基线属于哪一类,别的类别会从哪里入手。
写两到三个,彼此尽量不重叠:两个入口如果最后会读同一段代码、问同一个问题,它们其实是一条路。想不到第三个就交两个,不凑。
入口不写"应该改成什么""能到多少分"——那是看完以后才知道的事,写进入口,就替还没开始的研究下了结论。
有一件事值得知道:读基线一眼就能看到的那一两处毛病,几位研究者几乎一定都会写——同一份材料、同一个模型,显眼的路不会没人站。它值得写,但不必占满你的清单。真正稀缺的,是你读下来觉得值得看、却不那么显眼的地方:一个大家默认不动的设定、一个没人问过的问题、一个要读得更深才看得到的现象。如果你有这样的一处,至少给它一个入口;没有,就照实交你看到的。读基线代码时用 `read_source`;评测会收下什么样的答案写在任务说明全文里,值得先看一眼,它决定了哪些"改法"其实是在改评测。
下面的例子都来自另一道题(把一批任务排到几台机器上、让全部做完的时间最短的调度程序),只示范入口的写法,内容和你的题目无关,不要照搬:
## 交什么
- 从一段代码起步:"先读挑下一个任务的那段:它每次只看眼前最空的机器,先问任务长短差别很大时,这种一步一步的排法会把哪类任务排坏。"
- 从题目起步:"先问题目里的约束哪些是硬的、哪些只是程序自己加的:每台机器必须按到达顺序处理,是题目要求的,还是程序写成了这样。"
- 从做法类别起步:"先问这类排程问题通常有哪几类做法——按规则一步步派、整体建模去求、排完再反复交换改进——现在的程序属于哪一类,另几类会从哪里下手。"
- 坏:"把排法改成先排长任务,能缩短 20%。"——这是一条提案,而且替还没开始的研究下了结论。
- 坏:"优化调度。"——太空,读的人不知道要先弄清什么问题。
两到三个入口,每个写名称(`name`),正文(`body`)写从哪里开始看、为什么值得有人走。编号由程序按顺序给。下一步大家会读到全部人的入口(标明作者),讨论分工。
### 怎么想出入口
先在思考里列出六到八个可能的起点,只写名字就够,上面三类都想一想。然后看一眼:它们是不是都落在同一类上?最常见的情形是全都落在基线代码里那几处显眼的毛病上。同一个模型读同一份基线,最先看到的总是那几处,几位研究者几乎一定都会写;它们值得有人站,但不必占满你的清单。都落在同一类时,换一类再想一两个。
最后从里面挑两到三个你自己真觉得值得走的交上来。不用为了跟别人不同去写一个你并不看好的方向:没人真想走的入口,分到手里只会走成一条凑数的路。
### 每个入口写什么
- 名称:离开这份清单单独看也读得懂。
- 正文:从哪里开始看;为什么值得有人走——这条路可能找到什么,它和你另外几个入口有什么不同。
两个入口如果最后会读同一段代码、问同一个问题,它们其实是一条路,只留一个。想不到第三个就交两个,不凑。下一步大家会读到全部人的入口(标明作者),讨论分工。
+1 -1
View File
@@ -20,7 +20,7 @@
交一条解释就够。只在你真有第二个、不同的机制判断时,才交第二条:同一人的几条在合并时平分你的分量,一条你自己都没多大信心的"对照"解释,会分走你主解释的一半。几条解释不必互相排斥,范围也可以重叠。和别人的解释不一样很正常,照你自己的理解写,不必向大家看齐。
推广一条结论时,说清它覆盖了哪些设定、没覆盖哪些。"不重跑优化、幅度 0.01 的扰动爬山没用"不等于"扰动精修没用":后者会让下一轮没人再去试"重跑优化、幅度 0.03"。因子的关键设定写在因子清单里,引用时带上它。
推广一条结论时,说清它覆盖了哪些设定、没覆盖哪些。"预热 500 步没用"不等于"预热没用":后者会让下一轮没人再去试预热 2000 步。因子的关键设定写在因子清单里,引用时带上它。
先想清楚哪些运行能当证据:没跑成的、成绩判为不合法的、测不到的都不能。已经测到的分数可以直接引用。提到某次运行时带上运行编号,读的人才能核对。研究记录里前几轮的消融结果和信念本"按因子"一栏值得看:类似的因子以前撑了多少、哪些解释被确认过。
+5 -5
View File
@@ -12,7 +12,7 @@
做法要写到别人能照着实现出同一个东西。好:"步长初值取可行区域边长的 1/10,连续一轮没有改进就减半,小于 1e-6 时停止。"坏:"优化搜索过程。"要用的具体数值写成规则或公式,不写由它算出来的数值表——别人照规则实现,多写出来的数只会多一处可能抄错的地方。也别写到代码级:变量怎么排、梯度怎么推、函数怎么拆,是实验员的事,写到"两位实验员照着写,不会因为理解不同而写出两样东西"就够了。写到代码级既占你的输出(单条回复有长度上限,写满了这次就交不上),也替实验员做了他更擅长的事。一个因子里只写一种做法,不写"用 A 或 B":拿不准选哪个,就挑你认为更可能有效的那个;另一个也值得试,另提一条。
**关键设定**是一句话,列出决定这个因子效果的那几个设定值,例如"幅度 0.004、窗口 15 秒、扰动后不重跑 SLSQP";没有可调设定写"无"。它会跟着这个因子进信念本,结论写成"因子名(关键设定)"。为什么要单列:上一份研究里,"不重跑优化、幅度 0.01"的扰动爬山测出来没用,下一轮大家就推广成"扰动精修基本无收益",再没人回去试"重跑优化、幅度 0.03"那一种。设定写在名字旁边,一条结论覆盖了什么、没覆盖什么,一眼看得出。
**关键设定**是一句话,列出决定这个因子效果的那几个设定值,例如"预热 500 步、峰值学习率 3e-4、余弦衰减到 0";没有可调设定写"无"。它会跟着这个因子进信念本,结论写成"因子名(关键设定)"。为什么要单列:上一份研究里,一个因子在一组偏弱的设定下测出来没用,下一轮大家就把它推广成"这一类做法基本无收益",再没人回去试设定合理的那一种。设定写在名字旁边,一条结论覆盖了什么、没覆盖什么,一眼看得出。
每个因子"为什么可能有用"写成一句小假设,假设要带方向:好——"从最近邻路线出发,局部搜索不用先花步数消掉大段折返,同样时限内路线会更短";坏——"改进初始解可能影响结果",后者涨了跌了都能说"我早料到"。顺手写一句它在什么情况下会没用,这正是消融要检验的。
@@ -24,7 +24,7 @@
只在评测本来不收的情形下动手、不改分的代码,写进保障清单(`safeguards`),每条一个短名(字母、数字和 `._-`,如 `final-shrink`;不能叫 `main`,也不能写成 `p1`、`p2` 这种因子编号的样子),说明它的那段文字写进正文(`body`)。短名是给实验员和程序对号用的:实验员的保障位置表、运行时记"答案出自哪条路径"、"每条保障动手了几次",都按它。正文写它做什么,属于拦、补、改哪一种(一段代码做两种就都写),以及系统提示词"因子与保障"一节里对应的那个问题和最后一问你是怎么想的——不必按固定格式,写清你凭什么认为它不改分。没有保障就交空数组。
这一节值得多花几分钟,因为算错的后果是整轮消融量的不是因子本身。真实的例子:一条保障写的是"不合法的起点不参加择优",可检查做在"减 1e-9"之前,被挡掉的结构起点只差 1e-16,评测本来会收——这是拦,而且拦了评测会收的东西,它是因子。另一条写的是"没有合格起点时改交一个结构解"——这是补,可补上去的东西自己就能拿 2.44 分,关掉一个因子以后每次都被用上,它也是因子。拿不准,就算因子。
这一节值得多花几分钟,因为算错的后果是整轮消融量的不是因子本身。真实的例子:一条保障写的是"不合法的候选不参加择优",可检查做在修正之前,被挡掉的候选只带极小的违反,评测本来会收——这是拦,而且拦了评测会收的东西,它是因子。另一条写的是"没有合格候选时改交一个备用解"——这是补,可补上去的东西自己就能拿接近正常的分,关掉一个因子以后每次都被用上,它也是因子。拿不准,就算因子。
### 两种会让结论变成假的做法
@@ -36,8 +36,8 @@
"延续"只用于**同一个想法的新版本**:信念本里某个因子,换了设定,或者搬到了新基线上。这时在这个因子的"延续"里写那个因子的编号(材料"可以写进"延续"的因子"一节列出了能写的编号)。受它启发想出来的新想法不算延续,留空,可以在做法里写一句"受某因子启发"。
- 该写延续的:上一轮测过"停滞期侧移接受带 0.003",这一轮把接受带换成 0.010——同一个想法换了设定。有人当时留了空,跨轮就对不上了。
- 不该写延续的:在"多起点 SLSQP"上想到"尺寸扰动重启""周期性半径置换起点""尾部高精度精修段"——它们是受启发的新想法。有人把三个都写成延续同一个因子,信念本就把三件不同的事记成了同一个因子的三个版本。
- 该写延续的:上一轮测过"梯度裁剪(阈值 1.0)",这一轮把阈值换成 0.5——同一个想法换了设定。有人当时留了空,跨轮就对不上了。
- 不该写延续的:在"梯度裁剪"上想到"按层分别裁剪""损失尖峰时跳过这一步""训练末段降低批大小"——它们是受启发的新想法。有人把三个都写成延续同一个因子,信念本就把三件不同的事记成了同一个因子的三个版本。
所以一份提案里最多一个因子延续同一个因子。拿不准就留空,在做法里写一句"可能跟某因子相近"。研究记录里已经跑过的改法再提时,写明这次跟上次差在哪、为什么这个差别可能改变结果。
@@ -51,7 +51,7 @@
### 你自己的三个数
你估的分数(照这条提案实现后,最终指标一成、一半、九成可能低于多少)填在作者自评里。它跟预测一样凭判断给,只问方向和量级;也不必为了在几种做法里挑一种,先把每种做法的分数各推一遍——哪种更好,正是正式实验要回答的,挑你认为更可能有效的那种,另一种值得试就另提一条或下一轮再提。真实见过的情形:一位研究者为了定作者自评,在脑子里把十几种摆法的分数挨个推了一遍,那一条回复超出了长度上限。它会封存到本轮结束,挑刺和预测的人都看不到;本轮跑过以后解封,进战绩里"作者自评 vs 大家合并"一栏,大家能看出作者是不是一贯更乐观。
你估的分数(照这条提案实现后,最终指标一成、一半、九成可能低于多少)填在作者自评里。它跟预测一样凭判断给,只问方向和量级;也不必为了在几种做法里挑一种,先把每种做法的分数各推一遍——哪种更好,正是正式实验要回答的,挑你认为更可能有效的那种,另一种值得试就另提一条或下一轮再提。真实见过的情形:一位研究者为了定作者自评,在脑子里把十几种方案的分数挨个推了一遍,那一条回复超出了长度上限。它会封存到本轮结束,挑刺和预测的人都看不到;本轮跑过以后解封,进战绩里"作者自评 vs 大家合并"一栏,大家能看出作者是不是一贯更乐观。
### 交几条
+1 -1
View File
@@ -11,7 +11,7 @@
- 部分采纳的,说清采纳了哪一半、另一半为什么不改。
- 意见指出"停止条件不具体",就在协议和条款里写死判据和上限,不要只在答复里说"会注意"。
- 意见说某个因子其实是两件事,你同意就拆成两个因子;拆完超过因子数上限,就把其中一件删掉、留到下一轮再提,不要为了塞进上限又捆回去。不同意,说出它为什么离了另一半就说不通。
- 意见说某条保障其实会改分(按系统提示词"因子与保障"一节的拦、补、改去问出来的),先自己把那几个问题再答一遍,读路径读到代码里。同意就把它从保障清单挪进因子清单(写明关掉时换回什么),或者改成真正不改分的写法——修到刚好合法、退回基线、或者报错;不同意,说出你凭什么认为评测本来不收它挡掉的东西、或者它补上去的只是基线做法。上一份研究里,作者以"修复只在罕见情形触发"为由留下了一道零容差门槛,结果它挡掉了全部结构起点。
- 意见说某条保障其实会改分(按系统提示词"因子与保障"一节的拦、补、改去问出来的),先自己把那几个问题再答一遍,读路径读到代码里。同意就把它从保障清单挪进因子清单(写明关掉时换回什么),或者改成真正不改分的写法——修到刚好合法、退回基线、或者报错;不同意,说出你凭什么认为评测本来不收它挡掉的东西、或者它补上去的只是基线做法。上一份研究里,作者以"修复只在罕见情形触发"为由留下了一道零容差门槛,结果它挡掉了一整类评测本来会收的候选。
- 意见说某个算出来的数不对,不用验算谁对:把这个数换成由代码按规则算出,答复"采纳:改为由规则……算出"。意见担心运行可能不合法,也不用推算误差:要么加一条保障——只把答案修到刚好合法、或直接报错,不另交一个新答案——要么在协议"什么运行不算数"里写清。
挑刺里标着"(推测)"的判断,你同意也好、不同意也好,它仍是推测:答复里不要把它写成已核实的事实。你核实过了(读了代码、查了运行),就写清核实的是什么。
+1 -1
View File
@@ -19,7 +19,7 @@
### 怎么写
结论写成"因子名(关键设定)……",说清它覆盖了哪些设定、没覆盖哪些:例如"圆心扰动爬山(只用线性规划算分、幅度 0.01)撑 −2%",而不是"扰动没用"。下一轮的人读到前一种,还知道换设定值得一试;读到后一种,这条路就被关上了。
结论写成"因子名(关键设定)……",说清它覆盖了哪些设定、没覆盖哪些:例如"学习率预热(预热 500 步)撑 −2%",而不是"预热没用"。下一轮的人读到前一种,还知道换设定值得一试;读到后一种,这条路就被关上了。
把"改法有效"和"机制解释正确"当成两件事分开想:分数变好了只说明改法有效,不说明提案人给的原因是对的;原因被确认,要靠消融那一格的实测落在解释的范围里。不拿生成某个解释的那次运行,当作这个解释被支持的证据。提到结论时带上依据的运行编号或记录编号,别人才能核对。