prompts: 去掉填圆具体做法、例子换成无关领域、重写第零轮三份提示词;新增任务书 13(重测第零轮)
改了:roles/researcher.md、roles/experimenter.md;tasks/entry、discussion、claim、proposal、critique、explanation、wrapUp、response;TASK.md 开头两行。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -12,7 +12,7 @@
|
||||
|
||||
做法要写到别人能照着实现出同一个东西。好:"步长初值取可行区域边长的 1/10,连续一轮没有改进就减半,小于 1e-6 时停止。"坏:"优化搜索过程。"要用的具体数值写成规则或公式,不写由它算出来的数值表——别人照规则实现,多写出来的数只会多一处可能抄错的地方。也别写到代码级:变量怎么排、梯度怎么推、函数怎么拆,是实验员的事,写到"两位实验员照着写,不会因为理解不同而写出两样东西"就够了。写到代码级既占你的输出(单条回复有长度上限,写满了这次就交不上),也替实验员做了他更擅长的事。一个因子里只写一种做法,不写"用 A 或 B":拿不准选哪个,就挑你认为更可能有效的那个;另一个也值得试,另提一条。
|
||||
|
||||
**关键设定**是一句话,列出决定这个因子效果的那几个设定值,例如"幅度 0.004、窗口 15 秒、扰动后不重跑 SLSQP";没有可调设定写"无"。它会跟着这个因子进信念本,结论写成"因子名(关键设定)"。为什么要单列:上一份研究里,"不重跑优化、幅度 0.01"的扰动爬山测出来没用,下一轮大家就推广成"扰动精修基本无收益",再没人回去试"重跑优化、幅度 0.03"那一种。设定写在名字旁边,一条结论覆盖了什么、没覆盖什么,一眼看得出。
|
||||
**关键设定**是一句话,列出决定这个因子效果的那几个设定值,例如"预热 500 步、峰值学习率 3e-4、余弦衰减到 0";没有可调设定写"无"。它会跟着这个因子进信念本,结论写成"因子名(关键设定)"。为什么要单列:上一份研究里,一个因子在一组偏弱的设定下测出来没用,下一轮大家就把它推广成"这一类做法基本无收益",再没人回去试设定合理的那一种。设定写在名字旁边,一条结论覆盖了什么、没覆盖什么,一眼看得出。
|
||||
|
||||
每个因子"为什么可能有用"写成一句小假设,假设要带方向:好——"从最近邻路线出发,局部搜索不用先花步数消掉大段折返,同样时限内路线会更短";坏——"改进初始解可能影响结果",后者涨了跌了都能说"我早料到"。顺手写一句它在什么情况下会没用,这正是消融要检验的。
|
||||
|
||||
@@ -24,7 +24,7 @@
|
||||
|
||||
只在评测本来不收的情形下动手、不改分的代码,写进保障清单(`safeguards`),每条一个短名(字母、数字和 `._-`,如 `final-shrink`;不能叫 `main`,也不能写成 `p1`、`p2` 这种因子编号的样子),说明它的那段文字写进正文(`body`)。短名是给实验员和程序对号用的:实验员的保障位置表、运行时记"答案出自哪条路径"、"每条保障动手了几次",都按它。正文写它做什么,属于拦、补、改哪一种(一段代码做两种就都写),以及系统提示词"因子与保障"一节里对应的那个问题和最后一问你是怎么想的——不必按固定格式,写清你凭什么认为它不改分。没有保障就交空数组。
|
||||
|
||||
这一节值得多花几分钟,因为算错的后果是整轮消融量的不是因子本身。真实的例子:一条保障写的是"不合法的起点不参加择优",可检查做在"减 1e-9"之前,被挡掉的结构起点只差 1e-16,评测本来会收——这是拦,而且拦了评测会收的东西,它是因子。另一条写的是"没有合格起点时改交一个结构解"——这是补,可补上去的东西自己就能拿 2.44 分,关掉一个因子以后每次都被用上,它也是因子。拿不准,就算因子。
|
||||
这一节值得多花几分钟,因为算错的后果是整轮消融量的不是因子本身。真实的例子:一条保障写的是"不合法的候选不参加择优",可检查做在修正之前,被挡掉的候选只带极小的违反,评测本来会收——这是拦,而且拦了评测会收的东西,它是因子。另一条写的是"没有合格候选时改交一个备用解"——这是补,可补上去的东西自己就能拿接近正常的分,关掉一个因子以后每次都被用上,它也是因子。拿不准,就算因子。
|
||||
|
||||
### 两种会让结论变成假的做法
|
||||
|
||||
@@ -36,8 +36,8 @@
|
||||
|
||||
"延续"只用于**同一个想法的新版本**:信念本里某个因子,换了设定,或者搬到了新基线上。这时在这个因子的"延续"里写那个因子的编号(材料"可以写进"延续"的因子"一节列出了能写的编号)。受它启发想出来的新想法不算延续,留空,可以在做法里写一句"受某因子启发"。
|
||||
|
||||
- 该写延续的:上一轮测过"停滞期侧移接受带 0.003",这一轮把接受带换成 0.010——同一个想法换了设定。有人当时留了空,跨轮就对不上了。
|
||||
- 不该写延续的:在"多起点 SLSQP"上想到"尺寸扰动重启""周期性半径置换起点""尾部高精度精修段"——它们是受启发的新想法。有人把三个都写成延续同一个因子,信念本就把三件不同的事记成了同一个因子的三个版本。
|
||||
- 该写延续的:上一轮测过"梯度裁剪(阈值 1.0)",这一轮把阈值换成 0.5——同一个想法换了设定。有人当时留了空,跨轮就对不上了。
|
||||
- 不该写延续的:在"梯度裁剪"上想到"按层分别裁剪""损失尖峰时跳过这一步""训练末段降低批大小"——它们是受启发的新想法。有人把三个都写成延续同一个因子,信念本就把三件不同的事记成了同一个因子的三个版本。
|
||||
|
||||
所以一份提案里最多一个因子延续同一个因子。拿不准就留空,在做法里写一句"可能跟某因子相近"。研究记录里已经跑过的改法再提时,写明这次跟上次差在哪、为什么这个差别可能改变结果。
|
||||
|
||||
@@ -51,7 +51,7 @@
|
||||
|
||||
### 你自己的三个数
|
||||
|
||||
你估的分数(照这条提案实现后,最终指标一成、一半、九成可能低于多少)填在作者自评里。它跟预测一样凭判断给,只问方向和量级;也不必为了在几种做法里挑一种,先把每种做法的分数各推一遍——哪种更好,正是正式实验要回答的,挑你认为更可能有效的那种,另一种值得试就另提一条或下一轮再提。真实见过的情形:一位研究者为了定作者自评,在脑子里把十几种摆法的分数挨个推了一遍,那一条回复超出了长度上限。它会封存到本轮结束,挑刺和预测的人都看不到;本轮跑过以后解封,进战绩里"作者自评 vs 大家合并"一栏,大家能看出作者是不是一贯更乐观。
|
||||
你估的分数(照这条提案实现后,最终指标一成、一半、九成可能低于多少)填在作者自评里。它跟预测一样凭判断给,只问方向和量级;也不必为了在几种做法里挑一种,先把每种做法的分数各推一遍——哪种更好,正是正式实验要回答的,挑你认为更可能有效的那种,另一种值得试就另提一条或下一轮再提。真实见过的情形:一位研究者为了定作者自评,在脑子里把十几种方案的分数挨个推了一遍,那一条回复超出了长度上限。它会封存到本轮结束,挑刺和预测的人都看不到;本轮跑过以后解封,进战绩里"作者自评 vs 大家合并"一栏,大家能看出作者是不是一贯更乐观。
|
||||
|
||||
### 交几条
|
||||
|
||||
|
||||
Reference in New Issue
Block a user