docs: 方法加诊断（每轮提案前在当前基线上做诊断实验），消融默认关；写任务书 18

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

WORK_LOG.md

@@ -84,12 +84,13 @@
 - 第 1 轮方向分析与提示词第二次改（2026-10-03）：监督者按路线（不按单个想法）读了 6 次运行，能走到最好的那类解法 6/6 次都有人想到，但常被写成备选或"做法类别"之一；18/18 人第一个入口从读基线半径函数出发、按代码工序分工；压低它的理由是"求确定、好归因、怕白跑"，不是技术理由。用户定两处改法，由监督者直接改提示词（ff5c8dd），再写任务书 15 让新会话重跑对照：①正向只管冲分、消融负责解释、估分照实；②先不看代码自己解题，再拆基线工序，两边对照。用户原话："正向实验，就是为了去追求最高的分……你这样实验你可以去冲。然后后面的反向实验有人给你兜底"；"先让他脱离代码……假设自己没有代码的情况之下……列出解法……在思考输出之中把这个解法列一下就好了……然后第二，他需要对现在的解法进行拆解……进行一个综合的分析"；"提示词你直接改，改后后还是写一个任务书让新会话执行"。flow 第 3 部分顺延为任务书 16。
 - flow 第 3 部分（2026-10-04）：⑨–⑫ 照方法实现，写完采纳停下；验收看五样研究质量（实现照协议没有、核验员判得对不对、押注和实测对比、分数和参考项目第 1 轮对比、程序账目），不设硬线；实验员、核验员这一段的提示词先诊断再改，改完提交后才跑、看到结果不再调。用户原话："我基本认同，唯一我觉得需要补充的就是 prom 需要修改……这次那几位的 prompt 也同样需要修改"。因为提示词要改，任务书 15 的三份研究恢复时会被提示词哈希核对挡下，改为从头新跑 3 份（监督者定，顺带重复一次任务书 15 的路线对照）。监督者另定：一批里的正式运行一个接一个跑、检验时不和别的研究同时跑（候选多半按秒数停，抢 CPU 会改分数）；轻量检查次数按每次调用计、不进账本；修复阶段按"第几次"编号。
 - flow 第 4 部分（2026-10-04，任务书 17）：先写任务书 17 交新会话执行，同时监督者离线做 Jev 比上限的检验。这一段的提示词（解释、收尾、消融实现、消融核验）同样先诊断再改，改完提交后才跑、看到结果不再调；研究者角色提示词不动。收尾的"下一步"由"在哪个因子上继续"改为"沿某个因子继续，或换一条更可能拿最高分的路线"（方法.md 4.3 ⑱）。验收从头真实跑 3 份完整研究到余额用完，不回放 16-real-1；3 份同时跑，一份研究内的正式运行仍一个接一个跑，用每次运行的 CPU 时间与墙钟时间之比核对没有互相抢。用户原话："我建议先写任务书 17（消融到收尾），然后让一个flow完成任务17，同时我们可以用这 6 个实测分数加上参考项目的账本，离线检验"、"我感觉改提示词真的很重要"、"我基本同意，唯一的问题是3份不能并行跑吗？"。
+- 诊断（2026-10-05，任务书 18）：信息与反向实验两个核心不变，改对准的东西。每轮提案之前，研究者写几种"为什么卡在这里"的诊断解释和诊断实验（在当前基线上只动一处：加强、换掉、拿掉、放宽），按自己的解释对每个实验押三个数；程序用信息价值减成本定做不做、做哪几个（方向收益直接用"做了比现在高多少"）；选中的实验打包成一次正式运行、扣 1 次；结果确认或否定各条解释，放进本轮提案材料。诊断实验的答案不采纳为基线（它是在已有答案上接着算的），方向要写成提案经正向拿分。消融默认关、保留开关，关掉时解释阶段也不做；B、D 就是"无诊断、开消融"的对照。不加"停滞时强制换路"之类的规则。监督者先提过"体检 + 停滞强制换路 + 统一比值不值得测"，用户否掉。用户原话："我们应保持反向实验和信息这两个核心点不变……需要打开思路，思考为什么人类研究者能够顺利完成，而我们套用时出现问题。我觉得你的方案仍然受限，例如强制换一条路径，这种做法显得奇怪"、"认可这个方向，也认可'每轮把几个诊断实验打包成一次正式运行，照样扣 1次，不开免费的口子'"、"同意默认关闭消融。反向实验这个核心由诊断承担"。"诊断结果只当信息、不直接采纳"由监督者解释理由后，用户没有异议。方法.md 直接改写，不写讨论过程（用户原话："我们写的不是讨论稿"）。
 
 ## 未完成
 
 - 用 Jev 代替研究者押注（用户提，2026-10-03 定这次先不做）：做成开关、可当论文消融。设想只换选批用的那份押注，研究者照旧押、照旧记战绩，两边可比；Jev 一次只给是非概率，三个数要靠问一串"会不会超过某分"反推。先离线检验：参考项目 8 个验收账本里的真实候选、研究者押注和实测分数，比谁排得准。任务书 15 的结果若显示"提案变激进了、但押注仍压低激进路线、选批不选"，就是做它的直接理由。任务书 15 后补（2026-10-04，用户提"让 Jev 只看题目和方案、两两比较谁的上限高，再和研究者押注加权"）：监督者判断先不进 flow。理由：c2 那次 Jev 的"能到最好"对三条完整路线给 0.61/0.69/0.53，并不把联合优化排第一；研究者是否押错要等实跑分数；加权的权重没有数据。做法：任务书 16 跑出实测后，连同参考项目 8 个账本，离线检验"只给题目和两条方案、两个顺序各问一次取平均"的上限比较，和研究者押注、实测三方对照；Jev 确实更准，再做成开关，形式倾向"每批留一个名额给 Jev 判上限最高的候选"，不做加权。用户回复"行，那先做任务书 16"。
 - B、D 两份完整研究的分析（2026-10-05，监督者派 4 个独立子 Agent，关键数字已核）：①D 没到最好：第 0 轮讨论把"圆心和半径一起交给求解器"判为"不值得占名额"（D 账本 seq 77，理由是黑盒搜索更适合分段线性的 LP 值），15 份冻结协议都没做它；第 1 轮定下"只挪圆心、半径用 LP 现算"的引擎后，后几轮只改起点库。监督者复跑：对 D 第 3 轮最好的解只做一次 0.04 秒的联合局部求解就从 2.6051 到 2.6191；从基线三环出发做一次也到 2.546，接近 D 第 1 轮 110 秒的成绩。B 第 1 轮就采纳了联合求解加多起点。②信息与消融在 B、D 里都没有改变分数走向：各轮三个候选的合并中位数只差 0.001–0.03，押注分不出好坏，选批近似随机；选格多数格净值为负被跳过（B 测 2/9、D 测 3/8），D 第 1 轮"大家一致"的那格事后看是一致地错了；测了的格，B 第 1 轮测到退化起点的假象（研究者自己读对），B 第 3 轮确认已饱和，D 第 3 轮的结论把第 4、5 轮引向扩起点库，两轮都没采纳。推动进步的是正向运行里登记的拆账指标和研究者读代码、读解；收尾原文接力这条渠道有效。同一份代码重跑的波动从没测过，D 第 3–5 轮 0.003 量级的差别可能在噪声里。③Jev 两两比较（31 对，3 对平手）：总体不比合并中位数准（上限一问 14/28，合并 q5 14/21）；只在看完结果后切出的"新项目第 1 轮、分差>0.01"7 对里全对（q5 3/7），是待复核的线索；"一次运行谁高"一问对调顺序一半以上会翻转。结果在 `/home/iomgaa/inforsi-eval/2026-10-05-jev-ceiling/`。暂不做 Jev 开关。只有 2 份完整研究，以上都不能当方法结论。
-- 文献精读（2026-10-05，用户提"信息与反向实验理论上说得通，问题可能在落地或少了 trick"）：6 个子 Agent 读了约 50 篇，原文在 `reference-paper/`（不进仓库）。监督者抽查过 AdaEvolve 表 4、FermiEval、Ng 第 44 章原文。要点：①研究者给的范围不能直接当先验：大模型口头区间严重过窄（FermiEval 名义 99% 只覆盖 65%；9 个新模型 95% 区间覆盖 9–44%），同厂商模型错得一样（两模型都错时 60% 选同一错答），现成模型判断"哪个研究想法更好"接近随机（Wen 2025，微调后才 77%）；文献做法是用历史结果做保形外扩、给不同研究者不同信息、程序直接平均。②只看一步、只看单格的信息价值天然会算出 0（信息价值不是边际递减），保证都要求噪声已知；对策是成组估价、保留随机探索、先测噪声。③消融在文献里是解释和发表的工具（Lipton、Fawcett、AI Scientist v2 都把它放最后、不回流）；人决定下一步靠采纳前的区分实验和"上限/瓶颈诊断"（Ng 第 44–45、53–57 章"优化验证测试"），D 缺的正是这一步。POPPER 是唯一让检验结果改变下一步并有部件消融的：去推翻当前主张的推论，用 e 值序贯停。④单线必锁：FunSearch 单岛 0/5；OpenEvolve 填圆卡 2.377 靠人工写"换根本不同的方法"才突破；AdaEvolve 填圆卡 2.5414，停滞时触发"元指导"注入联合连续优化后到 2.6095，去掉元指导 3 次平均 2.5213 对完整 2.6294。跨代传总结/教训的证据都弱。结论：方向（事前预测、用实验排除）站得住，落地时信息的原料没校准、反向实验对准了过去而不是当前瓶颈、缺多路线和停滞换路线、没测噪声。下一步和用户讨论怎么改，未定。
+- 文献精读（2026-10-05，用户提"信息与反向实验理论上说得通，问题可能在落地或少了 trick"）：6 个子 Agent 读了约 50 篇，原文在 `reference-paper/`（不进仓库）。监督者抽查过 AdaEvolve 表 4、FermiEval、Ng 第 44 章原文。要点：①文献里大模型口头区间严重过窄（FermiEval 名义 99% 只覆盖 65%；9 个新模型 95% 区间覆盖 9–44%），同厂商模型错得一样（两模型都错时 60% 选同一错答），现成模型判断"哪个研究想法更好"接近随机（Wen 2025，微调后才 77%）；文献做法是用历史结果做保形外扩、给不同研究者不同信息、程序直接平均。监督者拿 B、D 等 35 次正向运行核对（检测 1）：实测落在合并范围一成到九成之外 8/35（理想 20%），合并范围基本准、略偏保守；单个研究者的范围过窄（41/105 落在外面）。所以问题在分不出好坏（候选之间差得太少），不在范围不准，不需要打折放宽。同一份代码重跑的波动（检测 2）不测，用户原话："我百分之百保证这个不会有多大偏差。而且如果要去度量这个偏差，我们后面耗费的资源太大了"。②只看一步、只看单格的信息价值天然会算出 0（信息价值不是边际递减），保证都要求噪声已知；对策是成组估价、保留随机探索、先测噪声。③消融在文献里是解释和发表的工具（Lipton、Fawcett、AI Scientist v2 都把它放最后、不回流）；人决定下一步靠采纳前的区分实验和"上限/瓶颈诊断"（Ng 第 44–45、53–57 章"优化验证测试"），D 缺的正是这一步。POPPER 是唯一让检验结果改变下一步并有部件消融的：去推翻当前主张的推论，用 e 值序贯停。④单线必锁：FunSearch 单岛 0/5；OpenEvolve 填圆卡 2.377 靠人工写"换根本不同的方法"才突破；AdaEvolve 填圆卡 2.5414，停滞时触发"元指导"注入联合连续优化后到 2.6095，去掉元指导 3 次平均 2.5213 对完整 2.6294。跨代传总结/教训的证据都弱。结论：方向（事前预测、用实验排除）站得住，落地时信息和反向实验对准的东西不对：押分押的是几个相近候选的分数，消融拆的是过去改动的功劳；人类研究者押的是"卡在哪"的几种解释，反向实验是在当前程序上加强或拿掉一步看空间在哪。据此定了诊断（见"关键决定"2026-10-05 诊断一条、任务书 18）。
 - 第零轮之后再看（2026-10-03 定，等部分 2 的数据）：②第一条消息里没有题目本身，要模型自己查 TASK.md，是否由程序放在最前面；③三位研究者拿到完全一样的提示，是否给每人分一个不同的看题路径；④研究者角色提示词每个任务都发全文，是否按任务只发用得到的几节。现状（任务书 14）：角色提示词已瘦身到 4386 字，但仍每个任务整份发。
 - 信念本"按因子归并"（方法.md 6.10 第 1 条"出现在哪些候选里"）：现在是每个候选的每个因子一行，用"（延续 X）"连起来，没合成一行。等真实运行后再看要不要合。
 - GLM 内容审核误拦（2026-10-05，监督者查明）：full17-e 第 1 轮回应阶段 researcher-2 的同一份材料两次被模型服务以"可能包含不安全或敏感内容"（400）拒收，研究停下。逐段二分复现：拦截只在 glm-5.3、glm-5.3-flash 上发生，deepseek-v4-flash 放行同一份文字；触发点是研究者自己笔记里的一句"非真六角点阵、四处未定死"，把"四处"或"定死"换掉一个词就放行，单独发这一行也放行，像是 GLM 服务方的审核把附近的"六……四……死"连读成敏感日期。全部检验账本里只出现这 1 次。同一份材料重派必然再拦，重试无用。暂不为它改程序或改写模型文字；再出现时，再和用户定研究者是否换不带这种审核的模型。复现脚本在监督者会话的临时目录，结论以本条为准。
@@ -111,4 +112,4 @@
 
 ## 下一步
 
-任务书 17（flow 第 4 部分：消融到收尾）已完成，四部分合起来的验收做完（B、D 两份完整研究）。Jev 比上限的离线检验（"未完成"第一条，用户 2026-10-05 定等任务书 17 完成后做）。之后是 export、plugin。vocab 1154 行超上限 4 条（pi-lens 拆行），待用户定放宽还是精简说明。
+任务书 18（诊断）已写好，交新会话执行；执行前 materials、vocab 的新行数上限要用户定。之后是 export、plugin。vocab 1154 行超上限 4 条（pi-lens 拆行），待用户定放宽还是精简说明。