From 7a78dcdebad8809caed885ab60a308119306d7ea Mon Sep 17 00:00:00 2001 From: iomgaa Date: Mon, 5 Oct 2026 08:38:20 -0400 Subject: [PATCH] =?UTF-8?q?docs:=20WORK=5FLOG=20=E8=AE=B0=E4=BF=A1?= =?UTF-8?q?=E6=81=AF=E4=B8=8E=E5=8F=8D=E5=90=91=E5=AE=9E=E9=AA=8C=E7=9A=84?= =?UTF-8?q?=E6=96=87=E7=8C=AE=E7=B2=BE=E8=AF=BB=E7=BB=93=E8=AE=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- WORK_LOG.md | 1 + 1 file changed, 1 insertion(+) diff --git a/WORK_LOG.md b/WORK_LOG.md index b8e119f..a73cbdb 100644 --- a/WORK_LOG.md +++ b/WORK_LOG.md @@ -89,6 +89,7 @@ - 用 Jev 代替研究者押注（用户提，2026-10-03 定这次先不做）：做成开关、可当论文消融。设想只换选批用的那份押注，研究者照旧押、照旧记战绩，两边可比；Jev 一次只给是非概率，三个数要靠问一串"会不会超过某分"反推。先离线检验：参考项目 8 个验收账本里的真实候选、研究者押注和实测分数，比谁排得准。任务书 15 的结果若显示"提案变激进了、但押注仍压低激进路线、选批不选"，就是做它的直接理由。任务书 15 后补（2026-10-04，用户提"让 Jev 只看题目和方案、两两比较谁的上限高，再和研究者押注加权"）：监督者判断先不进 flow。理由：c2 那次 Jev 的"能到最好"对三条完整路线给 0.61/0.69/0.53，并不把联合优化排第一；研究者是否押错要等实跑分数；加权的权重没有数据。做法：任务书 16 跑出实测后，连同参考项目 8 个账本，离线检验"只给题目和两条方案、两个顺序各问一次取平均"的上限比较，和研究者押注、实测三方对照；Jev 确实更准，再做成开关，形式倾向"每批留一个名额给 Jev 判上限最高的候选"，不做加权。用户回复"行，那先做任务书 16"。 - B、D 两份完整研究的分析（2026-10-05，监督者派 4 个独立子 Agent，关键数字已核）：①D 没到最好：第 0 轮讨论把"圆心和半径一起交给求解器"判为"不值得占名额"（D 账本 seq 77，理由是黑盒搜索更适合分段线性的 LP 值），15 份冻结协议都没做它；第 1 轮定下"只挪圆心、半径用 LP 现算"的引擎后，后几轮只改起点库。监督者复跑：对 D 第 3 轮最好的解只做一次 0.04 秒的联合局部求解就从 2.6051 到 2.6191；从基线三环出发做一次也到 2.546，接近 D 第 1 轮 110 秒的成绩。B 第 1 轮就采纳了联合求解加多起点。②信息与消融在 B、D 里都没有改变分数走向：各轮三个候选的合并中位数只差 0.001–0.03，押注分不出好坏，选批近似随机；选格多数格净值为负被跳过（B 测 2/9、D 测 3/8），D 第 1 轮"大家一致"的那格事后看是一致地错了；测了的格，B 第 1 轮测到退化起点的假象（研究者自己读对），B 第 3 轮确认已饱和，D 第 3 轮的结论把第 4、5 轮引向扩起点库，两轮都没采纳。推动进步的是正向运行里登记的拆账指标和研究者读代码、读解；收尾原文接力这条渠道有效。同一份代码重跑的波动从没测过，D 第 3–5 轮 0.003 量级的差别可能在噪声里。③Jev 两两比较（31 对，3 对平手）：总体不比合并中位数准（上限一问 14/28，合并 q5 14/21）；只在看完结果后切出的"新项目第 1 轮、分差>0.01"7 对里全对（q5 3/7），是待复核的线索；"一次运行谁高"一问对调顺序一半以上会翻转。结果在 `/home/iomgaa/inforsi-eval/2026-10-05-jev-ceiling/`。暂不做 Jev 开关。只有 2 份完整研究，以上都不能当方法结论。 +- 文献精读（2026-10-05，用户提"信息与反向实验理论上说得通，问题可能在落地或少了 trick"）：6 个子 Agent 读了约 50 篇，原文在 `reference-paper/`（不进仓库）。监督者抽查过 AdaEvolve 表 4、FermiEval、Ng 第 44 章原文。要点：①研究者给的范围不能直接当先验：大模型口头区间严重过窄（FermiEval 名义 99% 只覆盖 65%；9 个新模型 95% 区间覆盖 9–44%），同厂商模型错得一样（两模型都错时 60% 选同一错答），现成模型判断"哪个研究想法更好"接近随机（Wen 2025，微调后才 77%）；文献做法是用历史结果做保形外扩、给不同研究者不同信息、程序直接平均。②只看一步、只看单格的信息价值天然会算出 0（信息价值不是边际递减），保证都要求噪声已知；对策是成组估价、保留随机探索、先测噪声。③消融在文献里是解释和发表的工具（Lipton、Fawcett、AI Scientist v2 都把它放最后、不回流）；人决定下一步靠采纳前的区分实验和"上限/瓶颈诊断"（Ng 第 44–45、53–57 章"优化验证测试"），D 缺的正是这一步。POPPER 是唯一让检验结果改变下一步并有部件消融的：去推翻当前主张的推论，用 e 值序贯停。④单线必锁：FunSearch 单岛 0/5；OpenEvolve 填圆卡 2.377 靠人工写"换根本不同的方法"才突破；AdaEvolve 填圆卡 2.5414，停滞时触发"元指导"注入联合连续优化后到 2.6095，去掉元指导 3 次平均 2.5213 对完整 2.6294。跨代传总结/教训的证据都弱。结论：方向（事前预测、用实验排除）站得住，落地时信息的原料没校准、反向实验对准了过去而不是当前瓶颈、缺多路线和停滞换路线、没测噪声。下一步和用户讨论怎么改，未定。 - 第零轮之后再看（2026-10-03 定，等部分 2 的数据）：②第一条消息里没有题目本身，要模型自己查 TASK.md，是否由程序放在最前面；③三位研究者拿到完全一样的提示，是否给每人分一个不同的看题路径；④研究者角色提示词每个任务都发全文，是否按任务只发用得到的几节。现状（任务书 14）：角色提示词已瘦身到 4386 字，但仍每个任务整份发。 - 信念本"按因子归并"（方法.md 6.10 第 1 条"出现在哪些候选里"）：现在是每个候选的每个因子一行，用"（延续 X）"连起来，没合成一行。等真实运行后再看要不要合。 - GLM 内容审核误拦（2026-10-05，监督者查明）：full17-e 第 1 轮回应阶段 researcher-2 的同一份材料两次被模型服务以"可能包含不安全或敏感内容"（400）拒收，研究停下。逐段二分复现：拦截只在 glm-5.3、glm-5.3-flash 上发生，deepseek-v4-flash 放行同一份文字；触发点是研究者自己笔记里的一句"非真六角点阵、四处未定死"，把"四处"或"定死"换掉一个词就放行，单独发这一行也放行，像是 GLM 服务方的审核把附近的"六……四……死"连读成敏感日期。全部检验账本里只出现这 1 次。同一份材料重派必然再拦，重试无用。暂不为它改程序或改写模型文字；再出现时，再和用户定研究者是否换不带这种审核的模型。复现脚本在监督者会话的临时目录，结论以本条为准。