Commit Graph

112 Commits

Author SHA1 Message Date
iomgaa f39f8410e7 docs: WORK_LOG 记 pi-lens 格式提交已撤
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 09:14:31 -04:00
iomgaa c8ca7bed7d docs: materials 上限 2250、vocab 上限 1300;任务书 18 行数按撤销格式后更新
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 09:14:24 -04:00
iomgaa 87c063be55 revert: 撤掉 pi-lens 的两次纯格式重排(fdda4f0、2ca6da1)
用户 2026-10-05 同意撤掉;之后执行用 Claude Code 会话,不再有自动格式化。撤掉后 check 通过、477 条测试全过,vocab 回到 1131 行。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 09:14:24 -04:00
iomgaa 44ccc97d7b docs: 方法加诊断(每轮提案前在当前基线上做诊断实验),消融默认关;写任务书 18
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 09:12:06 -04:00
iomgaa 7a78dcdeba docs: WORK_LOG 记信息与反向实验的文献精读结论
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 08:38:20 -04:00
iomgaa 910bbd8080 chore: 论文原文放 reference-paper/,不进仓库
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 08:30:27 -04:00
iomgaa 9f041e761e docs: WORK_LOG 记 B、D 分析与 Jev 两两比较结果
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 08:23:05 -04:00
iomgaa 21b0884387 docs: 核对任务书 17,更正 C 停下原因与 B 零分格的解读,记格式重排待定
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 08:13:46 -04:00
iomgaa 6096257fe9 docs: WORK_LOG 记任务书 17 完成(B、D 两份完整研究,研究质量与程序账目)
删掉已做到的六条'给 flow';'下一步'更新为 Jev 离线检验、export、plugin;
vocab 超上限 4 条待用户定。交付报告:/home/iomgaa/inforsi-eval/2026-10-04-task17/report.txt。
2026-10-05 08:09:27 -04:00
iomgaa 2ca6da12b6 style: pi-lens 对 vocab 的格式重排(内容不变;拆行使 vocab 到 1154 行,超 1150 上限 4 条,是否放宽或精简说明待用户定) 2026-10-05 08:02:41 -04:00
iomgaa c482a055d3 vocab: 回退格式重排,保持 1150 行上限(现为 1131;重排把多条说明拆行后超到 1154,内容不变) 2026-10-05 07:59:19 -04:00
iomgaa 9f5ca4b730 docs: WORK_LOG Jev 离线检验改到任务书 17 跑完后
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 01:18:22 -04:00
iomgaa f0cdbcccd0 docs: WORK_LOG 记 GLM 内容审核误拦的原因
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-05 00:59:23 -04:00
iomgaa fdda4f009b style: pi-lens 对 flow/vocab/tests 的引号与换行格式重排(无行为变化;check 与 477 条测试通过) 2026-10-05 00:56:37 -04:00
iomgaa 3f7de96db3 fix: 进行中的轮次不因余额为 0 被跳过(任务书 17 真实运行发现)
full17-b 第 5 轮:两个正向运行把余额用到 0 后,roundsNext 在下一轮'下一步'时对
【正在进行中的这一轮】也判余额 0,采纳决定、收尾阶段、轮末解封全部没写就走到
导出停下。方法.md 第七部分的'余额为 0'只是不开下一轮:最后一次正向用掉全部
余额时,这一轮的采纳(采纳多因子改法则各格记'没测:剩余次数不够')、收尾与
解封照常做。修复:余额检查只对还没开始的轮次(账本里没有这一轮的阶段、跳过
事件或决定)生效。附回归测试(旧代码下断言 adopt、实际得到 halt)。

恢复:受影响的 full17-b 用 eval:study --resume 从出错处续跑,已入账记录照原样用。
npm run check 通过,npm test 477 条通过。
2026-10-04 22:55:53 -04:00
iomgaa 0694303153 docs: 结构.md flow 一节补第 4 部分(消融到收尾、轮末解封、研究结束、eval:full 命令)
来源:任务书 17 第五部分。materials 一节无新增导出(消融格的角色编号复用正向的
experimenterId/verifierId)。
2026-10-04 14:14:44 -04:00
iomgaa 0ae495f8e8 eval: 完整研究的运行、统计与审阅导出(任务书 17 第三块的检验代码)
- eval/full/run.ts:配置照 eval/round-zero/research.json 只换编号,真实跑到停下;
  launches/machine/timeline/outcome 照任务书 16 惯例;--kill-after-first-ablation-start
  在第一个消融运行确认启动后、结果落账前 SIGKILL 控制进程,恢复续跑到底,
  kill-report.json 写三条检查(同一容器不重跑、只扣一次、结果照常写入)。
- eval/lib/full.ts:账目核对 fullAccounts——逐轮走向(候选分数、采纳、选格、每格
  核验重做次数与扣次、结算、押的因子)加 12 项程序账目检查(阶段开关成对、
  扣次=确认启动数、余额为 0、解释冻结早于首格启动、每轮最多一条结算、解封在
  收尾关闭之后且覆盖全部选中候选、跑不起来/不跑的格零扣次、第 2 轮起基线链
  重算、停在"导出还没写"等)与 CPU/墙钟比(<0.9 列出并附同时段负载,只列事实)。
- eval/full/stats.ts、export.ts:统计输出与按轮按格的审阅材料导出。
- 不沿用 eval/forward/acceptance.ts 的"启动区间互不重叠"(这次 3 份同时跑)。
- tests/full-eval.test.ts 4 条:真实账本 + rules 真实计算走完一轮含消融的研究,
  撑几成与配合关系标签按方法.md 6.6 手算对照。npm run check 通过,npm test 476 条通过。
2026-10-04 14:09:09 -04:00
iomgaa 144b88480b flow: 消融到收尾、轮末解封、一轮接一轮与研究结束(任务书 17 第二块)
- ⑬–⑱:listCells 从采纳决定和冻结协议现算(不写记录);explanation 有消融才开
  阶段;selectCells 照 CellRuleInput 拼输入(余额当时现算、decisionSeed 版本 2),
  写种类 cells 的决定,没选中的格不另写事件;消融实现/核验按第几次编号
  (r<轮>-ablationImplementation-1、verification-1、-2……从账本数),重做从上一次
  这一格代码接着改,次数用完写 cellNotRunEvent 不跑不扣次;cannotRun 传 null 不核验
  不运行不扣次;alsoOff 用 sharedSettings 沿用同设置的第一格;消融运行一个接一个跑,
  用途 ablation,登记/扣次/恢复与正向同一入口,恢复时指标缺失策略覆盖为只记缺失
  (方法.md 第五部分);settle 拼 SettleInput 调 settleAblation,结算与 chooseBet 的
  bet 决定写在同一事务;wrapUp 阶段关闭后,本轮选中的每个候选在同一个事务里解封
  作者自评(取最后一版提案的封存)。
- 一轮接一轮:每轮开头用 runBalance 现算余额,余额为 0 不开新轮;走到 export 停下,
  原因"导出还没写"。去掉 roundsNext 里 step.id !== "listCells" 的临时写法。
- 消融中发现由 materials 的 Board.baselineOf 从结算输出读出,flow 不另写采纳记录
  (已核实 materials 已实现)。
- 测试 +14:下一步分支 8 条(含收尾关闭后才解封、余额 0 走到导出停、关掉消融时
  解释照方法停下)、消融步骤 6 条(选格输入逐字段手拼对账、结算四种结局、同设置
  沿用、解封取最后一版封存);npm run check 通过,npm test 472 条通过。
- 全新上下文审阅一轮(只看消融重做循环、登记扣次恢复、选格/结算/押的因子输入、
  解封时机、下一轮与结束条件):没有会污染账本的问题;采纳一条小修(删掉未用的
  导入),其余笔记照列不改。

flow 1302 → 1662 行(上限 3500),materials 未动(1930 行)。
2026-10-04 14:04:55 -04:00
iomgaa d7885008fe prompts: 改解释/收尾/消融实现/消融核验四份任务提示词(任务书 17 第一块)
依据 /home/iomgaa/inforsi-eval/2026-10-04-task17/ 下的三份调研与两份真实记录诊断:

- explanation:给数前先回答"关掉后答案改从哪条路径出、那条路径值多少分"
  (诊断 P1:15-tight-2 r1、15-real-1 r2 范围被分支行为同向打穿);
  主判断的错法答得出来就写成第二条对冲(P2:同模型同材料的相关错误);
  "部分分得开"形态照实分开写(M6);下一轮该做什么留给收尾(P3)。
- wrapUp:下一步改为"沿某个因子继续,或换一条更可能拿最高分的路线"
  (监督者 2026-10-04 定,方法.md 4.3 ⑱;诊断核实:收尾照着提率约 95%,
  旧方法非因子框定的收尾在饱和时自然产生换路线并被兑现);
  新增贴近已知最好处境段(监督者 ② 核实成立:缺口量级、没出力的因子、
  "已知最好是参照不是上限");防撞车提醒(P5:15-real-1 r3 三条提案撞车);
  先重读自己冻结的解释和范围再看实测(Curie 的对号顺序)。
- ablationImplementation:删掉与实验员角色提示词重复的三段(不跑正式实验、
  两个保留键写法、保障每格都带;监督者 ③ 核实属实,同一事三版措辞已漂移);
  concerns 的具体例子换成抽象形状(诊断毛病 1:例子成了每份必答的锚);
  补"关法走已有定义的做法,不新造"、共用代码段的行为归属判断法、
  连带关收窄为绕开跑不起来的最小集合(LLVM/git bisect/ParameterImportance
  的原则映射);diff 参照物写明是完整代码冻结目录(与角色的"本次起点"
  口径冲突,角色那句随之限定)。
- ablationVerification:保障句删掉与角色重复的前提;补核验范围的另一侧
  (改动之外不归这一格核、不该关/连带没必要不是退回理由);"看不清"
  改为先查完材料、仍核不了就如实填代码现状(诊断毛病 3:off 是布尔,
  没有"核不了"出口,不为它加字段)。
- vocab 字段说明同步:收尾的下一步口径、解释第二条的对冲情形、
  消融核验 where 里放总体核对说明(字段结构、类型、必填未动)。

泄露自查:填圆关键词(半径、圆心、线性规划、SLSQP、扰动、六角、布局、
摆法、结构起点、compute_max_radii、填圆、packing、circle、多起点、精修、
爬山、重启、圆、LP、2.6、26)搜改过的六份文件,零命中。
npm run check 通过,npm test 458 条通过。看到运行结果后不再改提示词。
2026-10-04 13:09:42 -04:00
iomgaa 81212b48ad docs: 新增任务书 17(flow 第 4 部分:消融到收尾,含这一段提示词);收尾的下一步可换路线;第 4 部分不回放、3 份同时跑
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 12:27:05 -04:00
iomgaa 162c14072f docs: 核对任务书 16,WORK_LOG 记研究质量结论与下一步
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 12:15:58 -04:00
iomgaa a7fdff8362 docs: 完成任务书16验收并记录研究质量与限制
三份真实研究串行完成采纳,B中断恢复原容器且只扣一次;458项免费测试与check通过。保存六候选逐项审阅、材料复核、预测实测和历史路线对照。明确核验漏判、协议歧义、A候选辅助LP求解及C材料复核盲态限制,不按结果修改提示词或重跑。最终交付独立核对无实质漏项。
2026-10-04 12:15:24 -04:00
iomgaa de8e13b031 fix: 用容器生命周期核实恢复并单列三份总体验收
审阅发现spawn后快照早于恢复实际执行,不能证明没有重启;改用杀前至目标结果落账的Docker历史事件,保留缓存完整性限制。逐份stats不再冒称任务书总体通过;独立验收要求三份不同研究、成功杀进程及不重叠区间。两项缺陷附回归,7项定向测试与check通过,独立复审无新问题;真实B尚待启动。
2026-10-04 04:52:13 -04:00
iomgaa b7be524cdc eval: 准备正向采纳的真实运行恢复与质量评估
新增单份串行启动入口、首个正向运行杀进程恢复证据、逐候选审阅导出与账目统计;参考只读副本分数对照。456项免费测试通过,尚未启动三份真实验收。同步结构说明与当前工作状态。
2026-10-04 04:25:00 -04:00
iomgaa bf5b3f2358 feat: 接通实现核验修复到正向运行采纳
任务书16第二块:角色分派与每调用轻量检查,提交及代码原子记账,按次数核验修复且耗尽不跑,串行正式运行及恢复引用指标,采纳含null统一公开。451项免费测试通过,全新上下文独立审阅未发现问题;真实研究验收仍待进行。
2026-10-04 04:25:00 -04:00
iomgaa 039b7bb3bc prompt: 按真实诊断收紧实现职责并保留实质核验
任务书16第一块:参考实现、审查及最小修复提示词源码,核对五份真实账本;明确忠实协议、辅助检查边界、局部语义核对,字段说明归于vocab。用户2026-10-04确认:核验代码每个可能交出最终答案的分支标签是否对应,不预测实际路径;修复沿用基线到上次提交材料,核验看基线到修复结果。独立审阅后清除任务与角色重复指令。提示词先冻结,真实结果出来后不再调整。
2026-10-04 03:19:17 -04:00
iomgaa f4edbac2d1 docs: 任务书 16 更正修复差异的笔误
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 02:59:31 -04:00
iomgaa 3a12eae612 docs: 任务书 16 写准参考项目提示词的位置
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 02:10:19 -04:00
iomgaa 9a4a0c81e9 docs: 新增任务书 16(flow 第 3 部分:实现到采纳,含实验员、核验员提示词)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 02:10:05 -04:00
iomgaa 55df57d43d docs: WORK_LOG 记 Jev 比上限的检验办法
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 01:59:26 -04:00
iomgaa 1f7d416e9e docs: WORK_LOG 记任务书 15 核对结论
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 01:48:56 -04:00
iomgaa 856845cd71 eval: 完成任务书15路线对照与先想后读核查 2026-10-04 01:31:50 -04:00
iomgaa 18235cc9b1 docs: 核对任务书 14;新增任务书 15(提示词改后重测、按路线对照);flow 第 3 部分顺延为任务书 16
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 21:52:27 -04:00
iomgaa ff5c8dd30d prompts: 正向只管冲分、消融负责解释;入口与提案先不看代码自己解题、再拆基线工序、两边对照
监督者按 6 次运行的路线分析改(用户定:提示词监督者直接改,再写任务书让新会话重跑)。
顺手把 explanation.md 里填圆做法的例子换成缓存领域。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 21:50:14 -04:00
iomgaa 0b677cfc0c docs: 任务书 14 收尾,结构.md flow、materials 两节与 WORK_LOG
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 18:51:44 -04:00
iomgaa a2a1392f01 eval: 第 1 轮检验脚本(跑、杀进程、导出去来历、盲评编号、Jev 三问、数字与过程)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 13:59:54 -04:00
iomgaa f98d664a16 feat: flow 第 2 部分,第 r 轮开轮到选批(任务书 14 第二块)
- next-step 按"第 r 轮"列出提案、第一次预测、挑刺、回应与统一、第二次预测的任务
  (一人对一个对象),判重、冻结协议、选批三步,走到 implementation 停下(任务书 15)
- steps/dispatch.ts:同阶段一人任务先后跑、不同人同时跑;提案、挑刺按 proposalId、critiqueId 分份
- steps/round.ts:判重两两问 Jev、连通成组、并进留池候选;冻结协议在回应阶段关闭后一个事务写全;
  选批照 rules 的 BatchInput 拼,种子用 decisionSeed 版本 1(选格预留版本 2)
- materials 导出 Board(构造改收记录数组,给纯函数用);讨论原文里已作废的入口编号就地标"(已作废)"
- 删 SOURCES.md 里参考项目实测事实那一段(用户 2026-10-03 同意)
- 测试:下一步做什么 21 条、判重连组 4 条、冻结与选批 2 条、作废标注 1 条;npm test 437 通过

全新上下文审阅一轮(只看三个程序步骤与恢复):没有会污染账本的问题。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 13:59:54 -04:00
iomgaa 2c6fdce1ca prompts: 改第 1 轮开轮到选批这一段的研究者提示词(任务书 14 第一块)
依据参考项目 5 次高分运行第 1 轮的真实记录诊断(同轮撞车、预测锚定前一个候选、
挑刺被要求不谈机制、"罕见"判断无依据、被退回时为过检查改设计、单向偏差提示、
因子依赖与捆绑、角色提示词过长重复)和三份再调研(提案多样性、挑刺与回应、范围预测)。

- researcher.md 瘦身 6836→4386 字:去掉领域相关例子和参考项目经历,三个数改为先看参照、
  读路径、对称看往轮偏差,退回时只改原因指出的那一处
- proposal:点明同轮撞车的处境、"同一条改法"的定义、因子依赖那一格、捆绑三种处理
- 两次预测:删掉引导看已交数和"不用推演代码";第二次先说新看到了什么
- critique:先拆成必须成立的几件事对照代码,问题改为值得想的问题,四个不同领域的例子
- response、unification:只凭证据改不改,防让步与护短,采纳要对应到改动
- vocab 字段说明只改措辞(1118→1132 行)

泄露自查关键词搜索无结果;npm run check、npm test(420)通过。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 13:31:05 -04:00
iomgaa b2e8b628be docs: materials 上限放到 1950(用户定)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 12:54:31 -04:00
iomgaa 9fab908da0 docs: 新增任务书 14(flow 第 2 部分:开轮到选批,含提示词诊断与整体质量盲评)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 12:53:36 -04:00
iomgaa ef22b3661a docs: 新增 docs/调研/提示词.md,记提示词写法的两次调研结论
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 12:49:45 -04:00
iomgaa 4259134419 docs: 第零轮收尾,好方向的验收改到 flow 第 2 部分
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 12:42:52 -04:00
iomgaa 999ee8e8ef docs: WORK_LOG 记任务书 13 结果(第零轮重测 3 次仍未通过)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 12:33:55 -04:00
iomgaa a42349717c feat: 研究编号只许小写、配置路径必须绝对;检验判重两个顺序取平均
任务书 13 第一部分,用户 2026-10-03 同意。
- config:studyId 限定小写字母、数字和 ._-;task、promptDir 必须以 / 开头。
- eval:research.json 路径改绝对,writeConfig 不再转换;quality.ts 第 2、6 问每对 A、B 与 B、A 各问一次取平均,两次原始概率都存。
- tests:大写编号、相对路径各加测试。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 11:42:11 -04:00
iomgaa b516f8a612 prompts: 去掉填圆具体做法、例子换成无关领域、重写第零轮三份提示词;新增任务书 13(重测第零轮)
改了:roles/researcher.md、roles/experimenter.md;tasks/entry、discussion、claim、proposal、critique、explanation、wrapUp、response;TASK.md 开头两行。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 11:31:54 -04:00
iomgaa 75d7cffd27 feat: flow 第 1 部分(骨架、研究开始、第零轮)与第零轮检验
按任务书 12 实现 src/flow:从账本现算下一步的纯函数、主循环、恢复入口、派模型任务和跑正式运行两个共用动作、冻结配置、基线、第零轮三个研究者阶段和入口分配,走到第 1 轮时停下。materials 导出 finalEntries、加 researcherId 和 StudyRecord。

审阅采纳两条:研究编号本机已用过时冻结前报错;docker run 没启动时写完结果就停下,不在本进程里无限起新编号。

eval/ 新增第零轮检验:起研究命令行、回放假模型、检验用 Jev 客户端、六问质量评估、16-real-1 回放、杀进程与两份同时跑。tsc 与 depcruise 也检查 eval/,新增 eval 只经 index.ts 用正式代码的规则。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 10:58:52 -04:00
iomgaa 8491191a2b docs: 新增任务书 12(flow 第 1 部分:骨架与第零轮);验收看研究质量、正式与检验代码分开
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 09:32:41 -04:00
iomgaa e273eac5e1 docs: 结构.md 记 flow 四部分拆分与验证办法
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 09:02:10 -04:00
iomgaa 45859902f1 docs: WORK_LOG 记 flow 四部分拆分与真 Jev 真 Docker 验证
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 08:59:16 -04:00
iomgaa 178d3f8d70 docs: WORK_LOG 记下 flow 的拆分做法
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-03 08:13:38 -04:00