iomgaa
fdda4f009b
style: pi-lens 对 flow/vocab/tests 的引号与换行格式重排(无行为变化;check 与 477 条测试通过)
2026-10-05 00:56:37 -04:00
iomgaa
3f7de96db3
fix: 进行中的轮次不因余额为 0 被跳过(任务书 17 真实运行发现)
...
full17-b 第 5 轮:两个正向运行把余额用到 0 后,roundsNext 在下一轮'下一步'时对
【正在进行中的这一轮】也判余额 0,采纳决定、收尾阶段、轮末解封全部没写就走到
导出停下。方法.md 第七部分的'余额为 0'只是不开下一轮:最后一次正向用掉全部
余额时,这一轮的采纳(采纳多因子改法则各格记'没测:剩余次数不够')、收尾与
解封照常做。修复:余额检查只对还没开始的轮次(账本里没有这一轮的阶段、跳过
事件或决定)生效。附回归测试(旧代码下断言 adopt、实际得到 halt)。
恢复:受影响的 full17-b 用 eval:study --resume 从出错处续跑,已入账记录照原样用。
npm run check 通过,npm test 477 条通过。
2026-10-04 22:55:53 -04:00
iomgaa
144b88480b
flow: 消融到收尾、轮末解封、一轮接一轮与研究结束(任务书 17 第二块)
...
- ⑬–⑱:listCells 从采纳决定和冻结协议现算(不写记录);explanation 有消融才开
阶段;selectCells 照 CellRuleInput 拼输入(余额当时现算、decisionSeed 版本 2),
写种类 cells 的决定,没选中的格不另写事件;消融实现/核验按第几次编号
(r<轮>-ablationImplementation-1、verification-1、-2……从账本数),重做从上一次
这一格代码接着改,次数用完写 cellNotRunEvent 不跑不扣次;cannotRun 传 null 不核验
不运行不扣次;alsoOff 用 sharedSettings 沿用同设置的第一格;消融运行一个接一个跑,
用途 ablation,登记/扣次/恢复与正向同一入口,恢复时指标缺失策略覆盖为只记缺失
(方法.md 第五部分);settle 拼 SettleInput 调 settleAblation,结算与 chooseBet 的
bet 决定写在同一事务;wrapUp 阶段关闭后,本轮选中的每个候选在同一个事务里解封
作者自评(取最后一版提案的封存)。
- 一轮接一轮:每轮开头用 runBalance 现算余额,余额为 0 不开新轮;走到 export 停下,
原因"导出还没写"。去掉 roundsNext 里 step.id !== "listCells" 的临时写法。
- 消融中发现由 materials 的 Board.baselineOf 从结算输出读出,flow 不另写采纳记录
(已核实 materials 已实现)。
- 测试 +14:下一步分支 8 条(含收尾关闭后才解封、余额 0 走到导出停、关掉消融时
解释照方法停下)、消融步骤 6 条(选格输入逐字段手拼对账、结算四种结局、同设置
沿用、解封取最后一版封存);npm run check 通过,npm test 472 条通过。
- 全新上下文审阅一轮(只看消融重做循环、登记扣次恢复、选格/结算/押的因子输入、
解封时机、下一轮与结束条件):没有会污染账本的问题;采纳一条小修(删掉未用的
导入),其余笔记照列不改。
flow 1302 → 1662 行(上限 3500),materials 未动(1930 行)。
2026-10-04 14:04:55 -04:00
iomgaa
d7885008fe
prompts: 改解释/收尾/消融实现/消融核验四份任务提示词(任务书 17 第一块)
...
依据 /home/iomgaa/inforsi-eval/2026-10-04-task17/ 下的三份调研与两份真实记录诊断:
- explanation:给数前先回答"关掉后答案改从哪条路径出、那条路径值多少分"
(诊断 P1:15-tight-2 r1、15-real-1 r2 范围被分支行为同向打穿);
主判断的错法答得出来就写成第二条对冲(P2:同模型同材料的相关错误);
"部分分得开"形态照实分开写(M6);下一轮该做什么留给收尾(P3)。
- wrapUp:下一步改为"沿某个因子继续,或换一条更可能拿最高分的路线"
(监督者 2026-10-04 定,方法.md 4.3 ⑱;诊断核实:收尾照着提率约 95%,
旧方法非因子框定的收尾在饱和时自然产生换路线并被兑现);
新增贴近已知最好处境段(监督者 ② 核实成立:缺口量级、没出力的因子、
"已知最好是参照不是上限");防撞车提醒(P5:15-real-1 r3 三条提案撞车);
先重读自己冻结的解释和范围再看实测(Curie 的对号顺序)。
- ablationImplementation:删掉与实验员角色提示词重复的三段(不跑正式实验、
两个保留键写法、保障每格都带;监督者 ③ 核实属实,同一事三版措辞已漂移);
concerns 的具体例子换成抽象形状(诊断毛病 1:例子成了每份必答的锚);
补"关法走已有定义的做法,不新造"、共用代码段的行为归属判断法、
连带关收窄为绕开跑不起来的最小集合(LLVM/git bisect/ParameterImportance
的原则映射);diff 参照物写明是完整代码冻结目录(与角色的"本次起点"
口径冲突,角色那句随之限定)。
- ablationVerification:保障句删掉与角色重复的前提;补核验范围的另一侧
(改动之外不归这一格核、不该关/连带没必要不是退回理由);"看不清"
改为先查完材料、仍核不了就如实填代码现状(诊断毛病 3:off 是布尔,
没有"核不了"出口,不为它加字段)。
- vocab 字段说明同步:收尾的下一步口径、解释第二条的对冲情形、
消融核验 where 里放总体核对说明(字段结构、类型、必填未动)。
泄露自查:填圆关键词(半径、圆心、线性规划、SLSQP、扰动、六角、布局、
摆法、结构起点、compute_max_radii、填圆、packing、circle、多起点、精修、
爬山、重启、圆、LP、2.6、26)搜改过的六份文件,零命中。
npm run check 通过,npm test 458 条通过。看到运行结果后不再改提示词。
2026-10-04 13:09:42 -04:00
iomgaa
bf5b3f2358
feat: 接通实现核验修复到正向运行采纳
...
任务书16第二块:角色分派与每调用轻量检查,提交及代码原子记账,按次数核验修复且耗尽不跑,串行正式运行及恢复引用指标,采纳含null统一公开。451项免费测试通过,全新上下文独立审阅未发现问题;真实研究验收仍待进行。
2026-10-04 04:25:00 -04:00
iomgaa
039b7bb3bc
prompt: 按真实诊断收紧实现职责并保留实质核验
...
任务书16第一块:参考实现、审查及最小修复提示词源码,核对五份真实账本;明确忠实协议、辅助检查边界、局部语义核对,字段说明归于vocab。用户2026-10-04确认:核验代码每个可能交出最终答案的分支标签是否对应,不预测实际路径;修复沿用基线到上次提交材料,核验看基线到修复结果。独立审阅后清除任务与角色重复指令。提示词先冻结,真实结果出来后不再调整。
2026-10-04 03:19:17 -04:00
iomgaa
856845cd71
eval: 完成任务书15路线对照与先想后读核查
2026-10-04 01:31:50 -04:00
iomgaa
f98d664a16
feat: flow 第 2 部分,第 r 轮开轮到选批(任务书 14 第二块)
...
- next-step 按"第 r 轮"列出提案、第一次预测、挑刺、回应与统一、第二次预测的任务
(一人对一个对象),判重、冻结协议、选批三步,走到 implementation 停下(任务书 15)
- steps/dispatch.ts:同阶段一人任务先后跑、不同人同时跑;提案、挑刺按 proposalId、critiqueId 分份
- steps/round.ts:判重两两问 Jev、连通成组、并进留池候选;冻结协议在回应阶段关闭后一个事务写全;
选批照 rules 的 BatchInput 拼,种子用 decisionSeed 版本 1(选格预留版本 2)
- materials 导出 Board(构造改收记录数组,给纯函数用);讨论原文里已作废的入口编号就地标"(已作废)"
- 删 SOURCES.md 里参考项目实测事实那一段(用户 2026-10-03 同意)
- 测试:下一步做什么 21 条、判重连组 4 条、冻结与选批 2 条、作废标注 1 条;npm test 437 通过
全新上下文审阅一轮(只看三个程序步骤与恢复):没有会污染账本的问题。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 13:59:54 -04:00
iomgaa
2c6fdce1ca
prompts: 改第 1 轮开轮到选批这一段的研究者提示词(任务书 14 第一块)
...
依据参考项目 5 次高分运行第 1 轮的真实记录诊断(同轮撞车、预测锚定前一个候选、
挑刺被要求不谈机制、"罕见"判断无依据、被退回时为过检查改设计、单向偏差提示、
因子依赖与捆绑、角色提示词过长重复)和三份再调研(提案多样性、挑刺与回应、范围预测)。
- researcher.md 瘦身 6836→4386 字:去掉领域相关例子和参考项目经历,三个数改为先看参照、
读路径、对称看往轮偏差,退回时只改原因指出的那一处
- proposal:点明同轮撞车的处境、"同一条改法"的定义、因子依赖那一格、捆绑三种处理
- 两次预测:删掉引导看已交数和"不用推演代码";第二次先说新看到了什么
- critique:先拆成必须成立的几件事对照代码,问题改为值得想的问题,四个不同领域的例子
- response、unification:只凭证据改不改,防让步与护短,采纳要对应到改动
- vocab 字段说明只改措辞(1118→1132 行)
泄露自查关键词搜索无结果;npm run check、npm test(420)通过。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 13:31:05 -04:00
iomgaa
a42349717c
feat: 研究编号只许小写、配置路径必须绝对;检验判重两个顺序取平均
...
任务书 13 第一部分,用户 2026-10-03 同意。
- config:studyId 限定小写字母、数字和 ._-;task、promptDir 必须以 / 开头。
- eval:research.json 路径改绝对,writeConfig 不再转换;quality.ts 第 2、6 问每对 A、B 与 B、A 各问一次取平均,两次原始概率都存。
- tests:大写编号、相对路径各加测试。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 11:42:11 -04:00
iomgaa
75d7cffd27
feat: flow 第 1 部分(骨架、研究开始、第零轮)与第零轮检验
...
按任务书 12 实现 src/flow:从账本现算下一步的纯函数、主循环、恢复入口、派模型任务和跑正式运行两个共用动作、冻结配置、基线、第零轮三个研究者阶段和入口分配,走到第 1 轮时停下。materials 导出 finalEntries、加 researcherId 和 StudyRecord。
审阅采纳两条:研究编号本机已用过时冻结前报错;docker run 没启动时写完结果就停下,不在本进程里无限起新编号。
eval/ 新增第零轮检验:起研究命令行、回放假模型、检验用 Jev 客户端、六问质量评估、16-real-1 回放、杀进程与两份同时跑。tsc 与 depcruise 也检查 eval/,新增 eval 只经 index.ts 用正式代码的规则。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 10:58:52 -04:00
iomgaa
13a7e60355
feat: 任务书 11,指标名加候选前缀、消融重做接着改、判重说明补关键设定
...
- 假设专用指标短名不能含"."(最长 64),冻结时由 materials 的 freezeProtocol 改为全名"候选编号.短名";可引用清单用全名,已占用清单只剩任务指标和两个保留键。
- 消融格核验不通过重做时,工作目录是上一次交的这一格代码的副本,能读的版本加上它,完整代码照旧列出;消融实现提示词同步改。
- jev 判重材料说明补 keySettings 一句。
- 结构.md 第八部分 vocab、materials、jev,WORK_LOG 同步更新。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 06:40:40 -04:00
iomgaa
09c44031a0
feat: 任务书 10,submissions 模块与 materials 修改
...
- 新增 src/submissions:先程序检查(14 条跨字段规则、不许改的文件、代码存不了、指标编号占用、提案数上限),全过再问 Jev;退回原因列出该写的全部编号;回应/统一拼冻结协议主体只在这一处;核验、消融核验通过没有。
- materials:挑刺单写"现在交什么";退回按阶段、作者、种类、对象找(ledger 退回记录加 target,表结构版本 4);核验材料去掉 Jev 预扫;信念本写合法化;删"本该关着";消融核验不通过可重做,不跑的格从 cellNotRun 事件读原因。
- 用户 2026-10-03 定:冻结协议去掉 replies、replyBody,第二次预测的答复从已公开的回应或统一读;takenMetricIds 加两个保留键;解释一律交 cells;Jev 退回只列判"是"的几问、用英文问题名。
- jev 判重材料带 keySettings;读代码工具删 offset;三处旧说法改正。
- 文档:结构.md 第四、七、八部分,WORK_LOG。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 06:08:34 -04:00
iomgaa
446e26224e
feat: 任务书 09,materials 模块与提示词
...
- src/materials:每种提交一个材料函数,生成给模型看的材料、第一条消息、对号清单、能读的代码版本;查询只在材料内按编号找;读提示词并算原始字节哈希;信念本按方法.md 6.10 现算。
- 账本里只存成 Json 的冻结协议、位置表、决定、结算的形状和编号规则由 materials 定义并导出。
- vocab 加 Checklist(对号清单)。
- prompts/:参考项目 3 份角色提示词、16 份任务说明,只做必要改动。
- TASK.md 补一句 unversionedNames 不存进代码版本。
- 方法.md 4.3 ① 改为"研究者任务"放信念本;结构.md vocab 上限 1150、补 materials 对外内容。
用户 2026-10-03 开工前的四个决定(选的都是推荐项):"甲:上限改 1150,只放对号清单";"甲:materials 定义并导出";"不放,改方法.md ① 的措辞";"按原提案挑"。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 04:08:46 -04:00
iomgaa
0ac1e01613
feat: 任务书 08,jev 模块与账本记 Jev 判断
...
src/jev 3 个文件 515 行:判重、查冻结条款、查代码改动三个函数,九问问法和阈值照参考项目,只改说法和字段名,阈值注明未在新项目材料上校准,等真实数据。
新增 npm run test:jev(真实 Jev 三处各问一次)。vocab 加 JevJudgment。
ledger 表结构版本 3:callEnded 四种结局对上 agents,墙钟时间用 Measured(恢复时补写出错、原因"进程中断"、测不到);退回、提交记录都带 jev。
config 加必填的 models.jev。
用户原话:"这次就给提交记录加一个和退回记录同样的 Jev 判断字段";"墙钟时间改用 Measured,恢复时写出错加测不到(原因'进程中断')"。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 02:11:20 -04:00
iomgaa
3600b5c409
feat: 任务书 07,agents 模块与真实模型测试
...
src/agents 4 个文件 681 行:runSession 按角色开 Pi 子会话、发工具、核对实际加载内容,
提交参数非法 JSON、必填字段交 null、Pi 形状校验不通过都经提交回调记退回。
Pi 依赖固定 0.85.1;新增 npm run test:pi(glm-5.3 真实会话)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 01:03:19 -04:00
iomgaa
6850c0a1d4
feat: 任务书 06,workspace 模块与 task.json 的"不存"清单
...
workspace 用一个裸仓库存代码版本,版本号是目录树编号,不造提交,每个版本挂 refs/versions/ 引用防清理。
存版本自己遍历目录、hash-object --no-filters 存,不用 git add;符号链接等特殊文件交回"存不了"。
取出用 ls-tree 加 cat-file 原样写出:实测 git archive 会按树里的 .gitattributes 丢文件、改换行符。
git 子进程不读系统和用户的配置,另关掉系统和用户的 attributes 文件:实测只关配置时 ~/.config/git/attributes 仍会被读。
比较交回文件级改动、新旧两边行号范围的块,以及带上下文的 diff 原文。
tasks:task.json 加必填的 unversionedNames,protectedFiles 删掉 solution.json。
全新上下文审阅一轮,采纳一条:注明块可以为空(空文件增删、只改可执行位)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 23:43:01 -04:00
iomgaa
cf6bc4c844
feat: 任务书 05,runner 与 tasks 两个模块
...
runner 用 Docker 跑一条命令并交回结局和资源用量;tasks 读 task.json、准备运行目录、给出正式运行/校验器/轻量检查的运行定义,并从原始产物独立判分。任务目录从参考项目搬到 tasks/circle_packing/,新增 task.json;vocab 的 VERDICTS 删掉"判不了",ProcessResult 的 cancelled 改为"容器从外面被杀了"。
全新上下文审阅后的两处修复:计量 shell 以容器内 root 运行,命令经 setpriv 降权,结果写在容器自己的文件层、结束后 docker cp 取出,并加 no-new-privileges,候选无法伪造计量结果把超时记成正常退出;harness 开跑前删掉旧的 solution.json、metrics.json,旧产物不会被当成本次的值。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 13:55:47 -04:00
iomgaa
d2bfb971ab
feat: 配置 config 模块(任务书 04)
...
- src/config:research.json 的字段定义(TypeBox,全部必填、不认识的字段报错,每个字段带中文说明和类别)、一次列出全部错误的校验、步骤清单纯函数。
- 流程写成完整流程 / 朴素循环两选一,第零轮、消融写成开 / 关两选一,冲突组合写不出来,不另写检查。
- 规则名取自 rules 登记表,config 改为依赖 rules(结构.md 第二部分、.dependency-cruiser.cjs)。
- ledger 顺手两处(结构.md 第四部分):消融结算按轮次唯一、去掉消融编号;私人笔记去掉版本号;表结构版本号升到 2。
- 结构.md 第八部分补 config 对外内容、更新 ledger 一节;WORK_LOG 更新。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 08:08:18 -04:00
iomgaa
716f4b88a5
feat: 账本 ledger 模块(任务书 03)
...
一张只追加的表(序号、种类、内容、哈希),禁改禁删两条触发器。
有自己编号、只发生一次的 8 种记录加部分唯一索引,重复就报错:阶段开、阶段关、运行登记、
确认启动(确认没启动的结果也算这一条,防止同一次运行既扣次又退还)、运行结果、模型调用开始、结束、消融结算。
写入时只查四种拒收:只收开着的阶段的提交;替换必须接本人同一阶段、同一对象、同一种提交的最新一版,实现与核验类不能替换;
结果先于确认启动(没启动除外);本轮消融已有格启动后不能关解释阶段。
写提案时作者自评拆成封存。提供打开(核对表结构版本,非账本库不改动)、追加、同步事务、读取、未完成的动作。
第一版的可见性、截止序号、通用唯一键、jev 记录和多余的前提检查已按新版任务书清掉。
三轮全新上下文审阅;flow 传错参数一类的意见按 CLAUDE.md"罕见情况怎么办"第 2 条只记录不加代码。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 06:37:47 -04:00
iomgaa
60c21ae346
feat: 研究规则 rules 模块(任务书 02)
...
rules 是纯计算,src/rules 共 1761 行:方法.md 第六部分的全部公式、第七部分的余额与扣次、4.2 的入口分配,以及种子与规则登记表。
预期值有三个来源:方法.md 的手算例;tests/fixtures/rules/ 下不看实现写的 Python 脚本;参考项目 calc15、calc14b 里与现行方法一致的部分。审阅做了两轮,每轮都换一个全新上下文的子 Agent,提出的问题都已修复或写明不修的理由。
用户确认的约定(原话"1–8 都同意"):入池、采纳、消融中发现都用严格不等号;成本用 max(0, ĝ₀);没测的格附"含它的最好组合"的净值;战绩在分数原值上判。三个数改为严格递增后,删掉了尖峰的全部专门处理(bfb96ba)。vocab 里 Range 的说明同步改为严格递增。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 01:50:21 -04:00
iomgaa
97a43591a3
feat: 工具链与 vocab 模块(任务书 01)
...
- npm 包、TypeScript、node --test、dependency-cruiser;结构.md 第六部分的检查规则一次写全,临时违规实测均报错。
- vocab:基础类型与编号格式、规范序列化与哈希、角色/阶段/提交名单、指标与运行定义及结果、模型用量、16 种提交的 TypeBox 字段定义。
- 测试:规范序列化预期串手写,哈希预期值用 sha256sum 算出;每种提交一份合法样例。
- 结构.md 第八部分补 vocab 对外内容;WORK_LOG 记下用户决定。
用户决定(2026-10-01):"同意 A,vocab 上限改为 1100 行";"同意 A:解释的 cells 去掉 minItems,改为可选";"3、4、5、6:同意保留你的写法";答案路径与保障动手次数"tasks 只记读到的原始内容",对表由以后有位置表的模块现算。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-01 23:37:58 -04:00