iomgaa
b7be524cdc
eval: 准备正向采纳的真实运行恢复与质量评估
...
新增单份串行启动入口、首个正向运行杀进程恢复证据、逐候选审阅导出与账目统计;参考只读副本分数对照。456项免费测试通过,尚未启动三份真实验收。同步结构说明与当前工作状态。
2026-10-04 04:25:00 -04:00
iomgaa
9a4a0c81e9
docs: 新增任务书 16(flow 第 3 部分:实现到采纳,含实验员、核验员提示词)
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-04 02:10:05 -04:00
iomgaa
55df57d43d
docs: WORK_LOG 记 Jev 比上限的检验办法
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-04 01:59:26 -04:00
iomgaa
1f7d416e9e
docs: WORK_LOG 记任务书 15 核对结论
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-04 01:48:56 -04:00
iomgaa
856845cd71
eval: 完成任务书15路线对照与先想后读核查
2026-10-04 01:31:50 -04:00
iomgaa
18235cc9b1
docs: 核对任务书 14;新增任务书 15(提示词改后重测、按路线对照);flow 第 3 部分顺延为任务书 16
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 21:52:27 -04:00
iomgaa
0b677cfc0c
docs: 任务书 14 收尾,结构.md flow、materials 两节与 WORK_LOG
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 18:51:44 -04:00
iomgaa
9fab908da0
docs: 新增任务书 14(flow 第 2 部分:开轮到选批,含提示词诊断与整体质量盲评)
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 12:53:36 -04:00
iomgaa
4259134419
docs: 第零轮收尾,好方向的验收改到 flow 第 2 部分
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 12:42:52 -04:00
iomgaa
999ee8e8ef
docs: WORK_LOG 记任务书 13 结果(第零轮重测 3 次仍未通过)
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 12:33:55 -04:00
iomgaa
b516f8a612
prompts: 去掉填圆具体做法、例子换成无关领域、重写第零轮三份提示词;新增任务书 13(重测第零轮)
...
改了:roles/researcher.md、roles/experimenter.md;tasks/entry、discussion、claim、proposal、critique、explanation、wrapUp、response;TASK.md 开头两行。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 11:31:54 -04:00
iomgaa
75d7cffd27
feat: flow 第 1 部分(骨架、研究开始、第零轮)与第零轮检验
...
按任务书 12 实现 src/flow:从账本现算下一步的纯函数、主循环、恢复入口、派模型任务和跑正式运行两个共用动作、冻结配置、基线、第零轮三个研究者阶段和入口分配,走到第 1 轮时停下。materials 导出 finalEntries、加 researcherId 和 StudyRecord。
审阅采纳两条:研究编号本机已用过时冻结前报错;docker run 没启动时写完结果就停下,不在本进程里无限起新编号。
eval/ 新增第零轮检验:起研究命令行、回放假模型、检验用 Jev 客户端、六问质量评估、16-real-1 回放、杀进程与两份同时跑。tsc 与 depcruise 也检查 eval/,新增 eval 只经 index.ts 用正式代码的规则。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 10:58:52 -04:00
iomgaa
8491191a2b
docs: 新增任务书 12(flow 第 1 部分:骨架与第零轮);验收看研究质量、正式与检验代码分开
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 09:32:41 -04:00
iomgaa
e273eac5e1
docs: 结构.md 记 flow 四部分拆分与验证办法
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 09:02:10 -04:00
iomgaa
45859902f1
docs: WORK_LOG 记 flow 四部分拆分与真 Jev 真 Docker 验证
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 08:59:16 -04:00
iomgaa
178d3f8d70
docs: WORK_LOG 记下 flow 的拆分做法
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 08:13:38 -04:00
iomgaa
ddc973d500
docs: 核对任务书 11;materials 行数范围改为 1200–1900
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 08:11:23 -04:00
iomgaa
062d4ac827
docs: WORK_LOG 填任务书 11 提交号
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 06:40:40 -04:00
iomgaa
13a7e60355
feat: 任务书 11,指标名加候选前缀、消融重做接着改、判重说明补关键设定
...
- 假设专用指标短名不能含"."(最长 64),冻结时由 materials 的 freezeProtocol 改为全名"候选编号.短名";可引用清单用全名,已占用清单只剩任务指标和两个保留键。
- 消融格核验不通过重做时,工作目录是上一次交的这一格代码的副本,能读的版本加上它,完整代码照旧列出;消融实现提示词同步改。
- jev 判重材料说明补 keySettings 一句。
- 结构.md 第八部分 vocab、materials、jev,WORK_LOG 同步更新。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 06:40:40 -04:00
iomgaa
f623fb78a8
docs: 核对任务书 10;新增任务书 11-收尾
...
方法.md 4.3 ⑯:消融重做从上一次交的这一格代码接着改(用户选"接着改")。任务书 11:指标名加候选前缀(参考项目真实账本撞名 5 次,监督者核实)、消融重做、判重说明补关键设定。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 06:21:45 -04:00
iomgaa
09c44031a0
feat: 任务书 10,submissions 模块与 materials 修改
...
- 新增 src/submissions:先程序检查(14 条跨字段规则、不许改的文件、代码存不了、指标编号占用、提案数上限),全过再问 Jev;退回原因列出该写的全部编号;回应/统一拼冻结协议主体只在这一处;核验、消融核验通过没有。
- materials:挑刺单写"现在交什么";退回按阶段、作者、种类、对象找(ledger 退回记录加 target,表结构版本 4);核验材料去掉 Jev 预扫;信念本写合法化;删"本该关着";消融核验不通过可重做,不跑的格从 cellNotRun 事件读原因。
- 用户 2026-10-03 定:冻结协议去掉 replies、replyBody,第二次预测的答复从已公开的回应或统一读;takenMetricIds 加两个保留键;解释一律交 cells;Jev 退回只列判"是"的几问、用英文问题名。
- jev 判重材料带 keySettings;读代码工具删 offset;三处旧说法改正。
- 文档:结构.md 第四、七、八部分,WORK_LOG。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 06:08:34 -04:00
iomgaa
b26187dd79
docs: 新增任务书 10-submissions
...
开头先改任务书 09 核对时发现的 materials 7 处;submissions 只依赖 jev 和 vocab,提交后才知道的东西由 flow 算好传入;回应拼冻结协议只在 submissions 一处。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 04:51:04 -04:00
iomgaa
ccf8529935
docs: 核对任务书 09;方法.md 补核验修复用完时的处理
...
- 方法.md 4.3 ⑨ ⑯、6.6:修复次数用完仍不通过,正向候选不跑;消融格可重做,用完记证据不足。用户原话:"同意"。
- 结构.md:materials 行数范围改为 1200–1850。
- WORK_LOG:记下核对发现的 7 处要改的地方,并入任务书 10;删掉一条没有实测证据的推断。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 04:39:57 -04:00
iomgaa
446e26224e
feat: 任务书 09,materials 模块与提示词
...
- src/materials:每种提交一个材料函数,生成给模型看的材料、第一条消息、对号清单、能读的代码版本;查询只在材料内按编号找;读提示词并算原始字节哈希;信念本按方法.md 6.10 现算。
- 账本里只存成 Json 的冻结协议、位置表、决定、结算的形状和编号规则由 materials 定义并导出。
- vocab 加 Checklist(对号清单)。
- prompts/:参考项目 3 份角色提示词、16 份任务说明,只做必要改动。
- TASK.md 补一句 unversionedNames 不存进代码版本。
- 方法.md 4.3 ① 改为"研究者任务"放信念本;结构.md vocab 上限 1150、补 materials 对外内容。
用户 2026-10-03 开工前的四个决定(选的都是推荐项):"甲:上限改 1150,只放对号清单";"甲:materials 定义并导出";"不放,改方法.md ① 的措辞";"按原提案挑"。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 04:08:46 -04:00
iomgaa
74d743eeb7
docs: 新增任务书 09-materials
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 02:25:08 -04:00
iomgaa
db67965af0
docs: WORK_LOG 记下判重材料加关键设定
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 02:15:24 -04:00
iomgaa
0d4446cd79
docs: 结构.md 的 jev 一行写明暂不校准;WORK_LOG 记下任务书 08 核对结果
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 02:13:07 -04:00
iomgaa
0ac1e01613
feat: 任务书 08,jev 模块与账本记 Jev 判断
...
src/jev 3 个文件 515 行:判重、查冻结条款、查代码改动三个函数,九问问法和阈值照参考项目,只改说法和字段名,阈值注明未在新项目材料上校准,等真实数据。
新增 npm run test:jev(真实 Jev 三处各问一次)。vocab 加 JevJudgment。
ledger 表结构版本 3:callEnded 四种结局对上 agents,墙钟时间用 Measured(恢复时补写出错、原因"进程中断"、测不到);退回、提交记录都带 jev。
config 加必填的 models.jev。
用户原话:"这次就给提交记录加一个和退回记录同样的 Jev 判断字段";"墙钟时间改用 Measured,恢复时写出错加测不到(原因'进程中断')"。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 02:11:20 -04:00
iomgaa
68e49fd01a
docs: 任务书 08 改为这次不校准,Jev 判断全部存进账本,等真实数据再校准
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 01:58:59 -04:00
iomgaa
aff2418c3c
docs: 新增任务书 08-jev,方法.md 补齐 Jev 九问
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 01:35:47 -04:00
iomgaa
c267efafa4
docs: WORK_LOG 记下任务书 07 核对结果
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 01:29:28 -04:00
iomgaa
96abc6f33d
docs: agents 预期行数改为 600–700;ledger 墙钟时间字段并入下一份任务书
...
用户原话:"问题 1 按 (a),但并入下一份任务书做;问题 2 按 (a),改成600–700"
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 01:27:29 -04:00
iomgaa
3600b5c409
feat: 任务书 07,agents 模块与真实模型测试
...
src/agents 4 个文件 681 行:runSession 按角色开 Pi 子会话、发工具、核对实际加载内容,
提交参数非法 JSON、必填字段交 null、Pi 形状校验不通过都经提交回调记退回。
Pi 依赖固定 0.85.1;新增 npm run test:pi(glm-5.3 真实会话)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 01:03:19 -04:00
iomgaa
a876f0fe9d
docs: 新增任务书 07-agents
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 00:17:54 -04:00
iomgaa
9f9ff50555
docs: 实验员会话不测 CPU,模型调用记墙钟时间
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-03 00:16:12 -04:00
iomgaa
2925d709a3
docs: 没有真实证据的可能情况不写进 WORK_LOG;记下任务书 06 核对结果
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 23:54:48 -04:00
iomgaa
6850c0a1d4
feat: 任务书 06,workspace 模块与 task.json 的"不存"清单
...
workspace 用一个裸仓库存代码版本,版本号是目录树编号,不造提交,每个版本挂 refs/versions/ 引用防清理。
存版本自己遍历目录、hash-object --no-filters 存,不用 git add;符号链接等特殊文件交回"存不了"。
取出用 ls-tree 加 cat-file 原样写出:实测 git archive 会按树里的 .gitattributes 丢文件、改换行符。
git 子进程不读系统和用户的配置,另关掉系统和用户的 attributes 文件:实测只关配置时 ~/.config/git/attributes 仍会被读。
比较交回文件级改动、新旧两边行号范围的块,以及带上下文的 diff 原文。
tasks:task.json 加必填的 unversionedNames,protectedFiles 删掉 solution.json。
全新上下文审阅一轮,采纳一条:注明块可以为空(空文件增删、只改可执行位)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 23:43:01 -04:00
iomgaa
a1a2feb135
docs: 新增任务书 06-workspace,结构.md 写明 git 的用法与行数
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 23:25:41 -04:00
iomgaa
6ea595f916
docs: WORK_LOG 记下任务书 05 核对结果,删掉没有真实证据的假想情况
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 22:05:24 -04:00
iomgaa
cf6bc4c844
feat: 任务书 05,runner 与 tasks 两个模块
...
runner 用 Docker 跑一条命令并交回结局和资源用量;tasks 读 task.json、准备运行目录、给出正式运行/校验器/轻量检查的运行定义,并从原始产物独立判分。任务目录从参考项目搬到 tasks/circle_packing/,新增 task.json;vocab 的 VERDICTS 删掉"判不了",ProcessResult 的 cancelled 改为"容器从外面被杀了"。
全新上下文审阅后的两处修复:计量 shell 以容器内 root 运行,命令经 setpriv 降权,结果写在容器自己的文件层、结束后 docker cp 取出,并加 no-new-privileges,候选无法伪造计量结果把超时记成正常退出;harness 开跑前删掉旧的 solution.json、metrics.json,旧产物不会被当成本次的值。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 13:55:47 -04:00
iomgaa
6005fb8ec2
docs: config 的朴素循环和步骤开关保留,任务书 05 不再顺带改 config 与 cells
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 12:04:36 -04:00
iomgaa
3f1c0a4c18
docs: 新增任务书 05-tasks-runner,结构.md 同步 runner/tasks 职责与行数
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 11:28:09 -04:00
iomgaa
869766107a
docs: 对照组(步骤开关、朴素循环)先不做
...
用户 2026-10-02:"先不做对照组,按你说的改"。参考项目真实运行里从未跑过朴素循环或关掉挑刺与回应。方法.md 第十一部分只留两个决策点的可换规则,对照组注明暂不实现;4.1、4.2 去掉开关;结构.md 第三、五部分去掉开关和预设。config 删开关、vocab 解释每格三个数改回必交,记进 WORK_LOG 由下一份任务书带上。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 10:32:49 -04:00
iomgaa
d13ecc267a
docs: WORK_LOG 记下任务书 04 核对结果
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 09:47:13 -04:00
iomgaa
d2bfb971ab
feat: 配置 config 模块(任务书 04)
...
- src/config:research.json 的字段定义(TypeBox,全部必填、不认识的字段报错,每个字段带中文说明和类别)、一次列出全部错误的校验、步骤清单纯函数。
- 流程写成完整流程 / 朴素循环两选一,第零轮、消融写成开 / 关两选一,冲突组合写不出来,不另写检查。
- 规则名取自 rules 登记表,config 改为依赖 rules(结构.md 第二部分、.dependency-cruiser.cjs)。
- ledger 顺手两处(结构.md 第四部分):消融结算按轮次唯一、去掉消融编号;私人笔记去掉版本号;表结构版本号升到 2。
- 结构.md 第八部分补 config 对外内容、更新 ledger 一节;WORK_LOG 更新。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 08:08:18 -04:00
iomgaa
4dc7ac9d62
docs: 新增任务书 04-config
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 07:40:27 -04:00
iomgaa
64e4fd8aac
docs: 整个系统不设默认值
...
用户 2026-10-02:"全部都不要默认值更好,甚至整个系统都不要默认值,因为默认值可能会掩盖错误";"在 CLAUDE.md'写代码的标准'里加一条可以,其他文档也要修改"。
CLAUDE.md 新增"不设默认值"一节,事实来源表与角色模型一句同步;方法.md 开头说明、6.11 末句、开发入口改为配置必须写明;结构.md config 一行和可替换点"方法参数"一行同步。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 07:39:18 -04:00
iomgaa
655f5bb829
docs: 核对任务书 03 后整理结构.md 与 WORK_LOG
...
结构.md:私人笔记不属于阶段、以最后一条为准;消融结算按轮次唯一。WORK_LOG:更正一处把监督者措辞当成用户原话的记录;执行者列的待定项分派给 ledger 顺手改、materials、agents/runner。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 06:51:44 -04:00
iomgaa
716f4b88a5
feat: 账本 ledger 模块(任务书 03)
...
一张只追加的表(序号、种类、内容、哈希),禁改禁删两条触发器。
有自己编号、只发生一次的 8 种记录加部分唯一索引,重复就报错:阶段开、阶段关、运行登记、
确认启动(确认没启动的结果也算这一条,防止同一次运行既扣次又退还)、运行结果、模型调用开始、结束、消融结算。
写入时只查四种拒收:只收开着的阶段的提交;替换必须接本人同一阶段、同一对象、同一种提交的最新一版,实现与核验类不能替换;
结果先于确认启动(没启动除外);本轮消融已有格启动后不能关解释阶段。
写提案时作者自评拆成封存。提供打开(核对表结构版本,非账本库不改动)、追加、同步事务、读取、未完成的动作。
第一版的可见性、截止序号、通用唯一键、jev 记录和多余的前提检查已按新版任务书清掉。
三轮全新上下文审阅;flow 传错参数一类的意见按 CLAUDE.md"罕见情况怎么办"第 2 条只记录不加代码。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 06:37:47 -04:00
iomgaa
595b275a10
docs: 清理账本第一版设计留下的文档残留;任务书 03 加清理清单
...
WORK_LOG、结构.md 来源说明里"12 种记录""900–1400 行"已过时。任务书 03 新增"先清理第一版留下的东西":列明要删的文件、函数、测试、注释,并要求用搜索结果证明清干净。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com >
2026-10-02 05:22:27 -04:00