iomgaa/InfoRSI
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: 实验员会话不测 CPU，模型调用记墙钟时间

Browse Source 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
iomgaa
2026-10-03 00:16:12 -04:00
parent 2925d709a3
commit 9f9ff50555
3 changed files with 3 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files
WORK_LOG.md
+1 -1
View File
@@ -40,6 +40,7 @@
- 答案路径、保障动手次数只记读到的原始内容或读不到的原因；在不在位置表里，由以后拿得到位置表的模块现算，不存。用户原话："按'能现算的不存'，tasks 只记读到的原始内容……对表由以后有位置表的模块现算，把这条记进 WORK_LOG。" - 答案路径、保障动手次数只记读到的原始内容或读不到的原因；在不在位置表里，由以后拿得到位置表的模块现算，不存。用户原话："按'能现算的不存'，tasks 只记读到的原始内容……对表由以后有位置表的模块现算，把这条记进 WORK_LOG。"
- tasks 与 runner（任务书 05）：依赖跟着任务走，一份研究不能自己改依赖，镜像在研究开始时建一次、编号冻结进账本；runner、tasks 行数按结构.md 第七部分；两个模块合成一份任务书。用户原话："都同意，写任务书 05 吧"。监督者另定并告知用户：凡是执行任务代码的事（正式运行、判分、轻量检查）都在任务镜像里跑；资源用量在容器里读，不建要 root 清理的 cgroup 分组；容器断网；同一份研究所有运行用同一个种子；不做"取消"函数；`VERDICTS` 删掉"判不了"。 - tasks 与 runner（任务书 05）：依赖跟着任务走，一份研究不能自己改依赖，镜像在研究开始时建一次、编号冻结进账本；runner、tasks 行数按结构.md 第七部分；两个模块合成一份任务书。用户原话："都同意，写任务书 05 吧"。监督者另定并告知用户：凡是执行任务代码的事（正式运行、判分、轻量检查）都在任务镜像里跑；资源用量在容器里读，不建要 root 清理的 cgroup 分组；容器断网；同一份研究所有运行用同一个种子；不做"取消"函数；`VERDICTS` 删掉"判不了"。
- workspace（任务书 06）用 git：一份研究一个裸仓库，版本号是目录树编号；存版本时自己列文件、用 hash-object 存，不用 `git add`（实测 `.gitignore` 会让它悄悄漏存）；git 子进程不读用户配置；实验员目录里除了 task.json 的"不存"清单都算候选，符号链接等特殊文件退回实验员；预期 200–300 行。先派全新上下文子 Agent 独立分析过。用户原话："都同意，写任务书 06 吧"。 - workspace（任务书 06）用 git：一份研究一个裸仓库，版本号是目录树编号；存版本时自己列文件、用 hash-object 存，不用 `git add`（实测 `.gitignore` 会让它悄悄漏存）；git 子进程不读用户配置；实验员目录里除了 task.json 的"不存"清单都算候选，符号链接等特殊文件退回实验员；预期 200–300 行。先派全新上下文子 Agent 独立分析过。用户原话："都同意，写任务书 06 吧"。
- 实验员会话里的 shell 命令不测 CPU，只记每次模型调用的墙钟时间；正式运行的资源用量照记。用户原话："那要不就不测了？本来cpu就不重要，现在又可能测不准"。
## 未完成 ## 未完成
@@ -66,7 +67,6 @@
- 给 flow：确认启动前要先登记运行；模型调用要先开始再结束；阶段要先开再关；ledger 都不查。 - 给 flow：确认启动前要先登记运行；模型调用要先开始再结束；阶段要先开再关；ledger 都不查。
- 给 materials：别人的"退回"记录不放进任何研究者的材料（退回的提案原样带着作者自评，不另拆封存）。 - 给 materials：别人的"退回"记录不放进任何研究者的材料（退回的提案原样带着作者自评，不另拆封存）。
- 给 agents：模型的思考档位必须写明，不用参考项目"写 null 表示用 Pi 自己的默认"那种写法。 - 给 agents：模型的思考档位必须写明，不用参考项目"写 null 表示用 Pi 自己的默认"那种写法。
- 给 agents、runner："整个环境的用量"（实验员会话的 CPU、内存等）写这两个模块时再定记录种类。
- 给 flow：步骤清单没有单列"轮末动作"（解封作者自评、入选未跑的候选出池），flow 要做这些。 - 给 flow：步骤清单没有单列"轮末动作"（解封作者自评、入选未跑的候选出池），flow 要做这些。
- 写 plugin 时实测：源码导入路径带 `.ts` 扩展名，Pi 加载插件能否接受。 - 写 plugin 时实测：源码导入路径带 `.ts` 扩展名，Pi 加载插件能否接受。
- 给 submissions：研究者登记的假设专用指标编号不能和常规辅助指标重名（`metricDefinitions` 里的 7 个），否则候选自报的值会顶替宿主测的值（任务书 05 审阅意见）。 - 给 submissions：研究者登记的假设专用指标编号不能和常规辅助指标重名（`metricDefinitions` 里的 7 个），否则候选自报的值会顶替宿主测的值（任务书 05 审阅意见）。
docs/方法.md
+1 -1
View File
@@ -617,7 +617,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
- 正式运行次数事先定死，不能因为结果不好临时扩大。它是唯一的预算上限，也是唯一决定研究长度的上限，不设轮数上限。 - 正式运行次数事先定死，不能因为结果不好临时扩大。它是唯一的预算上限，也是唯一决定研究长度的上限，不设轮数上限。
- 计算时间不设总预算：单次运行的时限和核数已经由任务定死（见第八部分），每次运行最多花多少计算是固定的，再设计算时间总额只是重复运行次数。每次运行的 CPU 秒、墙钟时间、峰值内存照实记录。 - 计算时间不设总预算：单次运行的时限和核数已经由任务定死（见第八部分），每次运行最多花多少计算是固定的，再设计算时间总额只是重复运行次数。每次运行的 CPU 秒、墙钟时间、峰值内存照实记录。
- 模型调用不设上限，用量照实记录；拿不到用量时记"未知"，不记 0。 - 模型调用不设上限，用量照实记录；拿不到用量时记"未知"，不记 0。
- 程序记录整个环境的用量：正式运行和实验员会话的 CPU 时间、GPU 时间、内存、墙钟时间，以及模型调用量。这些只记录，不作为限制。 - 程序记录用量：正式运行的 CPU 时间、峰值内存、墙钟时间；每次模型调用的用量和墙钟时间。这些只记录，不作为限制。实验员在会话里敲的 shell 命令不测 CPU：CPU 本来不重要，放到后台的程序也测不全。
**什么时候扣次数** **什么时候扣次数**
docs/结构.md
+1 -1
View File
@@ -130,7 +130,7 @@
| 7 | 运行 | 每次正式运行三条：登记要跑（占名额）；确认启动（扣次）；结果（分数、合法化、指标、答案路径、资源） | flow（结果由 runner 与 tasks 给出） | | 7 | 运行 | 每次正式运行三条：登记要跑（占名额）；确认启动（扣次）；结果（分数、合法化、指标、答案路径、资源） | flow（结果由 runner 与 tasks 给出） |
| 8 | 决定 | 程序做的每个决定：选批、采纳、选格、押的因子、入口分配、判重合并。每条存规则名、规则版本、方法参数、种子、全部输入、输出；用到 Jev 的（判重合并），输入里带 Jev 的原始概率 | flow（由 rules 计算） | | 8 | 决定 | 程序做的每个决定：选批、采纳、选格、押的因子、入口分配、判重合并。每条存规则名、规则版本、方法参数、种子、全部输入、输出；用到 Jev 的（判重合并），输入里带 Jev 的原始概率 | flow（由 rules 计算） |
| 9 | 结算 | 每格的结局、撑几成、配合关系标签、每条解释的确认或否定、世界比特、惊讶 | flow（由 rules 计算） | | 9 | 结算 | 每格的结局、撑几成、配合关系标签、每条解释的确认或否定、世界比特、惊讶 | flow（由 rules 计算） |
| 10 | 用量 | 模型调用三条：开始（附这次任务的全部材料）、每次回复的用量、结束；整个环境的用量。只记录 | agents、runner | | 10 | 用量 | 模型调用三条：开始（附这次任务的全部材料）、每次回复的用量、结束（带这次调用的墙钟时间）。正式运行的资源用量记在运行结果里。只记录 | flow（用量由 agents 交出） |
| 11 | 事件 | 违规记录、"按配置跳过"、"没测"及原因、停下的原因 | flow | | 11 | 事件 | 违规记录、"按配置跳过"、"没测"及原因、停下的原因 | flow |
Jev 是一个判别器，和程序检查地位相同，不单独成一种记录：它的原始概率和结论，记在它判断的那件事里（第 3 种的退回理由、第 8 种的判重合并）。 Jev 是一个判别器，和程序检查地位相同，不单独成一种记录：它的原始概率和结论，记在它判断的那件事里（第 3 种的退回理由、第 8 种的判重合并）。