docs: 实验员会话不测 CPU,模型调用记墙钟时间
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+1
-1
@@ -617,7 +617,7 @@ VOI(S) = E_{S 的结果}[ max_p E(收益_p | S 的结果) ] − max_p E(收益_p
|
||||
- 正式运行次数事先定死,不能因为结果不好临时扩大。它是唯一的预算上限,也是唯一决定研究长度的上限,不设轮数上限。
|
||||
- 计算时间不设总预算:单次运行的时限和核数已经由任务定死(见第八部分),每次运行最多花多少计算是固定的,再设计算时间总额只是重复运行次数。每次运行的 CPU 秒、墙钟时间、峰值内存照实记录。
|
||||
- 模型调用不设上限,用量照实记录;拿不到用量时记"未知",不记 0。
|
||||
- 程序记录整个环境的用量:正式运行和实验员会话的 CPU 时间、GPU 时间、内存、墙钟时间,以及模型调用量。这些只记录,不作为限制。
|
||||
- 程序记录用量:正式运行的 CPU 时间、峰值内存、墙钟时间;每次模型调用的用量和墙钟时间。这些只记录,不作为限制。实验员在会话里敲的 shell 命令不测 CPU:CPU 本来不重要,放到后台的程序也测不全。
|
||||
|
||||
**什么时候扣次数**
|
||||
|
||||
|
||||
+1
-1
@@ -130,7 +130,7 @@
|
||||
| 7 | 运行 | 每次正式运行三条:登记要跑(占名额);确认启动(扣次);结果(分数、合法化、指标、答案路径、资源) | flow(结果由 runner 与 tasks 给出) |
|
||||
| 8 | 决定 | 程序做的每个决定:选批、采纳、选格、押的因子、入口分配、判重合并。每条存规则名、规则版本、方法参数、种子、全部输入、输出;用到 Jev 的(判重合并),输入里带 Jev 的原始概率 | flow(由 rules 计算) |
|
||||
| 9 | 结算 | 每格的结局、撑几成、配合关系标签、每条解释的确认或否定、世界比特、惊讶 | flow(由 rules 计算) |
|
||||
| 10 | 用量 | 模型调用三条:开始(附这次任务的全部材料)、每次回复的用量、结束;整个环境的用量。只记录 | agents、runner |
|
||||
| 10 | 用量 | 模型调用三条:开始(附这次任务的全部材料)、每次回复的用量、结束(带这次调用的墙钟时间)。正式运行的资源用量记在运行结果里。只记录 | flow(用量由 agents 交出) |
|
||||
| 11 | 事件 | 违规记录、"按配置跳过"、"没测"及原因、停下的原因 | flow |
|
||||
|
||||
Jev 是一个判别器,和程序检查地位相同,不单独成一种记录:它的原始概率和结论,记在它判断的那件事里(第 3 种的退回理由、第 8 种的判重合并)。
|
||||
|
||||
Reference in New Issue
Block a user