 iomgaa
|
a426cbbd21
|
feat(soak): 压测入口——预算护栏、并发上限、干跑，以及记分板要的四个产物
--budget-calls 与 --concurrency 都没有默认值：一个能跑飞的压测入口迟早会跑飞。达到调用
上限时停止派发新任务，但已经在跑的让它跑完——半路砍断会制造一批没有结束记录的日志，而
那和崩溃长得一模一样，会污染故障注入那边的判定。
--dry-run 不打模型，只把任务集列出来、把每个 RunRequest 真的装配一遍，确认容器起得来、
语料读得进、脱敏闸过得了。它也刻意不往 runs-dir 写东西，写了的话紧接着的全量会撞上
RunIdentityError。
两个场景同时跑时任务轮流排开而不是拼接：共用一份预算，拼接的话排在前面的场景会把预算
吃光，而报告看起来只是「因预算停在第 N 个任务」——一次只压了一半的跑长得像一次正常的跑。
测试里最有价值的一条是真的把产物喂给记分板：手工搭两个 GovDoc 任务共六次运行（真的走
polyloop.session.run，模型是写死的替身），再 import 记分板判定，验十一条不变量全绿。
两边的 sidecar 约定对不上的话这条会当场红。
实跑过一次干跑：两道 AppWorld 题各装配出 12.4k 字符上下文，GovDoc 两个任务六次运行全部
装配成功，脱敏替换 64 处，跑完零残留容器。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-08-11 09:02:53 -04:00 |
|
|
iomgaa
|
10f4a49f37
|
fix(soak): 给 plan 与 execute 补上完成通路，它们原本必然跑满预算
打真实模型跑通一个完整任务时发现的：这两个阶段的工具集里没有带完成标记的工具，解释器
也从不产出最终回答，于是模型在第 4 步写完产出物之后还在继续读文档，直到撞上步数上限。
按原来的 50/50/16 算，二十个任务要两千三百多次调用，而且整批的停止原因会全是
step_budget，别的什么都压不出来。
解释器加一条最终回答支路（{"final_answer": "..."}），plan 与 execute 的提示词写死收尾
动作；summarize 不变，仍然只能靠 submit_finding 结束。这样三条完成路径同时在场：模型
自报最终回答、agent 调用带完成标记的工具、环境报告完成（AppWorld 那路），它们的可信度
各不相同，压测正需要这个对照。
预算随之下调到 20/25/16——实测每阶段真实用 5 到 7 步，留了一倍余量。原来那个 50 的来历
是 gov-auditor.yaml 的 turns 上限，但那边靠编排校验产物落盘来收阶段，跑满 turns 无所谓；
这里靠模型自己收尾，上限定高只会让它在产出物写完之后接着白烧。
实测：plan 7 步 agent_finished、execute 6 步 agent_finished、summarize 5 步
task_completed，一个任务 18 次调用。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-08-11 08:58:57 -04:00 |
|
|
iomgaa
|
f277197071
|
feat(soak): GovDoc 形态的场景——JSON 工具调用、按次收窄、提交型完成
这条路径至今零真实负载，而它和 AppWorld 那路压的东西完全不同：动作是 JSON 工具调用而
不是代码，完成由 agent 自报（带完成标记的提交工具）而不是环境报告，工具集按阶段收窄。
一个任务拆成三次运行（plan / execute / summarize），因为「按次收窄工具集」在这个库里
只能这么表达——治理单位是一次运行，一次运行只有一个工具注册表，阶段之间靠工作区传状态。
语料是真实公文，但先脱敏再用，且原文与脱敏文本都只在内存里，一个字节不落盘、不入库。
机构名、电话、信用代码、邮箱、联系人姓名换成明显是假的稳定假名（同一原名整份文档换成
同一假名，否则模型会以为是不同主体）；金额、项目编号、日期原样保留，它们是审核判断的
依据，换掉任务就没得判了。脱敏后必须过一遍独立的检出校验，有残留就拒绝启动——把未脱敏
的第三方真实信息发给外部模型服务是不可逆的，而漏一处的表现是「压测正常跑完」。
实测：主招标文件 17.5 万字符，校验函数对原文报 61 处、对脱敏后放行，六份语料全过，
40 个金额与全部日期无误伤。
write_note 与 submit_finding 声明为绝不重放，每次调用在工作区留一行审计——那份审计是
环境侧的实际执行次数证据，故障注入要验的「绝不重放的动作没有被执行两次」数的就是它。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-08-11 08:36:58 -04:00 |
|
|
iomgaa
|
292a936d42
|
feat(soak): 记分板——十一条不变量逐条判定，任一被击穿整批失败
判定分三档：通过 / 击穿 / 无法判定。第三档不许折算成通过——缺文件、缺字段导致判不了，
和判过了是两回事，混起来会让一次什么都没验的跑看起来全绿。退出码 1 是击穿，2 是只有
无法判定，--allow-undetermined 只放行后者。
守的东西：日志读得回来、跨进程的结果与内存里逐字段相等、步号连续、意图都有归宿（至多
一条悬空且必须在末尾，那正是崩溃点）、动作结果与步记录说同一件事、提示词字符数单调不
减、事件条数等于本进程走完的步数、投递失败计数对得上、并发之间不串台、停止原因与轨迹
自洽。
报告里不出现模型原文、观察、工具名与文档片段——压测语料里有第三方的真实文档，而报告
是要贴给人看的。有四条测试拿哨兵字符串验它确实漏不出去，其中一条是拿恶意工具名试出来
的：原本打算按字符白名单放行工具名，白名单恰好把哨兵放了过去。
每条不变量都配一个「构造出违反它的日志、验它确实报击穿」的用例——一个永远返回通过的
判定器比没有判定器更糟。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-08-11 08:27:09 -04:00 |
|
|
iomgaa
|
21a9a30ee9
|
feat(soak): AppWorld 场景适配器——代码围栏解释器与容器执行器
复刻 dissect 的动作协议当压测负载：两条正则、first_only 策略、五条纠错说明逐字照抄，
提示词模板连同出处一起收进 tools/soak/prompts/。有两处刻意不同，都写在代码注释里——
未闭合围栏那一支不补回三反引号（公共契约要求回填历史的文本不长于模型原文），空围栏
那一支不截断。
执行器在 execute 内部顺带问一次 is_done 填 env_reported_completion，并把环境自己数的
执行次数透出来。那个数字是故障注入的判据来源：验「声明绝不重放的动作没有被执行两次」
必须数环境侧，数库自己的计数器等于我们和我们自己对账。
端到端真跑过一道题（82e2fac_1）：8 步 task_completed，环境判分通过，事件数与步数与
环境执行次数三者相等，耗时 30 秒。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-08-11 08:16:31 -04:00 |
|