2 Commits

Author	SHA1	Message	Date
iomgaa	10f4a49f37	fix(soak): 给 plan 与 execute 补上完成通路，它们原本必然跑满预算 ... 打真实模型跑通一个完整任务时发现的：这两个阶段的工具集里没有带完成标记的工具，解释器 也从不产出最终回答，于是模型在第 4 步写完产出物之后还在继续读文档，直到撞上步数上限。 按原来的 50/50/16 算，二十个任务要两千三百多次调用，而且整批的停止原因会全是 step_budget，别的什么都压不出来。 解释器加一条最终回答支路（{"final_answer": "..."}），plan 与 execute 的提示词写死收尾 动作；summarize 不变，仍然只能靠 submit_finding 结束。这样三条完成路径同时在场：模型 自报最终回答、agent 调用带完成标记的工具、环境报告完成（AppWorld 那路），它们的可信度 各不相同，压测正需要这个对照。 预算随之下调到 20/25/16——实测每阶段真实用 5 到 7 步，留了一倍余量。原来那个 50 的来历 是 gov-auditor.yaml 的 turns 上限，但那边靠编排校验产物落盘来收阶段，跑满 turns 无所谓； 这里靠模型自己收尾，上限定高只会让它在产出物写完之后接着白烧。 实测：plan 7 步 agent_finished、execute 6 步 agent_finished、summarize 5 步 task_completed，一个任务 18 次调用。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2026-08-11 08:58:57 -04:00
iomgaa	f277197071	feat(soak): GovDoc 形态的场景——JSON 工具调用、按次收窄、提交型完成 ... 这条路径至今零真实负载，而它和 AppWorld 那路压的东西完全不同：动作是 JSON 工具调用而 不是代码，完成由 agent 自报（带完成标记的提交工具）而不是环境报告，工具集按阶段收窄。 一个任务拆成三次运行（plan / execute / summarize），因为「按次收窄工具集」在这个库里 只能这么表达——治理单位是一次运行，一次运行只有一个工具注册表，阶段之间靠工作区传状态。 语料是真实公文，但先脱敏再用，且原文与脱敏文本都只在内存里，一个字节不落盘、不入库。 机构名、电话、信用代码、邮箱、联系人姓名换成明显是假的稳定假名（同一原名整份文档换成 同一假名，否则模型会以为是不同主体）；金额、项目编号、日期原样保留，它们是审核判断的 依据，换掉任务就没得判了。脱敏后必须过一遍独立的检出校验，有残留就拒绝启动——把未脱敏 的第三方真实信息发给外部模型服务是不可逆的，而漏一处的表现是「压测正常跑完」。 实测：主招标文件 17.5 万字符，校验函数对原文报 61 处、对脱敏后放行，六份语料全过， 40 个金额与全部日期无误伤。 write_note 与 submit_finding 声明为绝不重放，每次调用在工作区留一行审计——那份审计是 环境侧的实际执行次数证据，故障注入要验的「绝不重放的动作没有被执行两次」数的就是它。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2026-08-11 08:36:58 -04:00