 iomgaa
|
43971573b7
|
feat(soak): 故障注入——崩溃续跑、取消、撞预算、解析失败连击
这七类是压测真正要看的东西：一百个任务顺利跑完什么都证明不了，能证明东西的是这些没有
失败现场的路径上库有没有守住承诺。
判据一条都不依赖模型的确定性，全是结构不变量。最硬的那条是「声明绝不重放的动作没有被
执行两次」——证据取自环境侧自己记的账（工作区的审计文件），不取库报的步数或动作数，
后者是库对自己行为的陈述，拿它验库的行为就是我们和我们自己对账。
崩溃是真 SIGKILL 子进程，不是模拟的注入点，而且分两种时机：一步完整落地之后崩（续跑应
该真的接着跑），以及意图落盘、结果还没落盘时崩（那条意图声明绝不重放，库应该判定状态
未知、干净停下）。第二种的命中条件是「最后一条意图的重放策略是 never」而不是「最后一条
是意图」——只读工具声明的是 safe，悬在那种意图上续跑会重放接着走，判据会时对时错，而错
的那几次看起来只像模型走了别的路。
判定和记分板一样分三档，「无法判定」不折算成通过：审计账为空时「去重前后条数相等」是真
空成立的，报成通过等于把「什么都没验到」显示成绿。命中不了时机也报无法判定，不降级成
另一种时机假装验过。
调用数护栏按每类故障的边界拦，不在模型客户端里抛异常——在那里抛的话库会把它记成模型调用
失败、合成观察接着跑，护栏本身就成了一次注入进来的故障，把要验的停止原因搅乱了。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-08-11 09:05:05 -04:00 |
|