Files

T

iomgaa a06761917e fix: address M2.5 verifier findings before merge

AIMD ceiling now respects per-source max_concurrency and the pacer is
assembled explicitly in the client; MIN_CALLS parses as strict int;
acceptance doc corrects source-5 attempt count to 549; design and
migration notes aligned with implemented 429/stall/suppression
semantics and AIMD constants documented.

2026-07-21 21:10:02 -04:00

4.1 KiB

Raw Permalink Blame History

M2.5 治理韧性验收: P6 同场景 58.1% → 98.96%

日期: 2026-07-21;验收 run: soak_20260721_160009(第十轮);分支: feature/m25-resilience
结论: 用户验收目标(P6 场景一字不改、成功率 ≥98%)达成——8000/8000 全预算完成,成功 7917(98.96%),八项硬不变量全 PASS,全量 CI 412 过 0 败。

1. 最终指标(vs M2 基线首跑)

指标	M2 首跑(05:07)	M2.5 验收(16:00,午后高峰)
成功率	58.1%(4648/8000)	98.96%(7917/8000)
终态失败构成	3318 retry_exhausted + 34 其他	37 retry_exhausted(0.46%)+ 45 语料毒负载 400(0.56%)+ 1 结构化
坏源吸流(源5 尝试)	11070(76%)	549(真实尝试的 9.3%,压制 20 倍;独立核验重算更正)
用时 / 成本	1h47m / 23.4 元	1h17m / 38.7 元(token 2321 万)
缓存命中	2373	4153
P3 结构化成功率(故障池内)	0.218	0.853

诚实附注: ① 总成功率含缓存命中(4153 个调用秒回);剔除缓存后真实调用成功率 97.84%(3764/3847),其缺口主要是 45 个确定性 400 毒负载(生产口径属调用方错误,重试无意义);剔除 400 后瞬态驱动失败仅 0.48%。② 验收轮跑在午后高峰(源1 空补全率 ~18%、账号级 429 率 ~8%),条件严于基线首跑的凌晨。③ 第九轮曾被一次外部网关全局故障(数分钟全源 network_error)击毙作废——库在事故中快速失败、恢复后 10 分钟内失败增速归零,符合"上游全灭时干净失败"的既定承诺。

2. 十轮迭代史(每轮先红后绿 + 数据驱动)

轮	成功率(观测点)	病灶 → 修正
1(M2 基线)	58.1%(全程)	三大盲区: 连败熔断对半死源失明 / 轮询空洞漏斗 / 预算与池结构无关 → 三件套(双通道熔断+健康选源+调用内降权)
2	74%@18min 停	路由收敛后账号级 429 成瓶颈(62%)→ AIMD 自适应并发(§3.35)
3	97.2%@17min 停	降权把第三试推给坏源(期望 83%→10%)→ 健康门槛降权(§3.36)
4	96.6%@32min 停	可信替代被闸跳过后穿透垫底垃圾源 → 降权插入位置(可信之后、垃圾之前)
5	96.9%@32min 停	三残余: 阶梯耗尽 1.1% / 429 残漏进链 0.9% / 毒负载 0.5% → 重问缺省 2 + AIMD 削减 0.5(§3.37)
6	96.5%@17min 停	网关限速按速率非并发,429 烧掉 1/3 预算 → 429 免预算(pushback)+ 双条件时间兜底(§3.38)
7	96.6%@77min 停	取证需要 → harness 失败打印加逐源链
8	98.0%@32min 停	取证抓到健康源被 5 连空补全随机误熔 60s → 健康证据抑制连败通道(§3.39)
9	作废	外部网关全局故障(非代码问题)
10	98.96%(全程 8000)	验收达成

3. 沉淀的六条治理机制(全部有契约/单测钉住)

双通道熔断: 连败(冷启动快杀)+ 失败率窗(半死源),429 双通道旁路,开路指数退避,健康证据抑制连败噪声;
健康感知选源(缺省): EWMA×在途 P2C + 0.05 探索地板(自然 slow-start);
AIMD 自适应并发: 429 乘性削减 ×0.5 / 成功加性增长,超限排队不烧预算;
429 免重试预算(pushback 语义): 按 Retry-After 等待,双条件 stall 兜底;
调用内降权: 健康门槛(有可信替代才让位)+ 插入位置(可信之后、垃圾之前);
结构化重问缺省 2 次(instructor 缺省 3 的保守版)。

CHS 迁移偏离已全部标注 migrations/chsanalyzer.md;设计全史(含六次补遗)在 designs/2026-07-21-m25-resilience-design.md。

4. 已知残留与后续

400 毒负载 0.56%: 语料固有(部分 Video-Tree 帧图/题目生成 prompt 被网关内容层拒),生产口径属调用方错误;如需归零须清洗语料(环境侧,非库)。
空补全 0 token(网关 200+[DONE] 零增量缺陷,峰值 ~18%): 重试吸收后残余 0.46%,受 3 次预算的 0.18³ 物理下限约束。
缓存命中重建失败会 warning 并回源(本轮观测 1 例: 旧缓存响应对新 schema 校验失败)——降级方向正确,记录备查。
延迟报告的 p50=0 系缓存命中行拉低,报告口径可分列(harness 后续改进项)。

4.1 KiB Raw Permalink Blame History