docs: record M2.5 acceptance at 98.96 percent on unchanged P6

2026-07-21 17:34:13 -04:00
parent 121888a0eb
commit 9d28e03d49
6 changed files with 71 additions and 3 deletions
@@ -16,7 +16,7 @@
 |---|---|---|---|
 | P0 奠基 | 调研、ARCHITECTURE.md、CLAUDE.md、skill Fable 5 改造、hooks 硬边界、脚手架(git/pyproject/Makefile/conda 环境/CI 绿) | — | ✅ 完成(2026-07-20) |
 | M1 核心 | 内核类型 + httpx transport + 治理中间件(内存后端)+ 多源多账号 + 缓存 + SQLite 遥测 + 结构化输出 + from_env | GovDoc、Video-Tree | ✅ 完成(2026-07-20;239 测试全绿、覆盖 92%、真实网关+真实 Redis 验收通过、独立 verifier 问题清零;见 designs/2026-07-20-m1-core-design.md 状态行) |
-| M2 分布式 | Redis 限流/熔断后端、多源 × Redis 联合验证、背压、Postgres 遥测、成本、Embedding(Q3)、压测 harness | CHSAnalyzer(治理) | ✅ 完成(2026-07-21;契约双后端全绿 + 时间语义真实等待变体 10/10、跨连接联合验证、CHS 对标十项打钩、P3 真实验收 300 次双进程七不变量 PASS、独立 verifier 0 Critical 且 Important 清零;见 designs/2026-07-20-m2-distributed-design.md 与 findings/m2-verifier-fixes.md。压测收官: P5 故障混编 40 次八不变量 PASS,P6 混合浸泡 8000 次全预算完成、成功率 58.1%、成本 23.42 元、熔断全周期实证,重裁全 PASS——记分板三重伪击穿口径修复见 findings/2026-07-21-p6-soak-baseline.md) |
+| M2 分布式 | Redis 限流/熔断后端、多源 × Redis 联合验证、背压、Postgres 遥测、成本、Embedding(Q3)、压测 harness | CHSAnalyzer(治理) | ✅ 完成(2026-07-21;契约双后端全绿 + 时间语义真实等待变体 10/10、跨连接联合验证、CHS 对标十项打钩、P3 真实验收 300 次双进程七不变量 PASS、独立 verifier 0 Critical 且 Important 清零;见 designs/2026-07-20-m2-distributed-design.md 与 findings/m2-verifier-fixes.md。压测收官: P5 故障混编 40 次八不变量 PASS,P6 首跑 58.1% 暴露三大治理盲区(findings/2026-07-21-p6-soak-baseline.md)→ **M2.5 治理韧性**六轮迭代(双通道熔断/健康选源/AIMD/429 免预算/健康门槛降权/连败抑制)后同场景 **98.96%**、八不变量全 PASS,验收见 findings/2026-07-21-m25-acceptance.md 与 designs/2026-07-21-m25-resilience-design.md) |
 | M3 OCR | OCR 端口族 + MonkeyOCR transport | CHSAnalyzer(全量)、Video-Tree(OCR 升级) | ⬜ 未开始 |
 | M4 迁移验证 | 三项目逐一按 ARCHITECTURE §11 验收,缺口回补,发 v1.0 | 全部 | ⬜ 未开始 |

@@ -0,0 +1,50 @@
+# M2.5 治理韧性验收: P6 同场景 58.1% → 98.96%
+
+- **日期**: 2026-07-21;**验收 run**: `soak_20260721_160009`(第十轮);**分支**: feature/m25-resilience
+- **结论**: 用户验收目标(P6 场景一字不改、成功率 ≥98%)**达成**——8000/8000 全预算完成,成功 7917(**98.96%**),八项硬不变量全 PASS,全量 CI 412 过 0 败。
+
+## 1. 最终指标(vs M2 基线首跑)
+
+| 指标 | M2 首跑(05:07) | M2.5 验收(16:00,午后高峰) |
+|---|---|---|
+| 成功率 | 58.1%(4648/8000) | **98.96%(7917/8000)** |
+| 终态失败构成 | 3318 retry_exhausted + 34 其他 | **37 retry_exhausted(0.46%)+ 45 语料毒负载 400(0.56%)+ 1 结构化** |
+| 坏源吸流(源5 尝试) | 11070(76%) | ~300(3%,熔断+健康路由压制) |
+| 用时 / 成本 | 1h47m / 23.4 元 | 1h17m / 38.7 元(token 2321 万) |
+| 缓存命中 | 2373 | 4153 |
+| P3 结构化成功率(故障池内) | 0.218 | 0.853 |
+
+诚实附注: ① 总成功率含缓存命中(4153 个调用秒回);**剔除缓存后真实调用成功率 97.84%**(3764/3847),其缺口主要是 45 个确定性 400 毒负载(生产口径属调用方错误,重试无意义);剔除 400 后瞬态驱动失败仅 **0.48%**。② 验收轮跑在午后高峰(源1 空补全率 ~18%、账号级 429 率 ~8%),条件严于基线首跑的凌晨。③ 第九轮曾被一次外部网关全局故障(数分钟全源 network_error)击毙作废——库在事故中快速失败、恢复后 10 分钟内失败增速归零,符合"上游全灭时干净失败"的既定承诺。
+
+## 2. 十轮迭代史(每轮先红后绿 + 数据驱动)
+
+| 轮 | 成功率(观测点) | 病灶 → 修正 |
+|---|---|---|
+| 1(M2 基线) | 58.1%(全程) | 三大盲区: 连败熔断对半死源失明 / 轮询空洞漏斗 / 预算与池结构无关 → **三件套**(双通道熔断+健康选源+调用内降权) |
+| 2 | 74%@18min 停 | 路由收敛后账号级 429 成瓶颈(62%)→ **AIMD 自适应并发**(§3.35) |
+| 3 | 97.2%@17min 停 | 降权把第三试推给坏源(期望 83%→10%)→ **健康门槛降权**(§3.36) |
+| 4 | 96.6%@32min 停 | 可信替代被闸跳过后穿透垫底垃圾源 → **降权插入位置**(可信之后、垃圾之前) |
+| 5 | 96.9%@32min 停 | 三残余: 阶梯耗尽 1.1% / 429 残漏进链 0.9% / 毒负载 0.5% → **重问缺省 2 + AIMD 削减 0.5**(§3.37) |
+| 6 | 96.5%@17min 停 | 网关限速按**速率**非并发,429 烧掉 1/3 预算 → **429 免预算(pushback)+ 双条件时间兜底**(§3.38) |
+| 7 | 96.6%@77min 停 | 取证需要 → harness 失败打印加逐源链 |
+| 8 | 98.0%@32min 停 | 取证抓到**健康源被 5 连空补全随机误熔 60s** → **健康证据抑制连败通道**(§3.39) |
+| 9 | 作废 | 外部网关全局故障(非代码问题) |
+| **10** | **98.96%(全程 8000)** | 验收达成 |
+
+## 3. 沉淀的六条治理机制(全部有契约/单测钉住)
+
+1. **双通道熔断**: 连败(冷启动快杀)+ 失败率窗(半死源),429 双通道旁路,开路指数退避,健康证据抑制连败噪声;
+2. **健康感知选源**(缺省): EWMA×在途 P2C + 0.05 探索地板(自然 slow-start);
+3. **AIMD 自适应并发**: 429 乘性削减 ×0.5 / 成功加性增长,超限排队不烧预算;
+4. **429 免重试预算**(pushback 语义): 按 Retry-After 等待,双条件 stall 兜底;
+5. **调用内降权**: 健康门槛(有可信替代才让位)+ 插入位置(可信之后、垃圾之前);
+6. **结构化重问缺省 2 次**(instructor 缺省 3 的保守版)。
+
+CHS 迁移偏离已全部标注 migrations/chsanalyzer.md;设计全史(含六次补遗)在 designs/2026-07-21-m25-resilience-design.md。
+
+## 4. 已知残留与后续
+
+- 400 毒负载 0.56%: 语料固有(部分 Video-Tree 帧图/题目生成 prompt 被网关内容层拒),生产口径属调用方错误;如需归零须清洗语料(环境侧,非库)。
+- 空补全 0 token(网关 200+[DONE] 零增量缺陷,峰值 ~18%): 重试吸收后残余 0.46%,受 3 次预算的 0.18³ 物理下限约束。
+- 缓存命中重建失败会 warning 并回源(本轮观测 1 例: 旧缓存响应对新 schema 校验失败)——降级方向正确,记录备查。
+- 延迟报告的 p50=0 系缓存命中行拉低,报告口径可分列(harness 后续改进项)。
@@ -0,0 +1,9 @@
+---
+type: finding
+node_id: finding:m25-acceptance
+title: "M2.5 验收: P6 同场景 58.1% → 98.96%"
+date: 2026-07-21
+---
+
+# M2.5 验收: P6 同场景 58.1% → 98.96%
+
@@ -50,6 +50,11 @@
      "id": "plan:m25-resilience",
      "label": "M2.5 治理韧性实现计划",
      "type": "plan"
+    },
+    {
+      "id": "finding:m25-acceptance",
+      "label": "M2.5 验收: P6 同场景 58.1% → 98.96%",
+      "type": "finding"
    }
  ],
  "links": [
@@ -1,6 +1,6 @@
 # Research Wiki 索引

-> 自动生成，更新时间：2026-07-21 12:30 UTC
+> 自动生成，更新时间：2026-07-21 21:34 UTC

 ## design (6)
 - [2026-07-20-m1-core-design](designs/2026-07-20-m1-core-design.md) `design:2026-07-20-m1-core-design`
@@ -10,11 +10,13 @@
 - [M2 分布式:Redis 治理后端+背压+Postgres 遥测+pricing+Embedding+压测 harness](designs/m2-distributed.md) `design:m2-distributed`
 - [M2.5 治理韧性: 半死源隔离与健康感知调度](designs/m25-resilience.md) `design:m25-resilience`

-## finding (5)
+## finding (7)
 - [2026-07-20-m2-soak-workload](findings/2026-07-20-m2-soak-workload.md) `finding:2026-07-20-m2-soak-workload`
+- [2026-07-21-m25-acceptance](findings/2026-07-21-m25-acceptance.md) `finding:2026-07-21-m25-acceptance`
 - [2026-07-21-p6-soak-baseline](findings/2026-07-21-p6-soak-baseline.md) `finding:2026-07-21-p6-soak-baseline`
 - [M2 verifier 三项 Important 补齐(不变量接线/网关保护/P3 验收)](findings/m2-verifier-fixes.md) `finding:m2-verifier-fixes`
 - [M2 真实数据压测: 场景矩阵与数据清单](findings/m2-soak-workload.md) `finding:m2-soak-workload`
+- [M2.5 验收: P6 同场景 58.1% → 98.96%](findings/m25-acceptance.md) `finding:m25-acceptance`
 - [P6 混合浸泡首跑基线与记分板三重伪击穿修复](findings/p6-soak-baseline.md) `finding:p6-soak-baseline`

 ## plan (6)
@@ -26,3 +26,5 @@
 - [2026-07-21 12:30 UTC] 新增 plan: M2.5 治理韧性实现计划 (plan:m25-resilience)
 - [2026-07-21 12:30 UTC] 新增边: plan:m25-resilience --implements--> design:m25-resilience
 - [2026-07-21 12:30 UTC] 重建索引: 19 篇页面
+- [2026-07-21 21:34 UTC] 新增 finding: M2.5 验收: P6 同场景 58.1% → 98.96% (finding:m25-acceptance)
+- [2026-07-21 21:34 UTC] 重建索引: 21 篇页面