From 9d28e03d49f5287f9958f6aa4bddb7cbe4832eb6 Mon Sep 17 00:00:00 2001 From: iomgaa Date: Tue, 21 Jul 2026 17:34:13 -0400 Subject: [PATCH] docs: record M2.5 acceptance at 98.96 percent on unchanged P6 --- research-wiki/ROADMAP.md | 2 +- .../findings/2026-07-21-m25-acceptance.md | 50 +++++++++++++++++++ research-wiki/findings/m25-acceptance.md | 9 ++++ research-wiki/graph/edges.json | 5 ++ research-wiki/index.md | 6 ++- research-wiki/log.md | 2 + 6 files changed, 71 insertions(+), 3 deletions(-) create mode 100644 research-wiki/findings/2026-07-21-m25-acceptance.md create mode 100644 research-wiki/findings/m25-acceptance.md diff --git a/research-wiki/ROADMAP.md b/research-wiki/ROADMAP.md index be5801a..15d3213 100644 --- a/research-wiki/ROADMAP.md +++ b/research-wiki/ROADMAP.md @@ -16,7 +16,7 @@ |---|---|---|---| | P0 奠基 | 调研、ARCHITECTURE.md、CLAUDE.md、skill Fable 5 改造、hooks 硬边界、脚手架(git/pyproject/Makefile/conda 环境/CI 绿) | — | ✅ 完成(2026-07-20) | | M1 核心 | 内核类型 + httpx transport + 治理中间件(内存后端)+ 多源多账号 + 缓存 + SQLite 遥测 + 结构化输出 + from_env | GovDoc、Video-Tree | ✅ 完成(2026-07-20;239 测试全绿、覆盖 92%、真实网关+真实 Redis 验收通过、独立 verifier 问题清零;见 designs/2026-07-20-m1-core-design.md 状态行) | -| M2 分布式 | Redis 限流/熔断后端、多源 × Redis 联合验证、背压、Postgres 遥测、成本、Embedding(Q3)、压测 harness | CHSAnalyzer(治理) | ✅ 完成(2026-07-21;契约双后端全绿 + 时间语义真实等待变体 10/10、跨连接联合验证、CHS 对标十项打钩、P3 真实验收 300 次双进程七不变量 PASS、独立 verifier 0 Critical 且 Important 清零;见 designs/2026-07-20-m2-distributed-design.md 与 findings/m2-verifier-fixes.md。压测收官: P5 故障混编 40 次八不变量 PASS,P6 混合浸泡 8000 次全预算完成、成功率 58.1%、成本 23.42 元、熔断全周期实证,重裁全 PASS——记分板三重伪击穿口径修复见 findings/2026-07-21-p6-soak-baseline.md) | +| M2 分布式 | Redis 限流/熔断后端、多源 × Redis 联合验证、背压、Postgres 遥测、成本、Embedding(Q3)、压测 harness | CHSAnalyzer(治理) | ✅ 完成(2026-07-21;契约双后端全绿 + 时间语义真实等待变体 10/10、跨连接联合验证、CHS 对标十项打钩、P3 真实验收 300 次双进程七不变量 PASS、独立 verifier 0 Critical 且 Important 清零;见 designs/2026-07-20-m2-distributed-design.md 与 findings/m2-verifier-fixes.md。压测收官: P5 故障混编 40 次八不变量 PASS,P6 首跑 58.1% 暴露三大治理盲区(findings/2026-07-21-p6-soak-baseline.md)→ **M2.5 治理韧性**六轮迭代(双通道熔断/健康选源/AIMD/429 免预算/健康门槛降权/连败抑制)后同场景 **98.96%**、八不变量全 PASS,验收见 findings/2026-07-21-m25-acceptance.md 与 designs/2026-07-21-m25-resilience-design.md) | | M3 OCR | OCR 端口族 + MonkeyOCR transport | CHSAnalyzer(全量)、Video-Tree(OCR 升级) | ⬜ 未开始 | | M4 迁移验证 | 三项目逐一按 ARCHITECTURE §11 验收,缺口回补,发 v1.0 | 全部 | ⬜ 未开始 | diff --git a/research-wiki/findings/2026-07-21-m25-acceptance.md b/research-wiki/findings/2026-07-21-m25-acceptance.md new file mode 100644 index 0000000..e6e0c46 --- /dev/null +++ b/research-wiki/findings/2026-07-21-m25-acceptance.md @@ -0,0 +1,50 @@ +# M2.5 治理韧性验收: P6 同场景 58.1% → 98.96% + +- **日期**: 2026-07-21;**验收 run**: `soak_20260721_160009`(第十轮);**分支**: feature/m25-resilience +- **结论**: 用户验收目标(P6 场景一字不改、成功率 ≥98%)**达成**——8000/8000 全预算完成,成功 7917(**98.96%**),八项硬不变量全 PASS,全量 CI 412 过 0 败。 + +## 1. 最终指标(vs M2 基线首跑) + +| 指标 | M2 首跑(05:07) | M2.5 验收(16:00,午后高峰) | +|---|---|---| +| 成功率 | 58.1%(4648/8000) | **98.96%(7917/8000)** | +| 终态失败构成 | 3318 retry_exhausted + 34 其他 | **37 retry_exhausted(0.46%)+ 45 语料毒负载 400(0.56%)+ 1 结构化** | +| 坏源吸流(源5 尝试) | 11070(76%) | ~300(3%,熔断+健康路由压制) | +| 用时 / 成本 | 1h47m / 23.4 元 | 1h17m / 38.7 元(token 2321 万) | +| 缓存命中 | 2373 | 4153 | +| P3 结构化成功率(故障池内) | 0.218 | 0.853 | + +诚实附注: ① 总成功率含缓存命中(4153 个调用秒回);**剔除缓存后真实调用成功率 97.84%**(3764/3847),其缺口主要是 45 个确定性 400 毒负载(生产口径属调用方错误,重试无意义);剔除 400 后瞬态驱动失败仅 **0.48%**。② 验收轮跑在午后高峰(源1 空补全率 ~18%、账号级 429 率 ~8%),条件严于基线首跑的凌晨。③ 第九轮曾被一次外部网关全局故障(数分钟全源 network_error)击毙作废——库在事故中快速失败、恢复后 10 分钟内失败增速归零,符合"上游全灭时干净失败"的既定承诺。 + +## 2. 十轮迭代史(每轮先红后绿 + 数据驱动) + +| 轮 | 成功率(观测点) | 病灶 → 修正 | +|---|---|---| +| 1(M2 基线) | 58.1%(全程) | 三大盲区: 连败熔断对半死源失明 / 轮询空洞漏斗 / 预算与池结构无关 → **三件套**(双通道熔断+健康选源+调用内降权) | +| 2 | 74%@18min 停 | 路由收敛后账号级 429 成瓶颈(62%)→ **AIMD 自适应并发**(§3.35) | +| 3 | 97.2%@17min 停 | 降权把第三试推给坏源(期望 83%→10%)→ **健康门槛降权**(§3.36) | +| 4 | 96.6%@32min 停 | 可信替代被闸跳过后穿透垫底垃圾源 → **降权插入位置**(可信之后、垃圾之前) | +| 5 | 96.9%@32min 停 | 三残余: 阶梯耗尽 1.1% / 429 残漏进链 0.9% / 毒负载 0.5% → **重问缺省 2 + AIMD 削减 0.5**(§3.37) | +| 6 | 96.5%@17min 停 | 网关限速按**速率**非并发,429 烧掉 1/3 预算 → **429 免预算(pushback)+ 双条件时间兜底**(§3.38) | +| 7 | 96.6%@77min 停 | 取证需要 → harness 失败打印加逐源链 | +| 8 | 98.0%@32min 停 | 取证抓到**健康源被 5 连空补全随机误熔 60s** → **健康证据抑制连败通道**(§3.39) | +| 9 | 作废 | 外部网关全局故障(非代码问题) | +| **10** | **98.96%(全程 8000)** | 验收达成 | + +## 3. 沉淀的六条治理机制(全部有契约/单测钉住) + +1. **双通道熔断**: 连败(冷启动快杀)+ 失败率窗(半死源),429 双通道旁路,开路指数退避,健康证据抑制连败噪声; +2. **健康感知选源**(缺省): EWMA×在途 P2C + 0.05 探索地板(自然 slow-start); +3. **AIMD 自适应并发**: 429 乘性削减 ×0.5 / 成功加性增长,超限排队不烧预算; +4. **429 免重试预算**(pushback 语义): 按 Retry-After 等待,双条件 stall 兜底; +5. **调用内降权**: 健康门槛(有可信替代才让位)+ 插入位置(可信之后、垃圾之前); +6. **结构化重问缺省 2 次**(instructor 缺省 3 的保守版)。 + +CHS 迁移偏离已全部标注 migrations/chsanalyzer.md;设计全史(含六次补遗)在 designs/2026-07-21-m25-resilience-design.md。 + +## 4. 已知残留与后续 + +- 400 毒负载 0.56%: 语料固有(部分 Video-Tree 帧图/题目生成 prompt 被网关内容层拒),生产口径属调用方错误;如需归零须清洗语料(环境侧,非库)。 +- 空补全 0 token(网关 200+[DONE] 零增量缺陷,峰值 ~18%): 重试吸收后残余 0.46%,受 3 次预算的 0.18³ 物理下限约束。 +- 缓存命中重建失败会 warning 并回源(本轮观测 1 例: 旧缓存响应对新 schema 校验失败)——降级方向正确,记录备查。 +- 延迟报告的 p50=0 系缓存命中行拉低,报告口径可分列(harness 后续改进项)。 diff --git a/research-wiki/findings/m25-acceptance.md b/research-wiki/findings/m25-acceptance.md new file mode 100644 index 0000000..849a8fb --- /dev/null +++ b/research-wiki/findings/m25-acceptance.md @@ -0,0 +1,9 @@ +--- +type: finding +node_id: finding:m25-acceptance +title: "M2.5 验收: P6 同场景 58.1% → 98.96%" +date: 2026-07-21 +--- + +# M2.5 验收: P6 同场景 58.1% → 98.96% + diff --git a/research-wiki/graph/edges.json b/research-wiki/graph/edges.json index 6bc5cd5..1e50311 100644 --- a/research-wiki/graph/edges.json +++ b/research-wiki/graph/edges.json @@ -50,6 +50,11 @@ "id": "plan:m25-resilience", "label": "M2.5 治理韧性实现计划", "type": "plan" + }, + { + "id": "finding:m25-acceptance", + "label": "M2.5 验收: P6 同场景 58.1% → 98.96%", + "type": "finding" } ], "links": [ diff --git a/research-wiki/index.md b/research-wiki/index.md index 7bd7bbc..ee487ee 100644 --- a/research-wiki/index.md +++ b/research-wiki/index.md @@ -1,6 +1,6 @@ # Research Wiki 索引 -> 自动生成，更新时间：2026-07-21 12:30 UTC +> 自动生成，更新时间：2026-07-21 21:34 UTC ## design (6) - [2026-07-20-m1-core-design](designs/2026-07-20-m1-core-design.md) `design:2026-07-20-m1-core-design` @@ -10,11 +10,13 @@ - [M2 分布式:Redis 治理后端+背压+Postgres 遥测+pricing+Embedding+压测 harness](designs/m2-distributed.md) `design:m2-distributed` - [M2.5 治理韧性: 半死源隔离与健康感知调度](designs/m25-resilience.md) `design:m25-resilience` -## finding (5) +## finding (7) - [2026-07-20-m2-soak-workload](findings/2026-07-20-m2-soak-workload.md) `finding:2026-07-20-m2-soak-workload` +- [2026-07-21-m25-acceptance](findings/2026-07-21-m25-acceptance.md) `finding:2026-07-21-m25-acceptance` - [2026-07-21-p6-soak-baseline](findings/2026-07-21-p6-soak-baseline.md) `finding:2026-07-21-p6-soak-baseline` - [M2 verifier 三项 Important 补齐(不变量接线/网关保护/P3 验收)](findings/m2-verifier-fixes.md) `finding:m2-verifier-fixes` - [M2 真实数据压测: 场景矩阵与数据清单](findings/m2-soak-workload.md) `finding:m2-soak-workload` +- [M2.5 验收: P6 同场景 58.1% → 98.96%](findings/m25-acceptance.md) `finding:m25-acceptance` - [P6 混合浸泡首跑基线与记分板三重伪击穿修复](findings/p6-soak-baseline.md) `finding:p6-soak-baseline` ## plan (6) diff --git a/research-wiki/log.md b/research-wiki/log.md index b8f9f9f..b775880 100644 --- a/research-wiki/log.md +++ b/research-wiki/log.md @@ -26,3 +26,5 @@ - [2026-07-21 12:30 UTC] 新增 plan: M2.5 治理韧性实现计划 (plan:m25-resilience) - [2026-07-21 12:30 UTC] 新增边: plan:m25-resilience --implements--> design:m25-resilience - [2026-07-21 12:30 UTC] 重建索引: 19 篇页面 +- [2026-07-21 21:34 UTC] 新增 finding: M2.5 验收: P6 同场景 58.1% → 98.96% (finding:m25-acceptance) +- [2026-07-21 21:34 UTC] 重建索引: 21 篇页面