Files
PolyGateway/research-wiki/metrics/call-telemetry-coverage.md
T

1.3 KiB
Raw Permalink Blame History

type, node_id, title, date
type node_id title date
metric metric:call-telemetry-coverage 每次调用必录覆盖率(含缓存命中/失败/取消) 2026-07-20

每次调用必录覆盖率(含缓存命中/失败/取消)

1.3.4 契约与基线

指标 确定性阈值/证据 实际 live 基线
三个无推理入口成败行档位 NULL embed、recognize_text、parse_layout 真实 client→emitter→临时 SQLite,非空失败/成功计数与 NULL 全部成立,契约要求100% 待首次实际运行,不填伪百分比
chat 阳性 糖失败 auto、显式意图失败、nearest 成功实际档均精确匹配,要求100%;防恒 NULL 假绿 待首次实际运行
四种行来源 真实成功=applied;失败=effectivecache_hitscope终态=本次请求级 排除缓存/失败后才可做实际档分析
live 覆盖 逐轮 PASSFAILUNCOVERED、计划轮数与缺轮分别统计;必需单元不因 pytest exit 0 自动放行 未执行;UNKNOWN/缺轮/skip 不能记PASS

复用 schema:llm-calls(无新字段/DDL),证据索引见 findings/2026-09-09-134-thinking-contracts-validation.md。独立错误取证只在 tests 内存,Markdown 只记录白名单安全摘要与布尔校验,不使用生产遥测旁路补失踪尝试。生产埋点仍是 TelemetryEmitter 单点出口。