20 lines
1.3 KiB
Markdown
20 lines
1.3 KiB
Markdown
---
|
||
type: metric
|
||
node_id: metric:call-telemetry-coverage
|
||
title: 每次调用必录覆盖率(含缓存命中/失败/取消)
|
||
date: 2026-07-20
|
||
---
|
||
|
||
# 每次调用必录覆盖率(含缓存命中/失败/取消)
|
||
|
||
## 1.3.4 契约与基线
|
||
|
||
| 指标 | 确定性阈值／证据 | 实际 live 基线 |
|
||
| --- | --- | --- |
|
||
| 三个无推理入口成败行档位 NULL | embed、recognize_text、parse_layout 真实 client→emitter→临时 SQLite，非空失败／成功计数与 NULL 全部成立，契约要求100% | 待首次实际运行，不填伪百分比 |
|
||
| chat 阳性 | 糖失败 auto、显式意图失败、nearest 成功实际档均精确匹配，要求100%；防恒 NULL 假绿 | 待首次实际运行 |
|
||
| 四种行来源 | 真实成功=applied；失败=effective；cache_hit／scope终态=本次请求级 | 排除缓存／失败后才可做实际档分析 |
|
||
| live 覆盖 | 逐轮 PASS／FAIL／UNCOVERED、计划轮数与缺轮分别统计；必需单元不因 pytest exit 0 自动放行 | 未执行；UNKNOWN／缺轮／skip 不能记PASS |
|
||
|
||
复用 schema:llm-calls（无新字段／DDL），证据索引见 `findings/2026-09-09-134-thinking-contracts-validation.md`。独立错误取证只在 tests 内存，Markdown 只记录白名单安全摘要与布尔校验，不使用生产遥测旁路补失踪尝试。生产埋点仍是 TelemetryEmitter 单点出口。
|