test: replace the guessed tier table with what the gateway actually does

T10 经 new-api 中转对 26 个可调用模型逐个实测(约 500 次真实调用),把 DEFAULT_CAPABILITIES 里的文档推定换成实测结论,并把实测本身固化成可复跑、可只跑单模型的 slow 用例。三处与文档推定不符: - kimi-k3 实测可关(关闭档 completion 恒 9 且与 max 档锚点可分),T1 的保守登记被推翻,OpenRouter 的 mandatory:false 胜出; - MiniMax-M3 的 auto 实测不推理(minimax 的"开"是不注入任何参数,而 M3 默认档本就不推理),六个强度值反而全部生效且彼此等价,故清单由 (none, auto) 换成 none + 六个强度值; - glm-5.3 关不掉推理坐实(请求 none 后 4/5 轮仍观测到推理),issue #20 的核心争议就此了结——当时短提示词下的 rt≈1.2 是采样噪声。新增 kimi-for-coding(现有该型号自己的实测证据,不再走 Phase 3)。用例带三条判据: 关闭方向要求每轮未观测到推理;短提示词的"关掉了"必须过长上下文复核(glm-5.3-flash 正是短 5/5 未观测、长上下文 2/3 露馅);上游整片不回传推理信号时另取无魔数锚点,不许把"没看见"写成"没发生"。另加一道模型身份核对——该渠道把 glm-5/5.1/5.2 全部路由到 glm-5.3,那三组数据一律作废。未覆盖 9 个型号(claude 三个 7 天限额用尽、gemini 两个上游报错、gpt-5.4 限流、 glm 三个被路由),evidence 逐条写明原因,不得被后续文档写成"已实测"。单元测试里三条以 MiniMax-M3 当"纯开关型"样本的用例改用 glm-4.6v——实测后 M3 不再是那个形状,而 glm-4.6v 是全表证据最硬的 (none, auto)。
2026-09-05 10:35:30 -04:00
parent f9b357b9d7
commit f5e6fafe8d
3 changed files with 724 additions and 70 deletions
@@ -108,111 +108,218 @@ class ThinkingCapability:
        return any(e not in (Effort.NONE, Effort.AUTO) for e in self.supported_efforts)


-# 证据分两类,evidence 里必须自报家门:
+# 证据分三类,evidence 里必须自报家门:
 #   实测 = 经 new-api 中转打过真实请求(最硬,不得被文档推定覆盖);
-#   文档推定 = 官方文档 / OpenRouter / cherry-studio / LiteLLM 四方交叉(待实测校正)。
+#   文档推定 = 官方文档 / OpenRouter / cherry-studio / LiteLLM 四方交叉;
+#   实测未覆盖 = T10 试过但拿不到数据(渠道限额/上游报错/被路由到别的模型),
+#     此时**必须写明原因**——"没测到"与"测了没问题"是两回事,T9 之类的下游
+#     文档任务不得把前者写成后者。
 _MEASURED = "2026-08-02 经 new-api 中转实测"
-_DOC = "2026-09-04 文档推定(官方文档 + OpenRouter + cherry-studio + LiteLLM 四方交叉),待经 new-api 实测"
+_T10 = "2026-09-05 经 new-api 中转实测(T10: 短提示词 N=5,声称可关的再加长上下文 N=3 复核)"
+_DOC = "2026-09-04 文档推定(官方文档 + OpenRouter + cherry-studio + LiteLLM 四方交叉)"
+
+# T10 的三条判据(报告见 tests/outputs/thinking/,用例见 tests/e2e/test_thinking_live.py):
+#   ① 关闭方向要求**每轮**未观测到推理,任一轮观测到即证伪;
+#   ② 短提示词下的"关掉了"必须过长上下文复核——glm-5.3-flash 正是短提示词 5/5
+#      未观测到推理、5000 token 长上下文下 2/3 轮露馅(issue #20 的原始现象);
+#   ③ 上游整片不回传推理信号(kimi/MiniMax/qwen/gpt 这几路的关闭档都是)时,
+#      "没看见"不算"没发生",另取一个无魔数锚点: 关闭档的 completion_tokens
+#      必须严格小于 max 档。

 DEFAULT_CAPABILITIES: Mapping[str, ThinkingCapability] = MappingProxyType(
    {
-        # —— 实测条目(2026-08-02/08-25),证据原文保留 ——
+        # —— MiniMax ——
        "MiniMax-M3": ThinkingCapability(
-            supported_efforts=(Effort.NONE, Effort.AUTO),
+            supported_efforts=(
+                Effort.NONE,
+                Effort.MINIMAL,
+                Effort.LOW,
+                Effort.MEDIUM,
+                Effort.HIGH,
+                Effort.XHIGH,
+                Effort.MAX,
+            ),
            evidence=(
-                "2026-08-02 经 new-api 中转实测 N=10: reasoning_effort=none 稳定关闭,零跳变;"
-                "2026-08-25 复测依然成立(prompt 194 = 基线、completion 3、无推理正文)。"
-                "两条限制(findings 2026-08-25-thinking-observability-regression §3.1/§5): "
-                "① 非流式路径观测不到推理信号——推理已计费,但正文与 usage 明细都不回传;"
-                "② enable_thinking / thinking:{type:enabled} 对本模型无效,仅 reasoning_effort 是真开关。"
-                "无强度档: 官方只有开/关两态(thinking.type disabled/adaptive)"
+                f"{_T10}: reasoning_effort=none 关闭成立(短 5/5 + 长上下文 3/3 未观测到推理,"
+                "completion 恒 3 token,且与 max 档 completion 57-173 锚点可分);六个强度值各 N=5 "
+                "全部观测到推理,rt 分布完全重叠(minimal 64-124 / low 55-112 / medium 51-104 / "
+                "high 62-128 / xhigh 58-118 / max 57-170)——**它们是'开'的六种写法,不是六个深度档**,"
+                "MiniMax 官方只有开/关两态,配哪一个都一样贵。"
+                "**`auto` 已从清单移除**: minimax 的'开'在 wire 上是 on_base={}(什么参数都不注入),"
+                "而 M3 的默认档实测不推理,故 auto 在这条路上表达不了'开'(N=5 全部未观测到推理)。"
+                "注意 `resolve_thinking` 的 Phase 5 无条件放行 auto,故存量 ENABLE_THINKING=true 仍会"
+                "静默落到不推理——那是 wire 的缺口,能力表堵不住,已记入 T10 报告待单独立项。"
+                f"历史: {_MEASURED} N=10 同样成立;enable_thinking / thinking:{{type}} 两种写法对本模型"
+                "无效,reasoning_effort 才是真开关(findings 2026-08-25 §3.1/§5)。"
+                "另: 2026-08-25 记录的'MiniMax 这一路已停报 completion_tokens_details'本次**不再成立**"
+                "——开启档 rt 有值,只有关闭档整片缺 details"
            ),
        ),
        "MiniMax-M2.7": ThinkingCapability(
            supported_efforts=(Effort.AUTO,),
            evidence=(
-                "2026-08-02 实测 reasoning_effort=none / thinking:{disabled} / thinking:{adaptive} "
-                "各 N=3 全部无效;OpenRouter 注册表登记 mandatory:true,models.dev 登记无控制手段。"
-                "MiniMax 官方亦承认 M2.x 接受 disabled 但推理仍开着"
+                f"{_T10}: 请求 none 时 5/5 轮仍观测到推理(rt 100-161、推理正文 274-482 字符),"
+                "**关不掉**成立;auto 档 5/5 观测到推理。"
+                f"历史({_MEASURED}): reasoning_effort=none / thinking:{{disabled}} / thinking:{{adaptive}} "
+                "各 N=3 全部无效;OpenRouter 登记 mandatory:true,models.dev 登记无控制手段"
            ),
        ),
        "MiniMax-M2.5": ThinkingCapability(
            supported_efforts=(Effort.AUTO,),
-            evidence="2026-08-02 实测同 M2.7: 三种形态各 N=3 全部无效;外部注册表同样登记为强制推理",
+            evidence=(
+                f"{_T10}: 请求 none 时 5/5 轮仍观测到推理(rt 104-158),**关不掉**成立;"
+                "auto 档 5/5 观测到推理(rt 121-245)。"
+                f"历史({_MEASURED}): 三种形态各 N=3 全部无效;外部注册表同样登记为强制推理"
+            ),
        ),
+        # —— qwen(百炼系,开关型) ——
        "qwen3.7-plus": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.AUTO),
            evidence=(
-                "2026-08-02 实测 enable_thinking=false 关闭(completion 5 token,无推理)。"
-                "无强度档: OpenRouter 登记本型号只支持 reasoning 开关,不支持 reasoning_effort"
+                f"{_T10}: none 关闭成立(短 5/5 + 长 3/3 未观测到推理,且与 auto 档 completion 锚点可分);"
+                "auto 档 5/5 观测到推理。无强度档: 该 provider 的 wire 没有 effort_key,请求 max 当场被库"
+                "拒(百炼靠 thinking_budget 调深度,预算型控制本库不支持)。"
+                f"历史({_MEASURED}): enable_thinking=false 关闭(completion 5 token)"
            ),
        ),
+        "qwen3.7-max": ThinkingCapability(
+            supported_efforts=(Effort.NONE, Effort.AUTO),
+            evidence=f"{_T10}: 同 qwen3.7-plus——none 短 5/5 + 长 3/3 关闭且锚点可分,auto 档 5/5 观测到推理",
+        ),
+        "qwen3.6-plus": ThinkingCapability(
+            supported_efforts=(Effort.NONE, Effort.AUTO),
+            evidence=f"{_T10}: none 短 5/5 + 长 3/3 关闭且锚点可分,auto 档 5/5 观测到推理",
+        ),
+        "qwen3.5-flash": ThinkingCapability(
+            supported_efforts=(Effort.NONE, Effort.AUTO),
+            evidence=f"{_T10}: none 短 5/5 + 长 3/3 关闭且锚点可分,auto 档 5/5 观测到推理",
+        ),
+        "qwen-plus-latest": ThinkingCapability(
+            supported_efforts=(Effort.NONE, Effort.AUTO),
+            evidence=f"{_T10}: none 短 5/5 + 长 3/3 关闭且锚点可分,auto 档 5/5 观测到推理",
+        ),
+        # —— deepseek ——
        "deepseek-v4-pro": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.HIGH, Effort.MAX),
            evidence=(
-                "关闭档为 2026-08-02 实测(thinking:{type:disabled},completion 3 token,无推理);"
-                f"强度档为{_DOC}: 官方 thinking_mode 文档列 Non-think/Think High/Think Max 三态,默认 high"
+                f"{_T10}: none 关闭成立(短 5/5 + 长 3/3 未观测到推理,与 max 档锚点可分);"
+                "high / max 各 N=5 全部观测到推理(rt 59-73 / 56-69,推理正文 max 档明显更长: "
+                "135-186 vs 101-124 字符)。默认档按官方 thinking_mode 文档为 high"
            ),
        ),
-        # —— 文档推定条目(2026-09-04),待 T10 经 new-api 实测校正 ——
        "deepseek-v4-flash": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.HIGH, Effort.MAX),
-            evidence=f"{_DOC}: 官方文档「deepseek-v4-flash 与 deepseek-v4-pro 一致」,默认 high",
+            evidence=(
+                f"{_T10}: none 关闭成立(短 5/5 + 长 3/3,锚点可分);high / max 各 N=5 全部观测到推理"
+                "(rt 16-36 / 12-42)。与 v4-pro 同档,印证官方'与 deepseek-v4-pro 一致'的说法"
+            ),
        ),
        "deepseek-v4-flash-vision-exp": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.HIGH, Effort.MAX),
-            evidence=f"{_DOC}: 同 v4-flash 一档(OpenRouter 登记支持 reasoning_effort)",
+            evidence=(
+                f"{_T10}: none 关闭成立(短 5/5 + 长 3/3,锚点可分);high / max 各 N=5 全部观测到推理"
+                "(rt 12-17 / 17-34)"
+            ),
        ),
+        # —— 智谱 ——
        "glm-5.3": ThinkingCapability(
            supported_efforts=(Effort.LOW, Effort.HIGH, Effort.MAX),
            evidence=(
-                f"{_DOC}: **推理不可关闭**——智谱官方文档明确 thinking.type 只接受 enabled,"
-                "官方迁移建议是改用 enabled + reasoning_effort=low;cherry-studio 标 toggle:false、"
-                "OpenRouter 标 mandatory:true,三源一致。默认 max。"
-                "注: issue #20 实测的 reasoning_effort=none 是**未定义值**,短提示词下 rt≈1.2 像是关了,"
-                "5552 token 长上下文下跳到 0/54/167 即露馅"
+                f"{_T10}: **推理不可关闭已实测坐实**——请求 none(注入 thinking:{{type:disabled}})后 "
+                "5 轮里 4 轮仍观测到推理(rt 7、推理正文 12 字符),只有 1 轮 rt=0;"
+                "low / high / max 各 N=5 全部观测到推理(rt 55-77 / 47-63 / 48-60,三档分不出深浅)。"
+                "这一条了结了 issue #20 的核心争议: 当时短提示词下 rt≈1.2 看着像关掉了,实为采样噪声。"
+                f"文档侧三源一致({_DOC}): 智谱官方 thinking.type 只接受 enabled、迁移建议改用 "
+                "enabled + reasoning_effort=low,cherry-studio 标 toggle:false,OpenRouter 标 mandatory:true。"
+                "默认 max。**注意本渠道不校验档位值**: 未登记的 medium 也会被照单接受(实测 rt 62),"
+                "故'网关没报错'在这一路上不构成'该档受支持'的证据"
            ),
        ),
        "glm-5.3-flash": ThinkingCapability(
            supported_efforts=(Effort.LOW, Effort.HIGH, Effort.MAX),
-            evidence=f"{_DOC}: 同 glm-5.3(cherry-studio 的 pattern 'glm-5[.-]3' 覆盖两者),默认 max",
+            evidence=(
+                f"{_T10}: **推理不可关闭,且是判据②唯一的现役样本**——请求 none 时短提示词 5/5 轮"
+                "未观测到推理(看着完全像关掉了),换成 5000 token 长上下文后 3 轮里 2 轮露馅"
+                "(rt=2、有推理正文)。只跑短提示词的实测会在这个模型上得出相反结论。"
+                "low / high / max 各 N=5 全部观测到推理(rt 8-60 / 27-91 / 27-70)。默认 max"
+            ),
        ),
        "glm-5.2": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.HIGH, Effort.MAX),
            evidence=(
                f"{_DOC}: cherry-studio 登记 none/high/max(官方端点默认 max,百炼上默认 high)。"
-                "注意: issue #20 记录本渠道对 glm-5.2 的请求 6/6 回报 model=glm-5.3,疑被路由,实测时须核对 model_reported"
+                "**T10 实测未覆盖——该渠道把本型号路由到了别的模型**: 请求 glm-5.2 时 5/5 轮回报 "
+                "model=glm-5.3(issue #20 记录的 6/6 复现),拿到的行为不属于本型号,故整组数据作废、"
+                "本行仍是文档推定。**下游风险**: 在本渠道上给 glm-5.2 配 none,库会照本行放行,"
+                "而真正服务请求的 glm-5.3 关不掉推理——运行期 reconcile 会喊,但那是事后"
            ),
        ),
        "glm-5": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: OpenRouter 登记只支持 reasoning 开关、无 reasoning_effort;cherry-studio 标 toggle:true",
+            evidence=(
+                f"{_DOC}: OpenRouter 登记只支持 reasoning 开关、无 reasoning_effort;cherry-studio 标 toggle:true。"
+                "**T10 实测未覆盖**: 与 glm-5.2 同因——5/5 轮回报 model=glm-5.3,数据不属于本型号"
+            ),
        ),
        "glm-5.1": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: 同 glm-5(OpenRouter reasoning.mandatory=false 且无 supported_efforts)",
+            evidence=(
+                f"{_DOC}: 同 glm-5(OpenRouter reasoning.mandatory=false 且无 supported_efforts)。"
+                "**T10 实测未覆盖**: 5/5 轮回报 model=glm-5.3,数据不属于本型号"
+            ),
        ),
        "glm-4.6v": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: OpenRouter 登记无 reasoning_effort;VLM,推理控制同 glm-4.x 系开关型",
-        ),
-        "kimi-k3": ThinkingCapability(
-            supported_efforts=(Effort.LOW, Effort.HIGH, Effort.MAX),
            evidence=(
-                f"{_DOC}: 官方 reasoning_effort 三档 low/high/max,默认 max。"
-                "**保守登记为不可关**——官方档位表无 none,而 OpenRouter 标 mandatory:false,两源分歧待实测;"
-                "保守方向的代价是下游配 none 会报错并被指向 low,反方向的代价是静默失效(issue #20 的病)。"
-                "另: 官方提示切换档位会使 prefix cache 失效,不宜在会话中途改档"
+                f"{_T10}: none 关闭成立,且是全表**证据最硬**的一条——短 5/5 + 长 3/3 全部裁定 ABSENT"
+                "(上游明确上报 reasoning_tokens=0,不是'看不见'),无需锚点旁证;"
+                "auto 档 5/5 观测到推理(rt 57-153)。model_reported 与请求一致,未被路由"
            ),
        ),
+        # —— 月之暗面 ——
+        "kimi-k3": ThinkingCapability(
+            supported_efforts=(Effort.NONE, Effort.LOW, Effort.HIGH, Effort.MAX),
+            evidence=(
+                f"{_T10}: **可关闭——推翻 T1 的保守登记**。请求 none(注入 thinking:{{type:disabled}})后"
+                "短 5/5 + 长上下文 3/3 轮无任何推理信号,completion 恒 9 token;同一模型 max 档 "
+                "completion 明显更大且带推理正文(rt 33-146),锚点可分——故'没看见'这次有正面证据支撑。"
+                "两源分歧由此了结: OpenRouter 的 mandatory:false 是对的,官方档位表没列 none 只是没列。"
+                "low / high / max 各 N=5 全部观测到推理(rt 21-53 / 38-60 / 33-146)。"
+                "**model_reported 是 `k3`**(别名,非串台)。官方提示切换档位会使 prefix cache 失效,"
+                "不宜在会话中途改档"
+            ),
+        ),
+        "kimi-for-coding": ThinkingCapability(
+            supported_efforts=(Effort.NONE, Effort.LOW, Effort.HIGH, Effort.MAX),
+            evidence=(
+                f"{_T10}: 本型号在 T1 时因'档位清单无直接证据'走 Phase 3 不登记(设计 §8 第三档),"
+                "现有它自己的实测证据故补登。none: 短 5/5 + 长 3/3 无推理信号、completion 恒 2 token,"
+                "与开启档锚点可分;low / high / max 各 N=3 全部观测到推理(rt 8-40 / 25-75 / 62-85)。"
+                "档位词汇沿用月之暗面官方的 low/high/max: 本渠道对 moonshot **不校验档位值**"
+                "(minimal/medium/xhigh 照样返回 200 并推理),故'没被拒'不构成'受支持',"
+                "登记一个厂商没声明的档等于替它做承诺"
+            ),
+        ),
+        # —— OpenAI ——
        "gpt-5.4": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.LOW, Effort.MEDIUM, Effort.HIGH, Effort.XHIGH),
-            evidence=f"{_DOC}: OpenRouter 登记 none/low/medium/high/xhigh,默认 medium;LiteLLM 登记 minimal 不支持",
+            evidence=(
+                f"{_DOC}: OpenRouter 登记 none/low/medium/high/xhigh,默认 medium;LiteLLM 登记 minimal 不支持。"
+                "**T10 实测未覆盖**: 该渠道本型号所有账号限流(429 All available accounts are "
+                "currently rate-limited),5/5 轮失败。同代的 gpt-5.5 已实测且与本清单逐字相符"
+            ),
        ),
        "gpt-5.5": ThinkingCapability(
            supported_efforts=(Effort.NONE, Effort.LOW, Effort.MEDIUM, Effort.HIGH, Effort.XHIGH),
-            evidence=f"{_DOC}: 同 gpt-5.4(OpenRouter supported_efforts 一致,默认 medium)",
+            evidence=(
+                f"{_T10}: 清单**逐条对上**,是全表验证最完整的一行。none 关闭成立(短 5/5 + 长 3/3,"
+                "锚点可分);low/medium/high/xhigh 各 N=5 全部观测到推理,且 rt 随档位单调上升"
+                "(18-21 / 18-22 / 22-34 / 35-65)——本渠道上少见的、档位真的分得开的模型;"
+                "清单外的 max 与 minimal 各 N=3 全部被上游 400 拒("
+                "Unsupported value),说明这一路**会校验档位值**,与 zhipu/moonshot 的照单全收相反"
+            ),
        ),
+        # —— Anthropic ——
        "claude-opus-5": ThinkingCapability(
            supported_efforts=(
                Effort.NONE,
@@ -225,7 +332,8 @@ DEFAULT_CAPABILITIES: Mapping[str, ThinkingCapability] = MappingProxyType(
            evidence=(
                f"{_DOC}: Anthropic 官方 adaptive thinking + output_config.effort 五档(low/medium/high/"
                "xhigh/max),默认 high;OpenRouter 标 mandatory:false 故可关。"
-                "关闭档依赖 new-api 把 reasoning_effort=none 转成 thinking 关闭形态,待实测确认"
+                "**T10 实测未覆盖**: 该渠道 claude 全系返回 429「api key 7天限额已用完」,5/5 轮失败。"
+                "关闭档仍依赖 new-api 把 reasoning_effort=none 转成 thinking 关闭形态,未经验证"
            ),
        ),
        "claude-sonnet-5": ThinkingCapability(
@@ -237,32 +345,22 @@ DEFAULT_CAPABILITIES: Mapping[str, ThinkingCapability] = MappingProxyType(
                Effort.XHIGH,
                Effort.MAX,
            ),
-            evidence=f"{_DOC}: 同 claude-opus-5(OpenRouter supported_efforts 与默认档一致)",
+            evidence=(
+                f"{_DOC}: 同 claude-opus-5(OpenRouter supported_efforts 与默认档一致)。"
+                "**T10 实测未覆盖**: 同因 429「api key 7天限额已用完」"
+            ),
        ),
+        # —— Google ——
        "gemini-3.1-pro": ThinkingCapability(
            supported_efforts=(Effort.LOW, Effort.MEDIUM, Effort.HIGH),
            evidence=(
                f"{_DOC}: **推理不可关闭**——Google 官方文档明确 Gemini 3 Pro / 3.1 Pro 无法关闭思考,"
                "OpenRouter 亦标 mandatory:true。thinking_level 三档;默认档两源打架"
-                "(官方文档说 HIGH,OpenRouter 说 medium),待实测"
+                "(官方文档说 HIGH,OpenRouter 说 medium)。"
+                "**T10 实测未覆盖**: 该渠道本型号上游报错(bad_response_status_code / openai_error),"
+                "5/5 轮失败,连默认档基线都没取到,两源分歧仍悬着"
            ),
        ),
-        "qwen-plus-latest": ThinkingCapability(
-            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: 百炼 enable_thinking 开关型(thinking_budget 是 token 预算,本库不支持预算型)",
-        ),
-        "qwen3.5-flash": ThinkingCapability(
-            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: 同 qwen-plus-latest(OpenRouter 登记无 reasoning_effort)",
-        ),
-        "qwen3.6-plus": ThinkingCapability(
-            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: 同 qwen-plus-latest(OpenRouter 登记无 reasoning_effort)",
-        ),
-        "qwen3.7-max": ThinkingCapability(
-            supported_efforts=(Effort.NONE, Effort.AUTO),
-            evidence=f"{_DOC}: 同 qwen3.7-plus 一代(OpenRouter 登记无 reasoning_effort)",
-        ),
    }
 )
 """在用模型的推理能力登记(YAGNI: 不覆盖全世界,未登记走 `resolve_thinking` 退化)。"""