P2:首 token 到后中段沉默，对冲永不触发 #28

New Issue

2026-09-14T10:42:33+08:00

iomgaa commented

2026-09-14 10:42:33 +08:00

对冲触发判据 _past_hedge_window（retry.py:542-562）=首 token 已至则对冲窗永不打开；实测 ttft 中位 1.63s（4407 次仅 3 次>20s），HEDGE__AFTER_S=20 对流式调用恒不触发，而真实病灶在中段沉默（中位 54.9s）。业界无中段对冲先例（LangChain/LiteLLM/Codex CLI 均走看门狗掐掉重试），但库内聚合流使中段切换无内容拼接污染。方向（人类已拍板）：新增 HEDGE__STALL_AFTER_S 中段沉默对冲，独立于 HEDGE__AFTER_S 生效，复用 1.3.7 准入/FIRST_COMPLETED/输家 est 不喂熔断语义。

iomgaa referenced this issue from a commit

2026-09-14 15:05:04 +08:00

docs: add approved streaming stall measurement and mid-stream hedging design

iomgaa commented

2026-09-14 15:38:18 +08:00

已在 1.3.8 修复并发布(外部验证同上)。

新增 {SCOPE}__HEDGE__STALL_AFTER_S(默认关闭):流式 chat 主路首 token 之后相邻增量 chunk 沉默超阈值时,向异源并发再发一次(FIRST_COMPLETED,输家取消、est 保留不喂熔断、遥测 hedge_cancelled——全部复用 1.3.7 机制)。与 HEDGE__AFTER_S 独立生效;仅设它且请求非流式 → 逐字走单路。

限制与成本须知:①默认必须关闭,开启即用配额换延迟——你们实测沉默 >20s 占 19.0%,触发率远高于首 token 对冲,输家可能已被上游计费;②装配硬守卫:stall_after_s ≥ min(inter_token_timeout_s or timeout_s) 或 ≥ call_deadline_s → ValueError(对冲窗永不开的配置装配期直接拒绝);③看门狗掐死喂熔断而对冲输家取消不喂(不对称声明,运维挂起率统计须知);④中段沉默触发并发副本在主流网关/库中无公开先例,属超业界现状能力,CHANGELOG 已诚实标注;⑤embedding/OCR scope 配置对冲键会收 warning(对冲仅对 chat 生效)。

已在 1.3.8 修复并发布(外部验证同上)。新增 `{SCOPE}__HEDGE__STALL_AFTER_S`(默认关闭):流式 chat 主路**首 token 之后**相邻增量 chunk 沉默超阈值时,向异源并发再发一次(FIRST_COMPLETED,输家取消、est 保留不喂熔断、遥测 hedge_cancelled——全部复用 1.3.7 机制)。与 `HEDGE__AFTER_S` **独立生效**;仅设它且请求非流式 → 逐字走单路。限制与成本须知:①**默认必须关闭**,开启即用配额换延迟——你们实测沉默 >20s 占 19.0%,触发率远高于首 token 对冲,输家可能已被上游计费;②装配硬守卫:`stall_after_s ≥ min(inter_token_timeout_s or timeout_s)` 或 `≥ call_deadline_s` → ValueError(对冲窗永不开的配置装配期直接拒绝);③看门狗掐死**喂**熔断而对冲输家取消**不喂**(不对称声明,运维挂起率统计须知);④中段沉默触发并发副本在主流网关/库中**无公开先例**,属超业界现状能力,CHANGELOG 已诚实标注;⑤embedding/OCR scope 配置对冲键会收 warning(对冲仅对 chat 生效)。

iomgaa closed this issue

2026-09-14 15:38:19 +08:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: iomgaa/PolyGateway#28