文本模式 n>1 时多 choice 增量混流 #32

Open
opened 2026-10-15 11:57:48 +08:00 by iomgaa · 0 comments
Owner

现象

文本模式(response_mode="text")下,聚合器在 1.3.9 之前每帧取 choices[0]、不看 index;上游按 n>1 交错下发多个 choice 时,不同 choice 的 content 会被拼进同一段投影。

现状(1.3.10)

#30/#31 的统一完成判定已让文本模式只取 index 缺省或为 0 的 choice(_openai_completion.py _text_choice),混流不再发生,但其余 choice 被静默丢弃,调用方无感。

需要决定

文本模式遇到 n>1 时:拒绝(RequestRejected,与保真模式一致)、告警后只取 index 0,还是支持多 choice 投影。属公共行为,需走 brainstorming。

来源:#30/#31 设计独立审查(research-wiki/designs/2026-10-14-issue30-31-completion-verdict-design.md §8)。

## 现象 文本模式(response_mode="text")下,聚合器在 1.3.9 之前每帧取 choices[0]、不看 index;上游按 n>1 交错下发多个 choice 时,不同 choice 的 content 会被拼进同一段投影。 ## 现状(1.3.10) #30/#31 的统一完成判定已让文本模式只取 index 缺省或为 0 的 choice(_openai_completion.py _text_choice),混流不再发生,但其余 choice 被静默丢弃,调用方无感。 ## 需要决定 文本模式遇到 n>1 时:拒绝(RequestRejected,与保真模式一致)、告警后只取 index 0,还是支持多 choice 投影。属公共行为,需走 brainstorming。 来源:#30/#31 设计独立审查(research-wiki/designs/2026-10-14-issue30-31-completion-verdict-design.md §8)。
Sign in to join this conversation.
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: iomgaa/PolyGateway#32