PolyLoop

iomgaa/PolyLoop

Fork 0

Commit Graph

Author	SHA1	Message	Date
iomgaa	c0d9d7b66e	docs: 回写 CHANGELOG、GovDoc 迁移，以及压测那条过期注释 CHANGELOG 落在「未发布」段，按那一段自己的规矩不提前写版本号。写清了四条会抛 ValueError 的情形与迁移写法，因为这是一次破坏性变更。 migrations/govdoc-saas.md 加一节讲租户命名空间怎么传，含迁完算不算数的四条判据，最终判据是「同一段文本由两个租户各提交一次，各自拿到自己的那份输出」。参数一律指向 0017 不复述。这份文档原来说 GovDoc 侧「还没有可迁移的东西」，现在有了第一条能逐条验的接入动作，文件头那句状态说明跟着补了一句例外。 tools/soak/run_soak.py 那份空绑定上方的注释在复述旧转发规则，顺手改对。它给的理由本来就不准 ——让绑定留空的真正原因是绑定的全部键值都进参数快照，每批都不同的值会让故障注入那一步续跑时报一次假的参数漂移，和转发哪些键无关。三份压测绑定常量里都没有裸键，所以这次变更打不到压测。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2026-08-29 11:53:20 -04:00
iomgaa	a426cbbd21	feat(soak): 压测入口——预算护栏、并发上限、干跑，以及记分板要的四个产物 --budget-calls 与 --concurrency 都没有默认值：一个能跑飞的压测入口迟早会跑飞。达到调用上限时停止派发新任务，但已经在跑的让它跑完——半路砍断会制造一批没有结束记录的日志，而那和崩溃长得一模一样，会污染故障注入那边的判定。 --dry-run 不打模型，只把任务集列出来、把每个 RunRequest 真的装配一遍，确认容器起得来、语料读得进、脱敏闸过得了。它也刻意不往 runs-dir 写东西，写了的话紧接着的全量会撞上 RunIdentityError。两个场景同时跑时任务轮流排开而不是拼接：共用一份预算，拼接的话排在前面的场景会把预算吃光，而报告看起来只是「因预算停在第 N 个任务」——一次只压了一半的跑长得像一次正常的跑。测试里最有价值的一条是真的把产物喂给记分板：手工搭两个 GovDoc 任务共六次运行（真的走 polyloop.session.run，模型是写死的替身），再 import 记分板判定，验十一条不变量全绿。两边的 sidecar 约定对不上的话这条会当场红。实跑过一次干跑：两道 AppWorld 题各装配出 12.4k 字符上下文，GovDoc 两个任务六次运行全部装配成功，脱敏替换 64 处，跑完零残留容器。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2026-08-11 09:02:53 -04:00

Author

SHA1

Message

Date

iomgaa

c0d9d7b66e

docs: 回写 CHANGELOG、GovDoc 迁移，以及压测那条过期注释

CHANGELOG 落在「未发布」段，按那一段自己的规矩不提前写版本号。写清了四条会抛 ValueError 的
情形与迁移写法，因为这是一次破坏性变更。

migrations/govdoc-saas.md 加一节讲租户命名空间怎么传，含迁完算不算数的四条判据，最终判据是
「同一段文本由两个租户各提交一次，各自拿到自己的那份输出」。参数一律指向 0017 不复述。这份
文档原来说 GovDoc 侧「还没有可迁移的东西」，现在有了第一条能逐条验的接入动作，文件头那句
状态说明跟着补了一句例外。

tools/soak/run_soak.py 那份空绑定上方的注释在复述旧转发规则，顺手改对。它给的理由本来就不准
——让绑定留空的真正原因是绑定的全部键值都进参数快照，每批都不同的值会让故障注入那一步续跑时
报一次假的参数漂移，和转发哪些键无关。三份压测绑定常量里都没有裸键，所以这次变更打不到压测。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2026-08-29 11:53:20 -04:00

iomgaa

a426cbbd21

feat(soak): 压测入口——预算护栏、并发上限、干跑，以及记分板要的四个产物

--budget-calls 与 --concurrency 都没有默认值：一个能跑飞的压测入口迟早会跑飞。达到调用
上限时停止派发新任务，但已经在跑的让它跑完——半路砍断会制造一批没有结束记录的日志，而
那和崩溃长得一模一样，会污染故障注入那边的判定。

--dry-run 不打模型，只把任务集列出来、把每个 RunRequest 真的装配一遍，确认容器起得来、
语料读得进、脱敏闸过得了。它也刻意不往 runs-dir 写东西，写了的话紧接着的全量会撞上
RunIdentityError。

两个场景同时跑时任务轮流排开而不是拼接：共用一份预算，拼接的话排在前面的场景会把预算
吃光，而报告看起来只是「因预算停在第 N 个任务」——一次只压了一半的跑长得像一次正常的跑。

测试里最有价值的一条是真的把产物喂给记分板：手工搭两个 GovDoc 任务共六次运行（真的走
polyloop.session.run，模型是写死的替身），再 import 记分板判定，验十一条不变量全绿。
两边的 sidecar 约定对不上的话这条会当场红。

实跑过一次干跑：两道 AppWorld 题各装配出 12.4k 字符上下文，GovDoc 两个任务六次运行全部
装配成功，脱敏替换 64 处，跑完零残留容器。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2026-08-11 09:02:53 -04:00

2 Commits