PolyLoop

iomgaa/PolyLoop

Fork 0

Commit Graph

Author	SHA1	Message	Date
iomgaa	e590bea70e	fix(soak): 环境客户端把传输层失败也翻成 AppWorldError，「连不上」那一档原本没实现 execute 的 docstring 一直写着「只有环境自己坏了——连不上、HTTP 非 2xx、返回体不是约定形状——才抛 AppWorldError」，但实现里只处理了后两档。连不上、读超时、连接中途断掉时， httpx 抛的是它自己的异常类型，而上层的动作执行接缝只认 AppWorldError，于是容器一挂整次运行会以一个未捕获的第三方异常炸出去，正确的行为是记成环境故障、由库合成一段观察、以 env_error 收尾。这个缺口是压测里真把容器 docker kill 掉之后才暴露的——在那之前它只写在 docstring 里。顺带覆盖了另一个一直没验过的路径：客户端读超时同属这一类。 CancelledError 继承 BaseException，不在 httpx.HTTPError 的范围内，取消照旧原样穿过去。修完重跑那一类，七条判据仍然全过。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2026-08-11 11:16:08 -04:00
iomgaa	4cbdb056b6	feat(soak): 压测的环境层——AppWorld 容器池与薄 HTTP 客户端 ⑥ 的验收要自己造负载压，环境用 AppWorld：733 个任务与 197M 数据都在本机、docker 镜像已拉好、而且它自带评测端点做程序化判分——换成让另一个模型判对错，等于往验收里再塞一个非确定源，验收本身就不可复现了。不 import dissect（§1.2 禁止反向 import），照它那两个文件当协议文档自己写了一份。副作用是这反而更强：证明一个不认识 dissect 的第三方只用公共 API 就能驱动真实环境。复刻了 dissect 记下的几个坑：httpx 必须 trust_env=False，否则本机代理会把 127.0.0.1 的请求也劫走、表现成 502；健康检查失败先抓容器日志再删；关闭失败按端口分开计数，用全局计数器的话坏容器的失败会被别的容器的成功清零。放在仓库根的 tools/ 下而不是 tests/ 下：打包只收 src/，所以它不进 wheel 也不进 sdist （实测两个产物里 soak 命中数都是 0）；而 §1.9 的四层是按「依赖什么」分的，压测不属于其中任何一层，塞进 tests/ 要么破坏分层要么和 e2e 共用同一道花钱的闸。Makefile 的检查目标跟着加上 tools/。冒烟真跑通：起容器、初始化真题、跨调用保持变量、错误代码返回 traceback 而不抛异常、评测、无容器残留；另验 2 容器并发的租借与归还。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2026-08-11 07:38:08 -04:00

Author

SHA1

Message

Date

iomgaa

e590bea70e

fix(soak): 环境客户端把传输层失败也翻成 AppWorldError，「连不上」那一档原本没实现

execute 的 docstring 一直写着「只有环境自己坏了——连不上、HTTP 非 2xx、返回体不是约定
形状——才抛 AppWorldError」，但实现里只处理了后两档。连不上、读超时、连接中途断掉时，
httpx 抛的是它自己的异常类型，而上层的动作执行接缝只认 AppWorldError，于是容器一挂整次
运行会以一个未捕获的第三方异常炸出去，正确的行为是记成环境故障、由库合成一段观察、以
env_error 收尾。

这个缺口是压测里真把容器 docker kill 掉之后才暴露的——在那之前它只写在 docstring 里。
顺带覆盖了另一个一直没验过的路径：客户端读超时同属这一类。

CancelledError 继承 BaseException，不在 httpx.HTTPError 的范围内，取消照旧原样穿过去。

修完重跑那一类，七条判据仍然全过。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2026-08-11 11:16:08 -04:00

iomgaa

4cbdb056b6

feat(soak): 压测的环境层——AppWorld 容器池与薄 HTTP 客户端

⑥ 的验收要自己造负载压，环境用 AppWorld：733 个任务与 197M 数据都在本机、docker 镜像已
拉好、而且它自带评测端点做程序化判分——换成让另一个模型判对错，等于往验收里再塞一个非
确定源，验收本身就不可复现了。

**不 import dissect**（§1.2 禁止反向 import），照它那两个文件当协议文档自己写了一份。
副作用是这反而更强：证明一个不认识 dissect 的第三方只用公共 API 就能驱动真实环境。

复刻了 dissect 记下的几个坑：httpx 必须 trust_env=False，否则本机代理会把 127.0.0.1 的
请求也劫走、表现成 502；健康检查失败先抓容器日志再删；关闭失败按端口分开计数，用全局
计数器的话坏容器的失败会被别的容器的成功清零。

放在仓库根的 tools/ 下而不是 tests/ 下：打包只收 src/，所以它不进 wheel 也不进 sdist
（实测两个产物里 soak 命中数都是 0）；而 §1.9 的四层是按「依赖什么」分的，压测不属于其中
任何一层，塞进 tests/ 要么破坏分层要么和 e2e 共用同一道花钱的闸。Makefile 的检查目标
跟着加上 tools/。

冒烟真跑通：起容器、初始化真题、跨调用保持变量、错误代码返回 traceback 而不抛异常、
评测、无容器残留；另验 2 容器并发的租借与归还。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2026-08-11 07:38:08 -04:00

2 Commits