docs: 新增任务书 12(flow 第 1 部分:骨架与第零轮);验收看研究质量、正式与检验代码分开

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-03 09:32:41 -04:00
parent e273eac5e1
commit 8491191a2b
5 changed files with 445 additions and 5 deletions
+6 -1
View File
@@ -86,8 +86,13 @@
### 测试
- 账本和数学规则的预期值,来自手算、独立脚本或参考项目的固定数据,不从实现里复制公式。
- 每个阶段结束时核对几条总账,不符就停。比如:扣掉的运行次数等于已确认启动的正式运行数;每条证据只记一次账。
- 其余部分测到能跑通就够。真实模型链路要用真实运行来证明,假模型测试证明不了。
- 流程(flow)的验收看研究做得好不好,不只看跑没跑通:用真模型、真 Jev、真 Docker 把同样的配置跑几次,用 Jev 当裁判,对照同类系统和参考项目高分运行的研究路径来判(`docs/结构.md` 第三部分"flow 分四部分写,各自验证")。
- 正式代码和检验代码完全分开:
- `src/` 只放正式代码;`tests/` 放 `npm test` 跑的不花钱的测试;`eval/` 放真实运行的检验(起研究、回放记录、杀进程、查账本、评研究质量)。
- `src/` 不引用 `tests/`、`eval/`;`eval/` 只经 `src/<模块>/index.ts` 用正式代码,像用户一样用:给配置、启动研究、读账本。
- `src/` 里不出现为检验写的任何东西:参数、环境变量开关、"回放模式"、假实现、只给检验用的导出。检验要的假模型,用 Pi 自己的模型服务配置(`PI_CODING_AGENT_DIR`)接过去。
- 检验跑出来的研究目录和报告放在仓库外,不提交。
- 修缺陷时,附一条能复现原问题的测试。
- 不为了方便测试而给产品代码加参数或分支。测试要造的情况(例如外部服务不应答),用测试自己的环境去造。
- 不靠删断言、改预期值,或只保留成功的运行来让测试通过。