6af289d283
design 0011(待确认)定了六条:一次运行一个文件且文件名就是运行标识(不转义不哈希,按标识 去目录里找文件是最自然的用法;标识必须是安全文件名,否则 ../ 会把文件写到目录外面);一行 一条记录加一个 record 类型标签(serialization 编出来的载荷没有元信息键,标签是存储这层加的, record 从此是保留键);第一条解不开的行就是日志结尾、它后面还有内容就是损坏;fsync 只在 运行开始、两条意图、运行结束四处(其余两处靠前缀持久性兜);写入走 to_thread;运行开始记录 用 O_EXCL 兜住跨进程撞车。 契约套件里那条 test_step_without_an_action_is_still_recorded 转成真断言——它标着 xfail 的 理由是「StepCompleted.result_id 在 0006 里是必填字符串」,而 0006 决策七早就把它改成可为空 并加了不变量。xfail 8→7,跳过 24→14。 原子写「一起不可见」那一半按契约套件的点名在这一层补上了:给实现留一个可注入的故障点 (一个可替换的「把这些字节写进去」),测试把它换成写一半就抛异常,断言那条记录整条不可见。 前缀持久性仍然验不了(掉电才看得出来),继续登记为已知缺口。 调研三条实据写进了 0011:两个下游 fsync 全仓零处(一个的 SQLite 还开着 synchronous=NORMAL), 所以这条比它们都严、代价是每步两次 fsync;一个下游的轨迹检查器同样是「碰到第一条坏行就放弃 整个文件」;另一个下游踩过「文件名少一维导致两个阶段静默互相覆盖」,O_EXCL 把那类静默覆盖 变成显式失败。这几条我自己逐条核过——那份调研的 subagent 承认它编过一句「我抽查过了」。 migrations/dissect.md 登记两条:运行标识要带齐现在文件名里那五维,以及这份意图日志和它那份 逐步轨迹是两样东西不要混。
224 lines
7.8 KiB
Python
224 lines
7.8 KiB
Python
"""契约套件的装配点。
|
|
|
|
这套测试**不针对任何具体实现**。它写的是「不管你怎么实现,都必须满足这些行为」,所以它
|
|
自己不造实现,只声明「你得提供什么」。任何一个下游写完自己的存储或适配器,把它接到这里
|
|
的 fixture 上跑一遍,全绿就算合格——这是 `CLAUDE.md` §0 说的「任何新适配器的准入标准」。
|
|
|
|
**接法**:下游在自己的 `conftest.py` 里覆盖同名 fixture,返回自己的实现。
|
|
|
|
**为什么在实现之前就写它**:写一条契约测试要求把每一次调用逐字写出来——方法叫什么、参数
|
|
填什么、返回值怎么取。散文里读着通顺的地方,落到这一步就会露出来。前三轮文档评审抓不到的
|
|
洞,几乎全是这么冒出来的。
|
|
"""
|
|
|
|
from collections.abc import Mapping
|
|
|
|
import pytest
|
|
|
|
from polyloop.ports import Action, Event, ToolCall
|
|
from polyloop.stores import JsonlRunStore
|
|
from polyloop.types import (
|
|
ActionOutcome,
|
|
ActionStatus,
|
|
Intent,
|
|
IntentKind,
|
|
ModelCallResult,
|
|
ModelReply,
|
|
ReplayPolicy,
|
|
RunFinished,
|
|
RunResult,
|
|
RunStarted,
|
|
StepCompleted,
|
|
StepRecord,
|
|
StopReason,
|
|
)
|
|
|
|
#: 还没有默认实现的那几个接缝,套件里对应的测试全部跳过。
|
|
_NO_IMPLEMENTATION = (
|
|
"库不带这个接缝的默认实现——带了就等于替某一家定了它的协议。"
|
|
"下游在自己的 conftest.py 里覆盖这个 fixture,把自己的实现接进来跑。"
|
|
)
|
|
|
|
|
|
class _Records:
|
|
"""构造各类记录的工厂。
|
|
|
|
它不是被测对象,是让测试正文读得懂的一层薄封装:`records.model_call_intent(...)` 比直接
|
|
写一长串构造参数更能看出这条测试在断言什么。工厂随套件一起走,因为记录类的字段是库的
|
|
公共承诺,下游不该为了跑契约测试去手写构造。
|
|
"""
|
|
|
|
#: 让测试写 `records.action_status.EXECUTED` 而不必自己 import 那个枚举。
|
|
action_status = ActionStatus
|
|
|
|
def reply(self, *, call_id: str | None = "call-1", content: str = "hi") -> ModelReply:
|
|
return ModelReply(call_id=call_id, content=content, thinking="")
|
|
|
|
def model_call_intent(self, *, run_id: str, call_index: int, result_id: str) -> Intent:
|
|
return Intent(
|
|
run_id=run_id,
|
|
kind=IntentKind.MODEL_CALL,
|
|
call_index=call_index,
|
|
result_id=result_id,
|
|
replay_policy=ReplayPolicy.NEVER,
|
|
)
|
|
|
|
def action_intent(
|
|
self,
|
|
*,
|
|
run_id: str,
|
|
call_index: int,
|
|
result_id: str,
|
|
replay_policy: ReplayPolicy = ReplayPolicy.NEVER,
|
|
) -> Intent:
|
|
return Intent(
|
|
run_id=run_id,
|
|
kind=IntentKind.ACTION,
|
|
call_index=call_index,
|
|
result_id=result_id,
|
|
replay_policy=replay_policy,
|
|
)
|
|
|
|
def model_call_result(
|
|
self,
|
|
*,
|
|
run_id: str,
|
|
result_id: str,
|
|
reply: ModelReply | None = None,
|
|
failure: str | None = None,
|
|
) -> ModelCallResult:
|
|
"""`reply` 与 `failure` 恰好一个有值,两个都不给时默认造一条成功的。"""
|
|
if reply is None and failure is None:
|
|
reply = self.reply()
|
|
return ModelCallResult(run_id=run_id, result_id=result_id, reply=reply, failure=failure)
|
|
|
|
def outcome(
|
|
self,
|
|
*,
|
|
status: ActionStatus = ActionStatus.EXECUTED,
|
|
observation: str = "环境的输出",
|
|
env_reported_completion: bool = False,
|
|
) -> ActionOutcome:
|
|
return ActionOutcome(
|
|
status=status,
|
|
observation=observation,
|
|
observation_is_synthetic=False,
|
|
env_reported_completion=env_reported_completion,
|
|
observation_truncated_chars=0,
|
|
)
|
|
|
|
def step(self, *, step_idx: int = 0, parse_ok: bool = True) -> StepRecord:
|
|
return StepRecord(
|
|
step_idx=step_idx,
|
|
raw_output="模型说的话",
|
|
content_chars=5,
|
|
thinking_chars=0,
|
|
action="做点事" if parse_ok else None,
|
|
parse_ok=parse_ok,
|
|
parse_error=None if parse_ok else "解释不出动作",
|
|
observation="环境的输出",
|
|
observation_is_synthetic=False,
|
|
observation_truncated_chars=0,
|
|
prompt_chars=100,
|
|
call_id="call-1",
|
|
step_wall_ms=12,
|
|
)
|
|
|
|
def step_completed(
|
|
self,
|
|
*,
|
|
run_id: str,
|
|
result_id: str | None,
|
|
action_outcome: ActionOutcome | None,
|
|
step: StepRecord,
|
|
) -> StepCompleted:
|
|
return StepCompleted(
|
|
run_id=run_id, result_id=result_id, action_outcome=action_outcome, step=step
|
|
)
|
|
|
|
def run_started(self, *, run_id: str, parameter_snapshot: Mapping[str, str]) -> RunStarted:
|
|
return RunStarted(run_id=run_id, parameter_snapshot=dict(parameter_snapshot))
|
|
|
|
def result(
|
|
self, *, run_id: str, stop_reason: StopReason = StopReason.TASK_COMPLETED
|
|
) -> RunResult:
|
|
return RunResult(
|
|
run_id=run_id, stop_reason=stop_reason, final_answer="42", steps=(self.step(),)
|
|
)
|
|
|
|
def run_finished(self, *, run_id: str, result: RunResult) -> RunFinished:
|
|
return RunFinished(run_id=run_id, result=result)
|
|
|
|
def action(self, *, text: str = "做点事", tool_name: str | None = None) -> Action:
|
|
return Action(
|
|
text=text,
|
|
tool_call=None if tool_name is None else ToolCall(name=tool_name, arguments={}),
|
|
)
|
|
|
|
def event(self) -> Event:
|
|
return Event()
|
|
|
|
|
|
@pytest.fixture
|
|
def records() -> _Records:
|
|
return _Records()
|
|
|
|
|
|
@pytest.fixture
|
|
def store(tmp_path) -> JsonlRunStore:
|
|
"""被测的存储接缝实现。
|
|
|
|
默认接的是库自带的那个逐行追加实现。下游覆盖这个 fixture,返回自己的实例。
|
|
|
|
每次调用返回一个**空的**存储:套件里每条测试都假设自己面对一份干净的日志,共用状态会让
|
|
测试之间的顺序变成隐式依赖。`tmp_path` 每条测试一个新目录,这一条自动成立。
|
|
"""
|
|
return JsonlRunStore(directory=tmp_path)
|
|
|
|
|
|
@pytest.fixture
|
|
def samples():
|
|
"""被测解释器认得的几段模型输出,由实现方提供。
|
|
|
|
**套件不许自己写死输入。** 库不带默认解释器实现,也就不认识任何一家的动作语言:拿一家的
|
|
代码围栏去喂另一家的 JSON 解析器,后者正确地返回「无效决策」,而写死输入的套件会把这个
|
|
正确行为判成失败。
|
|
|
|
实现方要提供两段:`yields_an_action`(一段能被解释成动作的模型回复)与 `yields_invalid`
|
|
(一段解释不出动作的)。这不是给套件开后门——「我这套语言里什么算合法动作」本来就只有
|
|
实现方答得出,套件断言的是**拿到之后的形状**,不是输入长什么样。
|
|
"""
|
|
pytest.skip(_NO_IMPLEMENTATION)
|
|
|
|
|
|
@pytest.fixture
|
|
def action_executor():
|
|
"""被测的动作执行接缝实现。
|
|
|
|
库自带一个由工具注册表派生的分发器(`polyloop.tools.ToolRegistry.executor`),但它只覆盖
|
|
「工具调用」那一种动作语言;把它接在这里会让套件只验得了那一种,所以默认仍然留空。
|
|
"""
|
|
pytest.skip(_NO_IMPLEMENTATION)
|
|
|
|
|
|
@pytest.fixture
|
|
def decision_parser():
|
|
"""被测的决策解释接缝实现。"""
|
|
pytest.skip(_NO_IMPLEMENTATION)
|
|
|
|
|
|
@pytest.fixture
|
|
def model_client():
|
|
"""被测的模型调用接缝实现。
|
|
|
|
注意这一层的契约测试**不打真实网关**——那是 e2e 的事。这里断言的是返回结构体的形状与
|
|
失败时的表达方式,用一个受控的替身就能验。
|
|
"""
|
|
pytest.skip(_NO_IMPLEMENTATION)
|
|
|
|
|
|
@pytest.fixture
|
|
def event_sink():
|
|
"""被测的事件出口实现。"""
|
|
pytest.skip(_NO_IMPLEMENTATION)
|