InfoRSI/任务书/08-jev.md

任务书 08：jev（Jev 判别）

写 jev 模块：问 Jev 的问法和阈值。这次不做校准：问法以参考项目的为基础，阈值暂用参考项目的值；等新项目跑出真实研究、收集到真实数据后再校准（见第三部分）。顺带改账本几处、config 一处。

本任务书已由用户和监督者在 2026-10-03 一起确定。下面说的"监督者"，是在参考项目目录里和用户讨论设计的另一个会话。

用户原话："九个都问，并把多出的三个补进 docs/方法.md"。

2026-10-03 改动：用户后来决定这次不校准："我们到时候应该是通过真实的运行收集一批真实的数据，然后由claude或者gpt亲自打标签作为集合……jev这次的验收应该也不以效果为主，因为还没有数据校准，prompt还是用原本的prompt作为基础就好"。第三部分及相关各处已按此改写。如果你已经开始转换样本或写校准脚本，停下，把这部分删掉。

开工前先读

• CLAUDE.md：全部，尤其是"罕见情况怎么办""不设默认值""错误怎么处理"（外部错误有限次重试）、"Pi 与三个角色"里 Jev 那一条。
• docs/结构.md：
  • 第二部分 jev、submissions 两行；
  • 第三部分：账本记录第 3 种（退回带 Jev 的原始概率和结论）、第 8 种（判重合并的输入带 Jev 的原始概率），以及"Jev 不单独成记录"那一段；
  • 第八部分：vocab、ledger、config、workspace 几节。
• docs/方法.md：4.3 ③（判重）、⑥（冻结条款检查）、⑨（实现改动检查）。
• WORK_LOG.md。
• 参考项目（只读，不要改）：
  • /home/iomgaa/Projects/RivalBits/research-wiki/参考-Jev使用指南.md：先通读。问法怎么写、材料怎么给、抖动怎么测、阈值怎么定，都以它为准；
  • /home/iomgaa/Projects/RivalBits/src/judge/：jev.ts、judge.ts、questions.ts、calibration.ts、types.ts；
  • /home/iomgaa/Projects/RivalBits/src/tasks/audit.ts 的传输层：只看怎么发请求、怎么带密钥；
  • /home/iomgaa/Projects/RivalBits/tests/calibration/：README.md，以及 dedup/、feasibility/、prescan/ 三组的样本、记录和脚本。

一、问哪些问题

方法里一共三处、九个问题（docs/方法.md 4.3，监督者已按用户的决定补齐）：

哪一处	问题（概率高 = 有问题，或"是同一个"）	参考项目里的名字
③ 判重：两条提案	是不是同一个改法	same_change
⑥ 冻结条款	改动了评测	changes_measurement
	自相矛盾	self_contradictory
	写得太含糊，没法照着实现	too_vague
⑨ 实验员的一段代码改动	用了不固定种子的随机数	unseeded_randomness
	协议没登记就读时钟	reads_clock
	算登记指标的方式与定义不符	touches_measurement
	比协议登记的停止条件更早结束	early_exit
	测不到的量写成 0	zero_for_unmeasured

参考项目另有"指标换说法""指标规格具体性"两处，方法里没有，不搬。

二、问法和材料

• 问题措辞、判"是"和判"否"的说明与示例句，以参考项目 questions.ts 为起点，改成新项目的说法：
  • "点"改成"因子"；
  • 协议、提案的字段按 vocab 现在的字段定义；
  • 改动的形状按 workspace 的比较结果。
• 材料由 jev 从带类型的输入拼出来。jev 的函数收的是：两条提案的因子清单；一份冻结协议的条款；一段代码改动加协议。不收拼好的 JSON。材料里放什么、字段叫什么，只在 jev 一处定（结构.md 第一部分第 7 问）。
• 示例句只有填圆一套。参考项目"填圆、C1 两套示例句、按任务覆盖阈值"的机制不搬。以后加第二个任务时再说。
• 代码改动按参考项目，一段改动（一个差异块）一次请求，五问在同一份材料里。差异块的正文从 workspace 的比较结果里取，怎么切由你定。
• 冻结条款三问、判重一问各自怎么分请求，照参考项目的做法。
• 问法只做必要的改动：说法、字段名对上新项目。不为"可能更好"改写措辞，因为现在没有数据能判断改得好不好。

三、这次不校准

参考项目的阈值是在参考项目的手写样本和材料格式上定的。用户决定不在手写样本上重新校准，等新项目跑出真实研究以后，用真实数据校准：收集真实的 Jev 判断和它判断的材料，由 Claude 或 GPT 打标签，作为校准集和留出集。参考项目的 8 个验收数据库不用，因为它们的材料格式以后还会变。

所以这次：

• 九问的阈值暂用参考项目 JEV_THRESHOLDS 里的值。代码里阈值旁边写一句：这是参考项目在它自己的材料上校准的值，没有在新项目的材料上校准过，等真实数据。
• 不搬参考项目的校准样本，不写校准脚本。以后有了真实数据，按数据的样子再写。
• 每次 Jev 判断的原始概率都要存进账本：退回时存在退回记录里，收下时存在提交记录里（第五部分），判重存在决定记录里。以后校准要用的就是这些数据。
• 验收看接线对不对，不看判得准不准：用假 Jev 测逻辑，再用真实 Jev 每一处各问一次，确认请求发得出去、回答读得回来（第七部分）。

密钥：Jev 的密钥是环境变量 TYPESAFE_API_KEY，值在 /home/iomgaa/Projects/RivalBits/.env。跑真实 Jev 时用 set -a && . /home/iomgaa/Projects/RivalBits/.env && set +a 加载，不要打印，不要复制进新项目。

四、对外提供什么

经 src/jev/index.ts 导出，函数名由你定：

1. 判重：两条提案，交回一条判断。
2. 查冻结条款：一份冻结协议，交回三问各自的判断，以及"有没有问题"。
3. 查一段代码改动：一段改动加协议，交回五问各自的判断，以及"有没有问题"。

每条判断都包含：

• 问题名；
• 问题全文的哈希：措辞、示例、阈值一起算，改了措辞就能从记录里看出来；
• 阈值、原始概率、结论；
• Jev 返回的请求编号。

这个类型放进 vocab，名字你定：jev 交出它，ledger 的记录里存它，两个模块互不引用（见第五部分）。

• Jev 用哪个模型：作为参数传入，来自 config（见第五部分）。
• 调不通：网络断开、超时、服务返回错误，在发请求那一处有限次重试（CLAUDE.md"错误怎么处理"）；仍然失败就报错停下，不能把"没判"当成"没问题"。重试次数和间隔写在代码里，写明理由。
• Jev 回的内容读不懂：比如没有概率、概率不在 0 到 1 之间，这是外部服务的返回，属于系统边界，报错停下，带上请求编号。
• 几对提案判完以后怎么合成几组：纯计算，以后归 rules，这次不写。参考项目的 dedup.ts 不搬。

五、顺带改 ledger、vocab、config

ledger（表结构变了，SCHEMA_VERSION 加 1）：

1. "模型调用结束"（callEnded）加一个墙钟时间字段，单位秒。结构.md 第三部分第 10 种和任务书 07 都要求 flow 把墙钟时间写进去（WORK_LOG"未完成"里那一条）。
2. callEnded 的结束方式对上 agents 的四种结局：交了、没交（带原因）、出错（带原因）、被停下。现在只有 completed / failed 两种。
3. "退回"（rejection）加一个字段，存这次退回用到的 Jev 判断。程序检查退回的，写 null。结构.md 第三部分第 3 种要求"退回理由含 Jev 的原始概率和结论"，现在退回记录只有一段文字。
4. "提交"（submission）也加同样的字段，存收下这份提交时 Jev 的判断；没用到 Jev 的写 null。只存退回的、不存放行的，以后就查不出"放行的里有多少擦着阈值过"，也没有校准数据。用户同意这次就加。

第 1 条的墙钟时间用 vocab 的"测到 / 测不到"（Measured）：控制进程被杀后，恢复时给旧调用补"结束"，时间量不到，写出错加测不到（原因"进程中断"）。用户同意。

判重合并是"决定"记录，它的输入本来就是 JSON，不用改。

这四处属于账本，写完派一个全新上下文的子 Agent 审阅（见第七部分）。

config：

• 加"Jev 用哪个模型"，属于用户配置，必填。配置对话以后照字段说明问。参考项目默认是 jev-latest，新项目不设默认值。
• 密钥不进配置，照参考项目从环境变量读。

六、参考项目的保留与删除

处理	内容
借鉴，只改说法和字段名	questions.ts 里判重、可行性、预扫三处的问法和示例句；JEV_THRESHOLDS 里这九问的阈值，暂用、注明未在新材料上校准
借鉴	jev.ts 读回答的做法；audit.ts 的发请求、带密钥
不搬	calibration.ts 和 tests/calibration/ 下全部样本：以后用真实数据校准时再写
删除	指标换说法、指标规格具体性两处的问法
删除	C1_JEV_EXAMPLES、thresholdOverrides、UNCALIBRATED_JEV_SITES：只有一个任务；未校准的说明写在阈值旁边
删除	dedup.ts：合成几组归 rules，以后再写
删除	httpAuditTransport 里 endpoint ?? AUDIT_ENDPOINT、fetchImpl ?? fetch 这类可选参数：不设默认值，也不为测试给产品代码加参数
删除	发请求前检查"正文里有没有密钥"：密钥只从环境变量读进请求头，材料由 jev 自己从带类型的输入拼，没有路径会把它带进正文
不搬	结构.md 原来写的"永远判不同的空实现"：对照组已推迟，测试要用假 Jev 时在测试里自己写（结构.md 第五部分已删掉这句）

七、测试与审阅

• npm test，不花钱：

  • 用假 Jev 测：概率超过阈值判"是"，不超过判"否"；回答读不懂时报错；调不通时重试到上限再报错；
  • 问题哈希：改一个字，哈希就变；
  • 材料：给定带类型的输入，拼出的材料和预期一致；
  • ledger 的四处改动各有测试：墙钟时间测到、测不到都存得进、读得出；四种结束方式；退回和提交记录带 Jev 判断或 null；
  • config 少了 Jev 模型时报错。

• 真实 Jev 接线测试：另起一个命令，例如 npm run test:jev，不放进 npm test。三处各问一次真实 Jev，用你随手写的简单材料：确认请求发得出去、九问都拿回 0 到 1 之间的概率、请求编号读得到。不判断概率对不对。

• 审阅：ledger 的四处改动属于账本，写完派一个全新上下文的子 Agent 审阅一轮。告诉审阅者：

  • 每条意见先回答"不写会怎样"；
  • 只防三类：没人操作也会发生的、模型正常工作时就会做的、出错后发现不了的；
  • 模块之间传错参数、有人用 shell 故意破坏，只列出不改。

  jev 本身按原型标准，不另审。

八、规模与文档

• jev 预期 400–600 行。问题措辞和示例句会占一半左右。超过 600 行就停下来检查。
• 完成后更新：
  • docs/结构.md 第八部分：补 jev 对外的函数和类型；ledger、vocab、config 几节按第五部分改；
  • WORK_LOG.md：在"已完成"补一条；删掉"未完成"里 callEnded 那一条。
• 不新建 md 文件。

九、验收与报告

做完后本地提交，然后在回复里交一份报告，监督者会对着实际文件逐项核对：

1. 提交号，新增和修改的文件列表，每个文件的行数，jev 的总行数。
2. npm run check、npm test 的完整输出。
3. 九问的阈值和问法相对参考项目改了哪些字（逐问列出），以及 npm run test:jev 的实际输出：每问的概率和请求编号。
4. 审阅意见逐条：内容、采纳或不采纳、理由。
5. 你和这份任务书、结构.md、方法.md 不一致的地方，以及为什么。
6. 规则不清楚的地方：读 CLAUDE.md、结构.md、方法.md、Jev 使用指南时，哪里让你犹豫、哪里两份文件说法不一致、哪里你是靠猜的。没有就写"没有"。没有真实证据的可能情况，在这里提一句就够，不写进 WORK_LOG。