iomgaa
de1d6b2d51
- 任务书 02：先修 C14（关键图问题改为跳过单例）；四阶段迁移 ceus、segment、 ceus_quant、build 装入 8 张图中的 7 张关键帧与 tic.json；过一轮「硕士生阅读」 - 负责人 2026-10-16：MedSAM2 从远程拷贝最快；任务书一份；紫圈阈值先照搬并记待定问题； CEUS 整例失败跳过、拟合不过只缺 D1–D4，两点认可 - 待定问题 07（超声图上烧录的性别年龄）、08（紫圈颜色阈值是占位值） - 结构.md：CEUS 运行产物进 runs/ceus/（会进资料库与论文，需可追溯），work/ 只放分割缓存 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
271 lines
16 KiB
Markdown
271 lines
16 KiB
Markdown
# 项目综述 v4 · 逐节修改草稿（2026-10-11）
|
||
|
||
> 性质：在 v3 基础上的逐节修改草稿（会前讨论用；会上逐节过，会后执行）
|
||
> 依据：《研究定位裁定.md》＋ Nature Communications 2026 text anchoring 启发
|
||
> 操作原则：§1–3 基本不动；§4–10 重写；附录 A–E 保留；Linear 版第八节不覆盖
|
||
> ⚠️ 标注【需工程侧 input】的位置——会上逐项过
|
||
|
||
---
|
||
|
||
## 摘要（替换定位句）
|
||
|
||
> ……方法学内核为模态隔离的多智能体证据评估机制：经腹 CEUS 灌注定量、MR 报告与临床信息分别由独立智能体评估，各智能体仅接触本模态证据并输出结构化判断，跨模态分歧因此得以显式暴露并作为选择性预测的风险信号——而非在早期融合中被文本量占优的模态（如影像报告）压制。金标准为术后或穿刺病理。系统在此基础上评估两条主线：诊断效度（四亚型分类、校准与稳定性）与选择性预测效度（分歧能否在置信度之外识别易错病例）。
|
||
|
||
其余摘要内容（临床背景、数据规模、CEUS 电子化定位）保留 v3 原文。
|
||
|
||
---
|
||
|
||
## §1 研究背景与临床问题 — **不动**
|
||
|
||
v3 原文保留。四亚型恶性潜能差异、指南多模态联合原则、"切除/随访/放心"管理决策框架——均仍有效。
|
||
|
||
---
|
||
|
||
## §2 临床未满足需求与诊断困境 — **不动**
|
||
|
||
v3 原文保留。各模态性能天花板、经腹 CEUS 无创可及但缺乏定量、CH-EUS 有创但准确——叙事仍成立。
|
||
|
||
---
|
||
|
||
## §3 相关工作与领域现状 — **补充一条**
|
||
|
||
v3 原文保留，§3.2 末尾新增：
|
||
|
||
> **3.x 多模态融合的文本主导风险**：近期研究（Nature Communications, 2026）系统评估了 8 种多模态基础模型在 1090 例医学影像病例上的表现，发现当加入误导性文本描述后，原本仅凭影像能正确回答的病例性能大幅下降（最佳模型从 84% 降至 28%）。文本越丰富，模型输出越稳定，但这种稳定反映的是模型对文本的依赖而非对影像的利用。这一"文本锚定"现象揭示了多模态医学 AI 的一个结构性风险：当不同模态以不同信息密度进入模型时，信息密度高的模态（通常是文本）可能系统性地压制信息密度低但临床价值独立的模态。
|
||
|
||
---
|
||
|
||
## §4 研究目标与科学问题 — **重写**
|
||
|
||
### 4.1 总体目标
|
||
|
||
在多模态数据（临床信息、经腹 CEUS 灌注定量、MR 报告）基础上，构建面向胰腺囊性病变四亚型鉴别的诊断系统，实现经腹 CEUS 动态影像的电子化与信度评估，并以模态隔离的多智能体证据评估产出可审计的四分类诊断与选择性预测输出，服务于缺乏胰腺亚专科专家且难以施行有创内镜造影的场景。
|
||
|
||
### 4.2 科学问题（三层递进）
|
||
|
||
> **SQ-A（诊断效度）**：在多模态数据基础上，系统能否实现胰腺囊性病变四亚型的准确分类与良好校准？
|
||
>
|
||
> **SQ-B（选择性预测）**：当不同模态的独立评估产生分歧时，该分歧能否在最终整合置信度之外提供增量的错误风险信息——即高分歧病例是否系统性地更容易出错？系统能否据此实现可靠的选择性预测（高置信输出诊断、高分歧建议进一步检查）？
|
||
>
|
||
> **SQ-C（证据底座可信度）**：经腹 CEUS 动态影像经 ROI 提取与 TIC 灌注定量后，能否实现跨帧、跨操作者条件下可复现的电子化表征？人工标注的结构化判读在医生间是否具备足够的一致性？
|
||
|
||
**三层的关系**：SQ-A 是前提（四分类不行则后续无意义）；SQ-B 是核心贡献（分歧的增量价值是本文科学主张）；SQ-C 是底座（CEUS 量化不可信则以它为输入的 SQ-B 不成立）。三层依次递进，任何一层不成立都不强行推进到下一层。
|
||
|
||
### 4.3 贡献陈述
|
||
|
||
1. **数据工程贡献**：经腹 CEUS 动态影像的自动化 ROI/TIC 电子化流水线及其信度评估，以无创路径逼近既往依赖有创 CH-EUS 的鉴别能力。
|
||
2. **方法学贡献**：模态隔离的多智能体证据评估机制——通过在证据形成阶段保持模态隔离、在整合阶段显式暴露分歧，使跨模态冲突成为可测量的错误风险信号，支持选择性预测。
|
||
3. **临床价值贡献**：以连续、可审计的输出（诊断＋分歧＋拒答）服务于非专科场景，并以指南映射论证对管理路径的影响。
|
||
|
||
---
|
||
|
||
## §5 目标期刊与发表定位 — **重写**
|
||
|
||
### 5.1 双轨制
|
||
|
||
**当前倾向**：新刊方向（命中概率考虑）。重点观察三个处于 launch 免 APC 窗口的期刊（南方医主办）：
|
||
|
||
| 刊 | 窗口 | 匹配度 |
|
||
| :-- | :-- | :-- |
|
||
| Medicine Discovery | 2028 年底前投稿免 APC | 数字医学板块覆盖医学影像、预测建模、数据驱动决策系统；强调可解释性、验证、基准与真实世界部署——与选择性预测设计文字匹配度最高 |
|
||
| Intelligent Translational Medicine | 2027-12-31 前投稿全免 | 覆盖 AI/ML、医学影像、精准诊断、数字健康 |
|
||
| Molecular and Digital Medicine | 2028-12-31 前提交且此前接受全免 | 接收 AI/ML 与临床转化，但偏分子科学融合 |
|
||
|
||
**成熟刊备选**（按选择性预测结果定赛道）：npj Digital Medicine、Radiology: Artificial Intelligence、JAMIA、JBI、AIM、CMPB。
|
||
|
||
### 5.2 纪律
|
||
|
||
不锁死（结果出来定）；不因免 APC 降低设计标准；不为赶窗口提前解锁测试集。Watchlist 每 3–6 月复核。
|
||
|
||
---
|
||
|
||
## §6 核心科学论点 — **重写**
|
||
|
||
### 6.1 多模态融合中的文本主导风险
|
||
|
||
近期研究（Nature Communications, 2026）实证：当不同模态以不同信息密度进入多模态模型时，信息密度高的模态（通常是文本报告）可能系统性压制信息密度低但临床价值独立的模态（通常是定量影像参数）。这种"文本锚定"现象在最佳模型上导致性能从 84% 降至 28%。【需引用：Nature Comms 2026, s41467-026-74207-5】
|
||
|
||
### 6.2 信息隔离作为设计对策
|
||
|
||
本项目的模态隔离架构直接回应上述风险。设计原则：各模态证据由独立智能体在隔离条件下先行评估——CEUS 智能体接触 TIC 灌注参数与结构化影像特征（不含医生总结性文字），MR 智能体接触报告描述段（剥离结论段），临床智能体接触结构化白名单字段。各智能体独立输出后，系统显式计算跨模态分歧，再进入质询与整合。
|
||
|
||
设计逻辑：如果多模态融合的主要风险是早期混合导致优势文本压制独立证据，那么对策就是在证据形成阶段保持模态隔离、在证据整合阶段显式暴露分歧。
|
||
|
||
### 6.3 系统完整流程
|
||
|
||
| 步 | 做什么 | 目的 |
|
||
| :-- | :-- | :-- |
|
||
| ① 模态隔离 | 各 agent 只读本模态证据 | 防止早期融合导致文本主导 |
|
||
| ② 独立判断 | 各 agent 独立输出结构化判断＋概率向量 | 保存独立证据 |
|
||
| ③ 分歧计算 | 系统显式计算跨模态分歧 | 分歧是核心输出 |
|
||
| ④ 质询 | 分歧显式呈现，互相质询、可修正 | 处理分歧——裁决得了→整合；裁决不了→拒答 |
|
||
| ⑤ 整合输出 | 最终概率＋置信度＋分歧指标＋拒答决策 | 选择性预测 |
|
||
|
||
质询的角色：不是"让 agent 更聪明"，而是**处理隔离暴露的分歧**。分歧本身已经是核心信号——质询看它能否被裁决；裁决不了的分歧直接驱动选择性预测。
|
||
|
||
### 6.4 选择性预测作为临床出口
|
||
|
||
当分歧可测量时，系统实现分级输出：模块间高度一致且置信度充分→确定性诊断；分歧显著→标记不确定并建议进一步检查（如 EUS-FNA）。核心检验：分歧是否真的与错误相关？加入分歧后，风险–覆盖表现是否优于仅靠置信度？
|
||
|
||
### 6.5 CEUS 定量证据的独立价值
|
||
|
||
在上述框架中，ROI/TIC 灌注定量不是"多了一种输入"，而是**一种无法被简化为文本的结构化、连续、具有生理学意义的独立证据通道**。如果所有模态都以文本形式进入系统，那么"多模态分歧"可能只是几段医生文本之间的措辞差异。TIC 定量参数（达峰时间、增强模式、洗脱特征、病灶与正常实质比值）来源于不同物理机制——它使 CEUS 智能体真正掌握 MR 和临床智能体不具备的信息，是抵抗文本锚定的关键资产。
|
||
|
||
---
|
||
|
||
## §7 方法学定位 — **重写**
|
||
|
||
### 7.1 从工程设计到针对已知失败模式的系统对策
|
||
|
||
模态信息隔离架构不是 agent 工程设计偏好，而是针对一个已被实证的失败模式（文本锚定/模态压制）的系统性对策。设计逻辑：早期融合→可能的文本主导；独立证据形成→显式分歧→裁决。
|
||
|
||
### 7.2 四种运行模式
|
||
|
||
系统按可用模态进入预定义运行模式（非按需选择）：
|
||
|
||
| 模式 | 输入 | 定位 |
|
||
| :-- | :-- | :-- |
|
||
| CEUS＋临床 | 基础能力 | fallback |
|
||
| CEUS＋MR＋临床 | **主路线** | 主要评价对象 |
|
||
| CEUS＋CT＋临床 | 关键次要路线 | 历史 93 例 |
|
||
| 全模态 | 上限探索 | 历史 15 例 |
|
||
|
||
每种运行模式是独立的 index-test configuration，需各自的性能与校准评价。缺模态不补——不用 CT 猜 MR、不生成缺失报告、不把"无 MR"编码为阴性。CEUS 缺失→系统 out-of-scope。
|
||
|
||
【需工程侧 input ①】四种运行模式的架构可实现性：各模态独立 agent 的接口设计、统一 evidence schema 的字段定义。
|
||
|
||
### 7.3 机制实验的逻辑闭环
|
||
|
||
最小机制实验为 2×2 设计：
|
||
|
||
| | 无质询 | 有质询 |
|
||
| :-- | :-- | :-- |
|
||
| **共享信息** | 测试是否出现文本主导 | 测试融合后能否处理冲突 |
|
||
| **模态隔离** | 测试独立证据是否保留 | 测试隔离后分歧能否被正确裁决 |
|
||
|
||
辅以 single-agent/全信息基线。三个条件合在一起构成完整机制链：早期融合→可能的文本锚定；独立证据形成→显式分歧→裁决。
|
||
|
||
### 7.4 Integrator 架构
|
||
|
||
各 agent 只向 Integrator 提交标准化 evidence packet（modality、available、quality、四分类概率向量、supporting_evidence[]、opposing_evidence[]、uncertainty、missing_information[]），Integrator 主要看 packet，不重新看原始报告文本。
|
||
|
||
【需工程侧 input ②】evidence packet 的 schema 设计与 Integrator 是否需要看原始文本（或仅作为对照条件）。
|
||
|
||
---
|
||
|
||
## §8 系统设计概要 — **重写**
|
||
|
||
### 8.1 数据电子化层
|
||
|
||
CEUS ROI 提取流水线（分屏切分 → 绿框 HSV 检测选关键帧 → 坐标映射 → 自托管 GPU 分割传播 → 多边形平滑 → TIC 三曲线）；对 CT 与临床信息完成结构化入库。流水线中显式使用的坐标/位置先验作为消融对象。
|
||
|
||
### 8.2 多智能体证据评估层
|
||
|
||
以模态划分的独立智能体（CEUS/MR/Clinical 各自独立），经五步流程（模态隔离→独立判断→分歧计算→质询→整合）产出四分类概率、分歧指标、拒答决策。
|
||
|
||
各 agent 只向 Integrator 提交标准化 evidence packet，Integrator 不重新看原始报告文本（见 §7.4）。
|
||
|
||
### 8.3 运行模式路由
|
||
|
||
系统按可用模态进入预定义运行模式（CEUS＋临床／＋MR／＋CT／全模态），缺模态不补，CEUS 缺失→out-of-scope。
|
||
|
||
### 8.4 输出层
|
||
|
||
四分类概率（经校准）、各模态概率向量、分歧指标（五件套）、证据支持/反对记录、拒答/转诊状态与原因、版本绑定。
|
||
|
||
【需工程侧 input ③】日志 schema：能否按 §5.4-8 和证据资产清单的十项要求逐条落盘。
|
||
|
||
---
|
||
|
||
## §9 验证方案设计 — **重写（四层）**
|
||
|
||
### Layer 1｜基础诊断效度（locked 164）
|
||
|
||
macro-F1、balanced accuracy、per-class sensitivity、混淆矩阵、Brier＋log loss（主）＋calibration plots＋ECE（补充），关键指标带 95%CI。金标准为术后或穿刺病理。
|
||
|
||
### Layer 2｜选择性预测效度
|
||
|
||
比较三种拒答策略（仅置信度／仅分歧／组合）：AURC、ΔAURC、预设覆盖率下 selective risk、error enrichment。按类报告：overall coverage、per-class coverage、per-class selective risk。
|
||
|
||
### Layer 3｜机制实验
|
||
|
||
最小 2×2（共享 vs 模态隔离 × 无质询 vs 有质询）＋single-agent/全信息基线（必做）。辅以 modality dominance 分析与 natural discordance analysis。
|
||
|
||
### Layer 4｜可信度与鲁棒性
|
||
|
||
CEUS 读者间 κ/ICC（C 测量集 17 条，双医生盲判 20–30 例）；AI test–retest 稳定性（区分稳定正确 vs 稳定错误）；per-class rejection；历史队列时间鲁棒性（route 分层）；missing-modality stress test。
|
||
|
||
### 9.1 within-patient 配对比较
|
||
|
||
164 例三模态完整→同一患者做所有关键运行模式的配对评价：Clinical→MR+Clin→+CEUS 定性→+TIC 定量（CT 路线重复）。止损条件＝TIC 信度差且对分类/校准/错误识别/disagreement 均无增量。
|
||
|
||
### 9.2 单模态配置
|
||
|
||
Clinical-only／MR-only／CEUS-only／MR+Clin／CEUS+Clin／Full 六配置（防 Clinical shortcut，回答"CEUS 到底提供什么独立增量"）。
|
||
|
||
### 9.3 C 测量学扩展
|
||
|
||
C 路线可评价基数＝274 例（164＋110）。评价 TIC 提取成功率、QC 失败率、参数分布、设备/年代鲁棒性、CEUS-only/CEUS+Clinical 性能。
|
||
|
||
### 9.4 阅片研究
|
||
|
||
人力不足不强做；无阅片研究时主张限定为"算法层面的选择性预测"。
|
||
|
||
【需工程侧 input ④】Layer 3 消融配置（2×2＋single-agent＋六配置）的可实现性与计算成本。
|
||
|
||
---
|
||
|
||
## §10 消融、失败模式与分析 — **重写**
|
||
|
||
### 10.1 消融矩阵
|
||
|
||
| 实验 | 目的 |
|
||
| :-- | :-- |
|
||
| 2×2（共享 vs 隔离 × 无质询 vs 有质询） | 隔离的价值／质询的价值／交互效应 |
|
||
| single-agent/全信息基线 | 区分增益来自多 agent/隔离/更多计算 |
|
||
| modality ablation（六配置） | 各模态独立增量；防 Clinical shortcut |
|
||
| Findings vs Impression | MR 结论段是否导致文本锚定 |
|
||
| CEUS 增量三档（无 CEUS/+定性/+TIC 定量） | TIC 定量的独立价值 |
|
||
|
||
### 10.2 失败模式分析
|
||
|
||
| 分析 | 内容 |
|
||
| :-- | :-- |
|
||
| modality dominance | 冲突病例中系统跟随哪个模态；override 正确率 |
|
||
| natural discordance | 真实 CEUS–MR–Clinical 冲突子集的裁决与病理一致性 |
|
||
| confident consensus failure | 低分歧＋高置信＋稳定→但错误的病例 |
|
||
| error enrichment | 高分歧病例是否富集错误 |
|
||
|
||
### 10.3 止损条件
|
||
|
||
TIC 信度差且对分类/校准/错误识别/disagreement 均无增量→停止无限扩展 ROI 自动化。选择性预测无增量→退回基础效度＋CEUS 量化。
|
||
|
||
【需工程侧 input ⑤】上述消融条件（2×2＋single-agent＋六配置＋Findings/Impression＋CEUS 三档）的机器可重复配置与计算成本评估。
|
||
|
||
---
|
||
|
||
## 不变的节
|
||
|
||
| 节 | 状态 |
|
||
| :-- | :-- |
|
||
| §1 研究背景 | 不动 |
|
||
| §2 临床未满足需求 | 不动 |
|
||
| §3 相关工作 | 补充 §3.x text anchoring 段 |
|
||
| 附录 A（四亚型特征） | 保留 |
|
||
| 附录 B（指南风险分层） | 保留 |
|
||
| 附录 C（管理阈值对比） | 保留 |
|
||
| 附录 D（诊断模态性能） | 保留，补 Nature Comms 引用 |
|
||
| 附录 E（参考文献） | 补 Nature Comms、TRIPOD+AI、PROBAST+AI |
|
||
|
||
---
|
||
|
||
## 需工程侧 input 汇总（会上逐项过）
|
||
|
||
| # | 位置 | 问题 |
|
||
| :-- | :-- | :-- |
|
||
| ① | §7.2 | 四种运行模式的架构可实现性 |
|
||
| ② | §7.4 | evidence packet schema 设计；Integrator 是否看原始文本 |
|
||
| ③ | §8.4 | 日志 schema：能否按证据资产十项要求逐条落盘 |
|
||
| ④ | §9 | Layer 3 消融配置的可实现性与计算成本 |
|
||
| ⑤ | §10 | 消融条件的机器可重复配置与计算成本 |
|