mdpolish/research-wiki/reference/GOVDOC_SAAS_CLEANING_SCOPE.md

# 7 组对比测试文档 Markdown 清洗审计与实施规范

- 审计日期：2026-08-20
- 审计目录：`/home/lihaoze/gov_test_data/compare`
- 清洗对象：7 个测试用例中 `uploads/` 下的 45 份 Markdown
- 背景资料：`compare/readme.md` 与各用例 `README.md`
- 本次操作：只读审计；没有修改任何原始测试文档

## 1. 结论摘要

这批 Markdown 目前不适合直接作为“语义可靠”的清洗后基准。问题并不只是在空格、换行和标题层级，而是同时存在以下几类高风险污染：

1. **内容级污染**：至少 32/45 份文件命中了保守的模型幻觉特征词，合计 1,703 次；典型内容包括 `The quick brown fox...`、勾股定理说明、`The image contains...`、`The steps are:` 等与投标文件无关的文本。
2. **图像内容丢失**：45/45 份文件都有图片引用，共 8,471 个，但目录中没有任何图片资产；其中 4,012 个引用只是字面量 `data:image/...;base64...`，并不包含可解码数据。
3. **表格结构损坏**：41 份文件含原始 HTML 表格，共 7,550 个 `<table>`；35/41 份存在 `<table>/<tr>/<td>` 数量不平衡。另有 4 份 007 用例文档使用 GFM 表格，其中 203 个表格块里至少 60 个行列数不一致。
4. **重复和超长噪声**：出现 261,838 字符的单行点线、数万字符的重复英语句子、LaTeX 箭头/颜色命令和重复汉字。001 两份文件的非空行重复比例分别达到 81.8% 和 84.1%。
5. **结构扁平化**：全库 29,358 个 Markdown 标题中有 28,736 个是一级标题，占 97.9%；至少 378 个标题缺少空格、只有 `#` 或存在其他明显语法问题。
6. **字符与格式污染**：有 10 个替换字符 `�`、20 个私用区字符、11 个 NBSP、5 个零宽字符、1,474 个多余的 `\-` 转义，以及 151,616 行尾部双空格。
7. **真实数据合规风险**：README 明确说明数据来自已上线旧项目中的律所真实上传文件。粗略正则扫描得到身份证号候选 1,976 处、手机号候选 477 处、邮箱 103 处、统一社会信用代码候选 3,259 处。这些数字是候选匹配，不等于已校验的唯一实体数，但足以说明必须把脱敏策略纳入项目设计。

最重要的实施建议是：**不要只产出一份“清洗 Markdown”**。应同时产出：

- `clean_fidelity.md`：忠实版，保留有法律/业务意义的全部内容，所有修复必须能追溯到源文件。
- `clean_compare.md`：对比版，从忠实版派生，移除页眉页脚、失效目录页码、转换器噪声和确定的重复版式块，用于文档相似度计算。
- `audit.json`：记录每一次删除、替换、合并、回源重提取和人工确认。

这样可以避免为了提升对比效果而不可逆地破坏原文，也能避免把幻觉文本、通用图片占位符和重复页眉当成“相同内容”。

## 2. 审计范围与统计口径

### 2.1 纳入和排除

纳入：

- `compare/001-2/uploads/*.md`：2 份
- `compare/002-21/uploads/*.md`：21 份
- `compare/003-10/uploads/*.md`：10 份
- `compare/004-2/uploads/*.md`：2 份
- `compare/005-3/uploads/*.md`：3 份
- `compare/006-3/uploads/*.md`：3 份
- `compare/007-4/uploads/*.md`：4 份

排除：

- 8 份 README：它们是测试说明，不是待清洗输入。
- `review.json`、`blocks_*.json`、`match_index.json`、`summary.json`：它们是旧输入产生的下游结果，只用于理解测试背景，不能作为清洗真值。
- `file_*_reviewed.docx`：本次未把它们当作 Markdown 清洗对象；后续可作为辅助核对材料，但是否能作为权威源需单独确认。

### 2.2 基础规模

45 份输入合计约 36.39 MiB、388,482 个物理行。所有文件都能按 UTF-8 读取，但“能解码”不代表内容无损，文件中仍有 `�` 和私用区字符。

下表中的“幻觉特征”使用一组偏保守的固定模板进行计数，包括 `The quick brown fox...`、勾股定理模板、`The image contains...`、`The concept of a concept...`、`The steps are:` 等；因此它只是明确下限，不包含全部乱码和中文重复污染。

| 用例 | 文档数 | 大小 MiB | 行数 | HTML 表格 | GFM 表格行 | 图片引用 | 空 Base64 占位 | 幻觉特征 | 最大单行字符数 | 总体判断 |
|---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---|
| 001-2 | 2 | 6.41 | 48,450 | 2,596 | 0 | 109 | 0 | 0 | 4,482 | 高风险：表格未闭合、重复率极高、图片定位不可用 |
| 002-21 | 21 | 15.23 | 158,462 | 2,593 | 592 | 2,000 | 0 | 1,530 | 28,624 | 严重：模型幻觉和重复文本最集中 |
| 003-10 | 10 | 9.20 | 116,358 | 1,646 | 2 | 1,793 | 0 | 137 | 261,838 | 严重：存在灾难性长行、乱码、幻觉和 LaTeX 污染 |
| 004-2 | 2 | 0.41 | 5,726 | 109 | 0 | 36 | 0 | 7 | 8,001 | 高风险：OCR 语义错误、缺图、幻觉 |
| 005-3 | 3 | 2.67 | 31,537 | 476 | 0 | 359 | 0 | 7 | 11,599 | 高风险：重复、缺图、表格和少量幻觉 |
| 006-3 | 3 | 1.12 | 14,701 | 130 | 0 | 162 | 0 | 22 | 9,151 | 高风险：含 OCR 文档，仍有明显幻觉和缺图 |
| 007-4 | 4 | 1.35 | 13,248 | 0 | 2,792 | 4,012 | 4,012 | 0 | 5,916 | 严重：图片内容全部为无效占位，表格和 Word 目录损坏 |

## 3. 对下游“文件对比”功能的直接影响

这些污染会系统性扭曲相似度，不只是影响阅读体验：

- `The quick brown fox...` 等同一幻觉模板出现在多个本来无关的投标文件里，会制造跨文档假阳性匹配。
- 007 中 4,012 个完全相同的空图片占位符会被当成大量相同行。
- 001 中同一“综合单价分析表”说明被重复约 900 次；这与 README 中 001、003 的“近似匹配占 99% 以上”和超大 `review.json` 有明显关联。这里只能判断为高度可疑的影响因素，不能在没有重新跑对比的情况下断言它是唯一原因。
- 平铺成一级标题、把表格压成一行、把页眉页脚混入正文，会改变分块边界，并使段落/句子/近似三档匹配分布失真。
- 如果把不同手机号、身份证号、图片都统一替换成同一个 `[PHONE]`、`[ID]`、`[IMAGE]`，又会制造新的假相同内容。因此占位符必须保留“不同原值不同 token”的性质。

清洗后必须重新生成 `blocks_*.json`、`match_index.json`、`review.json` 和 `summary.json`。旧匹配数量不能作为清洗后的等值验收条件，应保留为“脏输入性能基线”，另建“干净输入语义基线”。`fileIndex` 和测试用例映射必须保持不变。

## 4. 问题清单与清洗要求

### 4.1 C001：固定模板型模型幻觉

优先级：P0，阻断语义版交付。

已确认的例子包括：

- `The quick brown fox jumps over the lazy dog.`：全库 1,071 次。
- `The equation $x^2 + y^2 = z^2$ represents a Pythagorean triple...`：全库 62 次。
- `The image contains a single character...`
- `The concept of a concept is fundamental in physics...`
- `- The steps are:`
- `Agree to be`
- `汽车法规和商业期刊的出版`

典型证据：

- `002-21/file_14` 第 1,164 行：一行内重复 `quick brown fox` 约 411 次。
- `002-21/file_3` 第 3,804 行：同类重复约 428 次。
- `002-21/file_5` 第 2,915 行：`The image contains...` 及数字说明被重复扩展。
- `002-21/file_8` 第 5,379 行：28,624 字符的英语概念重复行。
- `003-10/file_2` 开头即出现无关英文、勾股定理和中文乱码。

清洗要求：

1. 固定模板命中后先标记其所在段、表格单元格和推定页面，不应只删除匹配到的几个单词。
2. 有源 PDF 时，按页或按区域重新提取；没有源文件时，将该段放入 `quarantine`，不能把删除后的残缺上下文冒充完整正文。
3. 黑名单适合做拦截器，不适合做唯一清洗器。应再检测异常语言切换、低词汇多样性、同短语高频循环和超长单行。
4. 清洗结果中这些已知模板必须为 0；审计文件须记录被移除的原始范围和回源依据。

### 4.2 C002：超长重复串和退化输出

优先级：P0/P1，视能否回源而定。

典型问题：

- `003-10/file_2` 第 91 行长 261,838 字符，主体是目录点线重复。
- 同文件第 8,924 行长 19,089 字符，主体是重复的 LaTeX `\rightarrow`。
- `002-21/file_15` 第 4,898 行长 11,267 字符，主体是重复 `\textcolor{red}{\blacksquare}`。
- `003-10/file_7` 第 24,211 行含嵌套、重复的 `\textcolor{red}`。
- 多处出现成千上万次的 `园`、`\cdots`、`...` 或错误短语，例如“建设工程执行”。

检测规则建议：

- 普通文本单行超过 2,000 字符告警，超过 10,000 字符阻断；结构化表格在解析后按单元格重新执行该规则。
- 同一字符连续 20 次以上、同一 2—20 字符片段连续 10 次以上告警。
- 单行压缩率异常高、唯一 token 比例过低、相邻重复 n-gram 比例过高时进入隔离。
- 目录点线只保留为结构化 TOC 信息，不保留数十万字符的视觉填充。

不允许简单按固定长度截断，因为长 HTML 表格可能包含真实内容。必须先判断是表格、目录点线、Base64、SVG 还是普通文本。

### 4.3 I001：图片引用全部失效

优先级：P0。

全库有 8,471 个图片引用，本地图片资产为 0：

- 007：4,012 个 `![](data:image/jpeg;base64...)` 或 PNG 变体。这里的 `...` 是文本，不是被终端隐藏的真实数据，无法解码恢复。
- 001：109 个目标形如 `page=9,bbox=[...]`，不是标准图片路径，也没有对应裁剪图。
- 其余：4,350 个 `images/<hash>.jpg` 等相对引用，但仓库中不存在相应文件。
- 7,073/8,471 个图片没有 alt 文本。

清洗要求：

1. 从原始 PDF/DOCX 回源导出图片，使用内容哈希命名，并生成 `assets/manifest.json`。
2. 对印章、签名、证书、身份证件、扫描表格等“有语义图片”执行 OCR/版面识别，但仍要保留原图引用，不能只留推测文本。
3. 001 的 `page+bbox` 必须转换为结构化来源坐标，再从对应 PDF 裁剪；不能直接当 Markdown URL。
4. 如果确实采用纯文本模式，图片位置应写成唯一、可追踪的标记，例如 `[IMAGE_MISSING:007-4:file_1:0001]`，不能用所有文件共享的 `[IMAGE]`，否则会制造假匹配。
5. 生产级“完整清洗”验收要求 broken reference 为 0。无法回源的图片必须明确标为未解决，不能计作完整通过。

### 4.4 T001：HTML 表格损坏和超长单行

优先级：P0/P1。

41 份文件中共有 7,550 个 HTML 表格。静态标签计数如下：

- `<table>` 7,550，`</table>` 7,155。
- `<tr>` 101,760，`</tr>` 101,019。
- `<td>` 657,263，`</td>` 656,575。
- 35/41 份含 HTML 表格的文件至少有一类标签不平衡；7 份连 table 层级都不平衡。

001 最严重：

- `file_0`：`table=1315/1124`。
- `file_1`：`table=1281/1080`。

清洗要求：

1. 使用容错 HTML 解析器构建 DOM，记录解析器自动补齐了哪些标签；禁止用正则直接替换所有表格标签。
2. 对每个表格校验 `rowspan/colspan` 展开后的网格是否矩形、行列数是否与表头一致、单元格顺序是否可追溯。
3. 简单矩形表格可转为 GFM；包含合并单元格、斜线表头、嵌套结构的表格应保留规范化 HTML，或另存为结构化 JSON。强行转 GFM 会丢失语义。
4. 一行一个完整 HTML 表格应格式化为多行结构，避免长行拖垮分块器和 diff，但换行必须发生在 DOM 节点之间。
5. 类似 `004-2/file_0` 第 613 行中“国家、职位、导演、客户”等明显不符合资格审查表语境的表头，应回源确认，不能只修标签。

### 4.5 T002：GFM 表格行列数不一致

优先级：P1。

007 四份文件共有 203 个连续 GFM 表格块、2,792 个表格行，至少 60 个表格块出现不同行拥有不同列数：

- `file_0`：36 个块，21 个不一致。
- `file_1`：55 个块，20 个不一致。
- `file_2`：42 个块，7 个不一致。
- `file_3`：70 个块，12 个不一致，另有 2 个块缺分隔行。

此外，`002-21/file_7` 有一个 584 行的大型 GFM 表格，同时出现 3 列和 5 列；`002-21/file_3` 也有不一致的孤立表格块。

这通常是把 Word/PDF 合并单元格硬投影到 GFM 的结果。清洗器应先恢复二维网格；无法无损表达的表格应改用规范 HTML/JSON，而不是补若干空 `|` 来“通过语法检查”。

### 4.6 H001：标题层级扁平、标题断裂和错误标题

优先级：P1。

问题表现：

- 001—006 几乎把所有章节都输出为 `#`，没有文档层级。
- 存在 `#零星维修...`、`#(正本)` 等缺少空格的标题。
- 存在只有 `#` 的空标题。
- 同一个标题被版面换行切成多个连续一级标题，例如项目名称被拆成 2—3 行。
- 普通正文、图片识别结果和幻觉句子也被错误标成标题。

清洗要求：

1. 每个逻辑文档保留一个主标题 H1；主要章为 H2，节为 H3，依次递进，不跳级。
2. 使用编号模式（“第一章”“一、”“（一）”“1.”）、目录结构、相邻上下文和重复页眉信息共同推断层级。
3. 连续短标题行在确认属于同一版面标题后合并；不能只根据行长合并。
4. 修复 `#标题` 为 `# 标题`，删除空标题；被判为正文的行去掉标题标记。
5. 标题文本中的项目编号、公司名、年份不得因规范化而改变。

### 4.7 P001：段落、硬换行和词内断裂

优先级：P1。

151,616 行以两个空格结尾，主要来自 002—006 的转换器。这会把几乎每个物理行强制为 Markdown `<br>`，使原本同一段的文字被切碎。还存在：

- `物 业`、`项 目`、`服\n务项目` 等版面换行造成的词内空格或断行。
- 页码、目录页码和正文混在同一行。
- 句子被错误拼接成超长段，或每句话都被拆成独立段。
- 项目编号中的连字符被转义成 `440442\-2025\-00435`，同一标识在不同文件中形式不一致。

清洗要求：

1. 先识别标题、列表、表格、地址、编号、签名区，再做段落重组。
2. 普通段落内部把版面软换行合并为空或一个空格；中文字符之间通常直接合并，中英/数字边界按规则保留空格。
3. 列表项、诗行、地址、落款、表格单元格内的有意义换行不得统一删除。
4. `\-` 仅在确认是转换器多余转义时还原；项目编号和负号的字符本身必须保留。
5. Unicode 采用 NFC，不建议全局 NFKC；NFKC 可能改变罗马数字、圈号、单位和兼容字符的法律原貌。

### 4.8 D001：页眉、页脚、目录页码和文档边界

优先级：P1。

已检测到至少 1,166 个“独立页码样式候选”，但其中也会混入 `0/1000` 等评分或限制值，所以不能仅凭正则删除。明确例子包括 `1 / 390`、`368 / 390`、`4 / 6`。

清洗要求：

- 只有在同一文本出现在多页相近顶部/底部位置，或页码形成合理序列时，才判定为页眉页脚。
- `clean_fidelity.md` 可通过元数据保留页码映射；`clean_compare.md` 删除纯版式页码和重复运行标题。
- 002 中 `file_16`—`file_19` 开头分别表现为符合性审查、综合文件、商务部分、技术部分，可能是同一投标人的分卷/分册。清洗器必须保存原始 `fileIndex` 和卷册边界，不能自行拼接。
- 目录文本可转换为结构化章节导航；目录点线和页码不应参与正文相似度。

### 4.9 D002：重复内容与模板内容

优先级：P1，但严禁盲删。

重复既可能是转换器错误，也可能是投标文件真实模板。典型统计：

- 001 两份文件非空行重复比例分别为 81.8% 和 84.1%。同一“综合单价分析表”及说明出现约 900 次。
- `002-21/file_3` 非空行重复比例 44.8%，含“装约买箱箱装”等乱码高频重复。
- `002-21/file_15` 中 `Agree to be` 重复 813 次。
- `002-21/file_5` 中 `- The steps are:` 重复 818 次。
- `002-21/file_20` 中目录式条目“施工等级 282”“工期保证措施 282”分别重复 165、164 次。

处理原则：

1. 明确的幻觉/转换器退化重复应回源替换或隔离。
2. 重复页眉、页脚、页码在对比版删除。
3. 合法合同条款、报价表说明和表头在忠实版保留。对比版可把同一文档内重复模板块标为同一 `template_block_id`，在相似度计算时降权，而不是直接删除。
4. 跨文档共同出现的合法招标模板本来就是对比目标的一部分，不应因“重复”而全部抹除。项目需要明确是检测抄袭、检测共同模板，还是两者分别评分。

### 4.10 L001：Word/PDF 转换遗留语法

优先级：P1/P2。

包括：

- 007 `file_1` 有 171 个 `(#_Toc...)` Word 目录链接，但全库没有对应显式锚点。
- 001 有 2,594 个 `<div align="center">`，用 HTML 仅表达居中版式。
- 575 个行内数学片段中有不少重复的 `\textcolor`、`\rightarrow`、`\cdots` 和勾股定理幻觉。
- 20 个私用区字符主要是 U+F0B7、U+F070、U+F0D8，常见于 Wingdings/项目符号映射。
- 10 个 `�` 出现在 7 份文件中，已经无法靠 Unicode 规范化恢复原字符。

处理要求：

- Word TOC 链接要么根据清洗后标题生成真实 slug，要么移除链接只保留目录文字；不得保留悬空锚点。
- 纯版式 `<div align>` 转成语义标题/段落；居中信息可进样式元数据。
- 私用区字符按原字体映射或源文件回查，不能一律删除。
- `�` 必须逐处回源，无法回源时产生显式未解决项。
- LaTeX 只有在源文件确实包含公式/符号时保留；重复生成的视觉符号应由原图或文本含义替代。

### 4.11 S001：真实个人和企业敏感信息

优先级：如果测试数据会离开受控环境，则为 P0；仅限封闭授权环境时也必须有访问控制。

候选扫描结果：

| 类型 | 候选次数 | 涉及文件数 |
|---|---:|---:|
| 身份证号 | 1,976 | 37 |
| 手机号 | 477 | 41 |
| 邮箱 | 103 | 33 |
| 统一社会信用代码 | 3,259 | 43 |
| “身份证号/联系电话/银行账号/法定代表人”等敏感字段标签 | 2,276 | 44 |

建议提供独立的 `privacy_profile`，而不是把脱敏与文本纠错写死在一起：

- `closed_authorized`：保留原值，仅限受控测试；日志不得打印原始敏感值。
- `masked_compare`：使用确定性、按实体区分的伪名，例如不同手机号映射成不同的 `<PHONE_0001>`、`<PHONE_0002>`；相同原值是否跨文档保持相同 token，由对比目标决定。
- `public_sample`：除文本脱敏外，还要处理身份证图片、签名、印章、照片、二维码和图片元数据。

不要把所有值都替换成同一个通用 token，否则会造成大规模假相似。

## 5. 分用例处置建议

### 5.1 001-2：建筑工程投标文件

主要问题：

- 两份文档共有 2,596 个 HTML 表格，table 层级分别缺少约 191 和 201 个闭合标签。
- 非空行重复率超过 80%，大量综合单价分析表说明重复。
- 109 个图片引用都是 `page+bbox`，没有图片资产。
- 标题几乎全部为 H1，另有大量居中 `<div>`。

建议：两份原始 PDF 都在 `source/`，应优先重新执行带页码、坐标和图片导出的版面解析。001 不适合靠修补现有 HTML 完成最终清洗。现有 Markdown可保留为“旧解析器回归样本”。

### 5.2 002-21：21 份江门市中心医院投标文件

这是内容污染最集中的用例。21 份中 19 份命中明确幻觉模板，保守特征合计 1,530 次；全部含失效图片和 HTML 表格。

重点文件：

| fileIndex | 重点问题 | 建议 |
|---:|---|---|
| 0 | 28 次保守幻觉特征；多处 quick/equation；150 个 HTML 表格 | 回源重提取污染页 |
| 1 | 12 次特征；重复率 22.5%；表格长行 | 回源并做重复块检查 |
| 2 | 5 次特征；含 `�`；表格长行 | `�` 逐处回源 |
| 3 | 454 次特征；quick 约 428 次；重复率 44.8%；乱码高频；GFM 表格不一致；含 `�` | 灾难性污染，整文档重新提取 |
| 4 | 少量明确幻觉；表格长行 | 按命中页重提取 |
| 5 | 475 次特征；`The steps are:` 约 818 次；含 U+F0D8 | 灾难性污染，整文档重新提取 |
| 6 | 13 次特征 | 按命中页重提取 |
| 7 | 12 次特征；584 行 GFM 表格列数不一致；重复率 25.4% | 表格回源重建，核查文本污染 |
| 8 | 19 次特征；28,624 字符英语重复行 | 至少该页重提取，建议整文档重跑 |
| 9 | 9 次特征 | 按命中页重提取 |
| 10 | 11 次特征；HTML 表格层级也有缺口 | 回源重提取污染页并修表 |
| 11 | 9 次特征 | 按命中页重提取 |
| 12 | 20 次特征；10,937 字符 `The image contains...` 行 | 回源重提取污染页 |
| 13 | 16 次特征 | 按命中页重提取 |
| 14 | 422 次特征；单行 quick 重复约 411 次；还有中文短语退化重复 | 灾难性污染，整文档重新提取 |
| 15 | `Agree to be` 约 813 次；超长 `\textcolor` 行；重复率 20.4% | 灾难性污染，整文档重新提取 |
| 16 | 少量幻觉；内容像单独卷册；重复率 26.3% | 保留卷册边界，按页核查 |
| 17 | 7 次特征；含 `�`；可能为分册 | 回源并保留边界 |
| 18 | 未命中当前固定模板，但仍有缺图、H1 扁平和 HTML 表格 | 不能视为干净；做结构清洗和抽检 |
| 19 | 未命中当前固定模板，但仍有 53 个缺失图片及表格 | 做结构清洗和抽检 |
| 20 | 少量特征；目录条目成百次重复 | 识别目录/正文边界并去版式重复 |

本用例没有保存原始 PDF，只有 Markdown 和 reviewed DOCX。清洗项目开始前应确认能否从旧存储追回原上传文件；如果不能，不能宣称已完成内容级无损修复。

### 5.3 003-10：10 份物业投标文件

该用例有原始 PDF，可建立最可靠的回源修复和质量评测。

| fileIndex | 重点问题 | 建议 |
|---:|---|---|
| 0 | 缺图、H1 扁平、HTML 表格 | 结构清洗，按页抽检 |
| 1 | 至少 1 次明确模板污染；缺图和表格 | 命中页重提取 |
| 2 | 开头即乱码/幻觉；63 次保守特征；261,838 字符点线；19,089 字符箭头行 | 最高优先级，整份从 PDF 重提取 |
| 3 | 37 次特征；505 个缺图；HTML 表格 | 整份重提取或至少覆盖全部命中页 |
| 4 | 模板污染；含 `�`；表格长行 | 回源修复字符和污染页 |
| 5 | 5 次特征；含 `�` | 回源修复 |
| 6 | 未命中固定模板，但有缺图和表格 | 结构清洗，抽检 |
| 7 | 29 次特征；重复 `\textcolor`；3 个 U+F0D8；392 个缺图 | 整份重提取优先 |
| 8 | 少量模板污染；运行标题重复明显 | 修污染页，移除对比版页眉 |
| 9 | 4 个 `�`；超长/重复汉字；大表格 | 回源重提取异常页并修表 |

### 5.4 004-2：采购文件

- `file_0`：图片缺失、H1 断裂、HTML 表格；第 613 行表头语义明显异常。
- `file_1`：7 次保守幻觉特征、重复率 27.0%、34 个缺图，并有长重复汉字。

该目录没有原始 PDF。应优先追回源文件；reviewed DOCX 只能在确认其来源和人工修改范围后作为替代依据。

### 5.5 005-3：响应文件

- 三份文档都命中少量明确幻觉特征，分别约 3、1、3 次。
- 非空行重复率约 30.4%、20.9%、31.9%。重复中既可能有劳动合同模板等真实内容，也可能有转换器重复，必须区分。
- `file_2` 含 `�`，且有 11,599 字符的单行 HTML 表格。
- 三份共有 359 个失效图片和 476 个 HTML 表格。

建议先按异常页回源；若源文件不可得，则至少将不确定片段隔离并生成未解决清单。

### 5.6 006-3：含 OCR 的投标文件

- README 标注 `file_1`、`file_2` 为 OCR 版；三份文档段落规模差异很大。
- `file_0` 命中 21 次保守幻觉特征，说明非 README 标注的 OCR 文件也不能默认安全。
- `file_2` 命中 1 次明确特征；`file_1` 未命中当前固定模板，但仍有缺图和结构问题。
- 三份共有 162 个失效图片、130 个 HTML 表格。

建议把 006 作为 OCR A/B 测试集：逐页记录“文本层提取、传统 OCR、视觉模型”三个结果的字符错误率、结构恢复率和幻觉率，不应只比较最终段落数。

### 5.7 007-4：纯文字投标文件

README 称其为“纯文字（无表格）”，但 Markdown 实际有 2,792 个 GFM 表格行，说明转换器很可能用表格表达页面布局，而非文档真的包含大量语义表格。

- `file_0`：1,159 个空 Base64 图片占位；21 个行列不一致表格块；8 个 U+F0B7。
- `file_1`：1,113 个空占位；20 个不一致表格块；171 个悬空 Word TOC 链接。
- `file_2`：1,048 个空占位；7 个不一致表格块；U+F070 7 个、U+F0D8 1 个。
- `file_3`：692 个空占位；12 个不一致表格块；2 个表格块缺分隔行；4 个空/异常标题。

这四份文档即使文本看起来较整齐，也因图片数据已丢失而不能算完整。应从原上传文件重新导出图片和表格；没有源文件时只能产出明确标注“不完整”的文本版。