实现 arXiv 提交边栏戳清洗组件
冻结 0004,新增严格整行删除组件和测试,并记录 5 份论文的只读验证结果。同步 ClinDB 清洗范围,并忽略本地 reference 调研副本。
This commit is contained in:
@@ -7,8 +7,8 @@
|
||||
profile 表达论文、政务文档、RAG、文档对比等不同需求。
|
||||
|
||||
仓库当前已从纯文档治理进入第一版核心实现阶段:已经提供可安装的 Python 内存处理包和测试,用于验证
|
||||
组件组合、精确修改和审计协议。仓库仍不提供真实清洗规则、命令行工具、文件读写适配器或生产接口,
|
||||
因此目前还不是拿来即可清洗文档的成品工具。
|
||||
组件组合、精确修改和审计协议,并已有一个严格整行匹配的论文清洗组件。仓库仍不提供完整规则集、命令行工具、
|
||||
文件读写适配器或生产接口,因此目前还不是拿来即可完成整篇文档清洗的成品工具。
|
||||
|
||||
## 当前阶段
|
||||
|
||||
@@ -22,7 +22,7 @@ profile 表达论文、政务文档、RAG、文档对比等不同需求。
|
||||
- `research-wiki/scratch/markdown-cleaning-ecosystem-research-2026-08-20.md` 完成首轮生态与架构调研。
|
||||
- 2026-08-21 完成师姐项目(ClinDB-ReviewBench)5 份论文 Markdown 的问题审计
|
||||
(`research-wiki/scratch/data-5papers-cleaning-audit-2026-08-21.md`),并确定其第一版清洗范围
|
||||
(`research-wiki/reference/CLINDB_REVIEWBENCH_CLEANING_SCOPE.md`,9 类确定性规则)。
|
||||
(`research-wiki/reference/CLINDB_REVIEWBENCH_CLEANING_SCOPE.md`,8 类自动清洗候选)。
|
||||
- 2026-08-21 明确本项目定位为实验室共用库;GovDoc 和论文清洗都是使用场景,不是核心边界。
|
||||
- 2026-08-21 批准并冻结 `research-wiki/design/0002-composable-cleaning-pipeline.md`,确定只接收 Markdown、
|
||||
项目显式组装组件、单轮修改加最终只读复查的总体组织方式。
|
||||
@@ -30,6 +30,9 @@ profile 表达论文、政务文档、RAG、文档对比等不同需求。
|
||||
Python 内存自动清洗核心:组件只提出确定可执行的精确修改,不同时建设独立检查、人工建议或真实清洗规则。
|
||||
- 2026-08-22 按 `0003` 实现第一版内存核心和测试:包括不可变数据契约、组件基类、原子修改执行器、
|
||||
顺序流水线和最终稳定性复查;58 项测试以及 Ruff、mypy 检查均通过。
|
||||
- 2026-08-22 批准并实现 `research-wiki/design/0004-arxiv-submission-stamp-component.md`:新增严格整行匹配的
|
||||
arXiv 提交边栏戳删除组件;5 份论文只读复核只命中 sim 和 springer 各一处,两处合法参考文献保持不变,
|
||||
第二次运行零修改,源文件没有变化。
|
||||
- 2026-08-21 完成 HTML 表格清洗专题调研
|
||||
(`research-wiki/scratch/html-table-cleaning-ecosystem-research-2026-08-21.md`):核实 Pandoc 表格
|
||||
方言能力边界、Turndown 不处理合并单元格、Docling Markdown 导出重复合并单元格内容、MinerU 全
|
||||
@@ -38,9 +41,9 @@ profile 表达论文、政务文档、RAG、文档对比等不同需求。
|
||||
冻结的 design 记录和带日期的 scratch 笔记保留当时的旧名。
|
||||
|
||||
当前已有只处理内存字符串的底层执行机制和函数级契约,运行时只依赖 Python 标准库。组件可以针对当前
|
||||
Markdown 快照提出精确修改,流水线负责原子应用、审计记录、失败隔离和最终稳定性复查。仓库尚无任何正式
|
||||
清洗组件,因此不能把测试专用假组件或核心执行成功理解为已经具备论文、GovDoc、表格或图片清洗能力。
|
||||
调研报告中的解析器、内部 IR、具体 profile 和真实清洗规则仍是候选方案,尚未批准。
|
||||
Markdown 快照提出精确修改,流水线负责原子应用、审计记录、失败隔离和最终稳定性复查。当前唯一正式组件只删除
|
||||
完整匹配的 arXiv 提交边栏戳,不能把这一项能力理解为已经具备完整论文、GovDoc、表格或图片清洗能力。
|
||||
调研报告中的解析器、内部 IR、具体 profile 和其他真实清洗规则仍是候选方案,尚未批准。
|
||||
|
||||
## 服务对象与复用目标
|
||||
|
||||
@@ -87,7 +90,7 @@ mdpolish/
|
||||
├── CLAUDE.md
|
||||
├── README.md
|
||||
├── pyproject.toml # Python 包、构建和开发检查的唯一配置
|
||||
├── src/mdpolish/ # 第一版内存核心;不含真实清洗组件
|
||||
├── src/mdpolish/ # 第一版内存核心和已批准的业务组件
|
||||
├── tests/ # 核心契约和组合行为测试
|
||||
├── data/ # 本地项目数据;Git 忽略,未来按项目分区
|
||||
└── research-wiki/
|
||||
@@ -108,10 +111,10 @@ mdpolish/
|
||||
3. `research-wiki/README.md`,确认文档应放在哪里;
|
||||
4. 与任务直接相关的 `research-wiki/design/` 记录。
|
||||
|
||||
第一版核心的当前机制见 `research-wiki/explanation/first-executable-core.md`。下一项实质工作应从已经审计的问题中
|
||||
选择一个边界明确、能够唯一修复的真实清洗规则,新增 design 说明其语义、适用范围、误改风险和验收样例,
|
||||
经批准后再实现。解析器、CLI、文件适配器、profile 格式和独立检查能力仍需分别设计,不能从当前核心存在推导为
|
||||
已经获批。
|
||||
第一版核心的当前机制见 `research-wiki/explanation/first-executable-core.md`,首个真实组件见
|
||||
`research-wiki/explanation/arxiv-submission-stamp.md`。下一项候选是 ClinDB 范围中的 HTML 实体双重转义,
|
||||
但必须先用新 design 确定只在哪些 HTML 范围替换、如何避开字面示例以及实体替换边界。解析器、CLI、文件适配器、
|
||||
profile 格式和独立检查能力仍需分别设计,不能从当前核心或单个组件存在推导为已经获批。
|
||||
|
||||
## 当前可用检查
|
||||
|
||||
@@ -135,6 +138,6 @@ find research-wiki -maxdepth 2 -type f | sort
|
||||
git status --short
|
||||
```
|
||||
|
||||
上述安装和三项基础验收已于 2026-08-22 在 Python 3.13.11 环境实际运行:Ruff 通过,mypy 检查 9 个源码与
|
||||
测试文件无问题,pytest 共 58 项测试通过。`requires-python` 仍以 `pyproject.toml` 声明的 Python 3.11 及以上为准;
|
||||
上述安装和三项基础验收已于 2026-08-22 在 Python 3.13.11 环境实际运行:Ruff 通过,mypy 检查 12 个源码与
|
||||
测试文件无问题,pytest 共 87 项测试通过。`requires-python` 仍以 `pyproject.toml` 声明的 Python 3.11 及以上为准;
|
||||
本次结果不等于已经在每个受支持版本上完成兼容性验证。
|
||||
|
||||
Reference in New Issue
Block a user