语料，逐文档

这里是整个回归语料，不是挑出来的好样本：引擎被测过的每一份文档、它转出来是什么样、以及现在还有哪里是错的。这套检查在每个 PR 上跑，所以这张表和「我们很在意正确性」这句话的区别，是后者只是一句话。

一行怎么读​

页数、标题、表格、链接是「出来了什么」：PDF 有几页，Markdown 里各有多少个结构。它们不说明这些结构对不对——PDF 里本来没有表格、却被判成表格，在这里照样算一个。

断言是这份文档带了多少条检查、过了多少条。一条断言就是一个人打开 PDF 核对过的一个事实：这行是标题、这个页眉不该出现、表格至少有五个、这几页的公式必须被报成压平。它们是一份一份手写的，所以是 120 条，而不是一万条。

未修是已知缺陷数，也是让整张表值得读的那一列。每一条都是清单里的 todo：一条描述「正确输出长什么样」、当前预期失败的断言。文档名链到原始 PDF，任何一行都能自己核，不用信我们。

这张表不衡量什么​

• 结构准确率。 这些数字背后没有一份人工标注的文档树，所以没有 F1 可报。数出多少标题和表格，不等于知道每一个都对；这里的正确性信号只有断言，而断言覆盖的是有人看过的地方，不是每一行。
• 你手上的 PDF。 语料是我们按踩到的坑挑的——双栏论文、中英混排稿、带标签的政府文件、带 OCR 文字层的扫描件。它不是全世界 PDF 的随机抽样，所以它没法告诉你「你的文件一定能转好」，它只说这 22 份上确切的发生了什么。
• 快照质量。 golden/<id>.md 是引擎今天转出来的样子，不是它应该有的样子。快照抓的是「变了没有」，断言抓的才是「对不对」。
• OCR。 其中一份（NACA Report 614）是扫描件，文字层来自别人的 OCR。它在这里是为了验证引擎如实报告自己看到了什么、而不是凭空编结构，不是为了衡量 OCR 质量。
• 别的转换器。 这里没有跑任何竞品。做对比是另一张表，要钉住对方的版本、写清对方的参数。

已知缺陷​

17 条失败检查，分布在 10 份文档上。公开列出来，是因为一个带缺陷清单的转换器比一个声称没有缺陷的更容易被信任：这些正是有人看了输出、发现不对、然后把「对的样子」写下来的地方。

每一条都预期失败，所以它们开着的时候 CI 仍然是绿的。一旦某次修复让它通过，运行器会点名说出来，这条断言就从 todo 移进 expect——既没法悄悄修掉，也没法被忘掉。

• Mamba: Linear-Time Sequence Modeling（1）
  • should not appear: "### 𝐴"
• Mistral 7B（1）
  • missing whole line: "| Parameter | Value |"
• LLaMA: Open and Efficient Foundation Language Models（1）
  • missing whole line: "| Dataset | Sampling prop. | Epochs | Disk size |"
• 3D modelling of orbits in wide binary gravity tests（2）
  • not a heading: "1. INTRODUCTION"
  • should not appear: "[1. INTRODUCTION]("
• Cutoff for simple random walk on preferential attachment graphs（1）
  • tables 22 > 0
• Luo's spectral large sieve inequality（3）
  • should not appear: "#### ÿ"
  • should not appear: "#### ˇ"
  • should report garbled text, did not
• 中英双语稿：英文全文在前，中文原文在后（2）
  • should not appear: "尺寸 持续缩小"
  • should not appear: "\n\n。瞬态平面热源法"
• NIST SP 800-63B, Digital Identity Guidelines（2）
  • not a heading: "5.1.1 Memorized Secrets"
  • should not appear: "###### 5 Authenticator and Verifier Requirements"
• USGS Fact Sheet 2018-3025（1）
  • should not appear: "now more the Lower Elwha Klallam Tribe"
• 中华人民共和国国务院公报 2025 年第 35 号（3）
  • should not appear: "�"
  • should not appear: "!!第一条"
  • should report garbled text, did not

断言原文是英文，因为它们在仓库里就是这么写的。字面读也不难：should not appear: "### 𝐴" 是说一个游离的数学字形被升成了标题，tables 22 > 0 是说一页定理被读成了 22 张表，should report garbled text, did not 是说体检该报出来的字体问题没报。

自己跑一遍​

PDF 不在仓库里——多数许可允许再分发转换后的文字，不允许再分发文件本身。运行器按 URL 下载，sha256 与清单不一致就拒收。

git clone https://github.com/woodpeng/mindmax-pdf-markdown
cd mindmax-pdf-markdown && pnpm install
pnpm eval --fetch      # 只有第一次：下载 22 份 PDF（约 82 MB），校验 sha256
pnpm eval              # 转换并比对；有回归则退出码 1

它最后会打印一行，可以拿去和这一页对：

ran 22 · 0 assertion failures · 0 differ from snapshot · 10 open todos

需要 Node 22（运行器驱动 pdf.js 6，用到 Promise.withResolvers；库本身 Node 18+ 就能跑）。

加上 --report eval/results.json 会把这一页的表写成 JSON——这一页就是渲染那个文件，上面没有任何一个数字是手打的。JSON 是公开发布的，所以这里的每个数都不用信我们：eval/results.json。

你自己的 PDF 转坏了，语料就是这样长大的：语料用例模板只要那份文档、或者你有权分享的一页，先写失败断言。