跳到主要内容

同时和多份 PDF 对话——会出什么错,怎样核对

· 阅读需 5 分钟
MindMax 团队
打造 MindMax

想可靠地和多份 PDF 对话:问题里点明你要比较什么,要求每条说法都说明出自哪份文档并引用原文,再看看回答实际读了哪些文档。常见的失败不是某句话错了——而是有一份资料从没被看过,回答却依然听起来很完整。

一份 PDF 是容易的情况。值得问的问题通常横跨十份:这些论文里哪些用了这个方法,这几份报告在哪里有分歧,合同里说了什么是摘要漏掉的。

为什么一堆文档比一份难​

大多数「和文档对话」的工具处理一堆文档的方式,是把每个文件切成碎片,按和你问题的相似程度排序,把前几个交给模型。问「Smith 那篇的样本量是多少」,这行得通。但对你真正想问一堆文档的问题,它会以三种不声不响的方式失败。

一份资料被跳过。 如果某篇论文换了一种说法表达同一个意思,它的碎片一个都排不上,它就从回答里消失了。输出里没有任何东西告诉你。

分歧被平均掉。 两篇论文报告了不同的效应;模型各看到一个碎片,写出一句折中的话。这堆资料里唯一最有意思的事实——资料之间有分歧——就这样不见了。

「缺了什么」无法回答。 「这些里哪些从没讨论过成本?」没有可以匹配的碎片。搜索返回不了一个缺席。

怎样问,才能让缺口显形​

这些在任何工具里都有效,在一个读文档而不是读碎片的工具里效果更好。

  1. 点明要比较什么。 不是「总结一下这些论文」,而是「每篇论文用的是什么样本、发现了什么效应?」按文档逐份的结构,会让被跳过的那份一目了然,因为它那一行是空的。
  2. 明确要求列出分歧。 「这些资料在哪里有分歧,各自怎么说?」一个必须把两句引文并排摆出来的回答,没法悄悄把它们平均掉。
  3. 每条说法都要求注明出处。 每一点都应该写明它的文档并引用原话。一条说不出出自哪个文件的说法,你用不上。
  4. 最后再问「缺了什么」。 「这些文档里哪些从没提到 X?」把回答当作要去核实的线索,而不是结论——缺席是任何系统最难确证的东西。
  5. 要紧时把范围收窄。 为这个问题挑出来的二十份文档,胜过碰巧在文件夹里的四百份。

怎样核对回答​

先核覆盖面,再核内容。

  • 覆盖面: 回答用到了你预期的那些文档吗?如果一个工具说不出它读了什么,你就分不清「里面没有」和「它没去看」。
  • 内容: 打开你的结论所依赖的那两条引文,放回上下文里读。如果站得住,这个回答大概是可靠的。如果其中一条比原文说得更满,就接着往下读。

MindMax 怎么做​

在 MindMax 里,你在问题里提到一个文件夹,它里面的文档就成了提问的对象。它不是从整堆资料里抽出最相似的碎片,而是像你会做的那样:每份文档一句话主旨,按内容挑出问题需要的那几份,打开它们的目录,把相关章节完整读完。短文档整篇读。

每条说法都写明它的文档,带着一句对照原文核对过的逐字引文;点一下就在那一页打开 PDF,并高亮那句话。回答下方列出它实际读了什么,所以核对覆盖面只需扫一眼。当两份资料有分歧时,回答会把两边连同各自的引文都写出来。

真实的一堆资料里不只有 PDF,所以同一个问题也会涵盖文件夹里的 Word 文件、幻灯片、表格和电子书。

哪里会出问题​

  • 特别大的资料库依然靠搜索。 一千份文档装不进任何上下文。在那个规模上,哪怕结构加搜索做得再仔细,也还是可能漏——把文件夹收窄。
  • 扫描版 PDF 在识别之前是看不见的。 一个没有文字层的文件,在经过 OCR 之前什么都贡献不了,识别质量就是上限。
  • 文档没讨论过的问题。 问一个哪份文档都没涉及的问题,你得到的是关于它们涉及了什么的回答。你是靠引文发现这一点的。

详情见和你的文档对话,为什么要阅读而不是检索,见全文优先。想试试的话,按对你的文档提问来做——或者下载 MindMax,@ 一个装着论文的文件夹。