可核对的回答、引用，以及 AI 会怎样出错。
查看所有标签
核对一句 AI 引文是否真的出现在 PDF 里，听起来就像按一下 Ctrl+F。实际上，PDF 里的文字并不是你看到的文字：单词在行末被连字符拆开，段落被分页和页眉切断，像「fi」这样的字母组合被存成一个符号。一个无视这些的引文检查，要么拒绝真实的引文，要么放过改写过的话。把它做对，就是大部分的工作量。
我们说过，MindMax 里的每一句引文都会对照原文核对。这篇文章要讲的是，为什么这句话背后藏着的比它说出来的多——以及你应该对任何作出同样声称的工具抱有什么期待。
拿一张图表截图问 AI 是可行的，但它扔掉了图片下面的文字、它出自的那一页，以及周围的文档。在文档里框选一块区域，三样都保留下来，所以数字是从文字里读出来的，而不是从像素里猜出来的，回答还能链回那一页。
每个人都有同一个变通办法。遇到一张看不懂的图，截个图，贴进对话框，打一句「这是什么意思」。它管用的次数多到成了习惯。
它也会以一种具体的、可重复的方式失败，而失败的原因并不是模型不擅长看图。而是等图片到达时，原本就在它旁边的三样东西已经被扔掉了。
每隔几天，就有一位自己搭过检索系统的人问起 MindMax 同一个问题，而且这是个好问题：如果不对我的文件夹做一遍 embedding，它怎么找到东西？
简短的回答是：它像你一样找材料——靠结构、靠页面上的字眼、靠换几种说法再试——而小到能读完的文档，是直接读，而不是从中检索。更长的回答是：这是一种有真实代价的取舍，假装没有代价，就会成为那种第一次被人测试就站不住的说法。
想可靠地和多份 PDF 对话：问题里点明你要比较什么，要求每条说法都说明出自哪份文档并引用原文，再看看回答实际读了哪些文档。常见的失败不是某句话错了——而是有一份资料从没被看过，回答却依然听起来很完整。
一份 PDF 是容易的情况。值得问的问题通常横跨十份：这些论文里哪些用了这个方法，这几份报告在哪里有分歧，合同里说了什么是摘要漏掉的。
AI 会编造引用，因为对语言模型来说，一条参考文献只是又一段应该看起来合理的文字——而一个合理的标题、作者和页码，不需要背后有任何文档就能写出来。能抓住大部分编造的检查很简单：要求给出被引用的确切原话，并在相信这条说法之前，拿它去和原文比对。
这是一项机械性的检查，所以软件能做。大多数工具不做，那些令人难堪的故事就出在这个缺口里。