AI 为什么会编造引用,以及能抓住大部分编造的那一项检查
AI 会编造引用,因为对语言模型来说,一条参考文献只是又一段应该看起来合理的文字——而一个合理的标题、作者和页码,不需要背后有任何文档就能写出来。能抓住大部分编造的检查很简单:要求给出被引用的确切原话,并在相信这条说法之前,拿它去和原文比对。
这是一项机械性的检查,所以软件能做。大多数工具不做,那些令人难堪的故事就出在这个缺口里。
为什么模型会给出一个不存在的出处
语言模型写出的是前文最可能的延续。当回答被预期以一条参考文献结尾时,接下来出现的就是一条参考文献:一个符合这个领域的作者名,一本发表这类东西的期刊,一个落在合理范围里的年份。这个过程中,没有任何一步去查过图书馆。
最有名的例子,是 2023 年纽约的一个案子:几位律师递交的诉状里,引用了聊天机器人生成的、根本不存在的判例。那些案子有名字、有案号、有引用的段落。唯独没有一个法院。
把你的文档交给模型会大有帮助,但问题不会就此消失。它只是换了形态。
引用出错的四种方式
一旦模型是在真实的文档上工作,引用的失败就分成四种,危险程度并不相同:
- 出处是编造的。 一份文档、一页或一段,其实并不存在。模型有你的文件时更少见,但并非不可能。
- 引文被润色过。 出处是真的,但被引用的那句话被修整过:丢了一个限定,「可能」变成了「会」,两句被合成了一句。这是最常见的一种,也最危险,因为它经得住随便一瞥。
- 引文是真的,但位置不对。 字对了,页码或文档错了。与其说误导,不如说烦人,但它让核对变得很费劲。
- 引文是真的,却不支持那条说法。 准确的原话,挂在一个它承载不了的结论上。
能抓住前三种的那项检查
要求每条说法都附上它所依据的逐字原话,然后到原文里去查这几个字。不是「找一份支持这个说法的文档」——是找这一串确切的文字。
- 编造的段落什么都匹配不上,所以过不了。
- 被润色的引文也过不了,或者只能近似匹配,而那个差别,正是你需要看到的东西。「这种疗法可能降低风险」和「这种疗法会降低风险」是两个不同的主张。
- 位置不对的引文会在它真正所在的地方被找到,引用可以改正,指向那里。
在任何工具里你都能手动这样做:复制被引用的句子,打开原文,搜索它。这行得通。但它也繁琐到几乎没人会做第三次——所以它应该交给软件。
它抓不住的那一种
第四种失败——一句真实的话挂在一个它不支持的结论上——靠比对文字是发现不了的。判断这几句话能不能支撑那个结论,是阅读,这依然是你的活。
前三项检查的意义,就在于让第四项变得便宜。当引文确定是真的、离原页只有一次点击时,判断它就只是读一句被高亮的话,而不是在一整章里翻找。这才是人们真的会去做的核对。
MindMax 怎样处理
在关于你文档的回答里,每条说法都带着一句引文,在你看到之前,这句引文会和原文比对。差一点对上的,会换回原文自己的措辞,所以引用依然精确。找不到的引文不会被显示成已核对:回答会在末尾把它标出来,AI 页边批注则会被打回重做。点击一句引文,就会在那个位置打开文档——PDF 的那一页、电子书的那一章、演示文稿的那一页——并高亮那句话。
这一切都不能让模型变对。它让模型的错误变得看得见,而当材料是你要据以行动的东西时,你真正需要的就是这一点。
我们没有声称什么
我们不声称 MindMax 从不张冠李戴,也没有什么幻觉率数字可以引用。我们的说法是:引文会被机械地核对,失败会被显示出来而不是藏起来,而只有人才能做的那项检查,已经被做得尽可能便宜。
完整的思路见引文核对;底下的定义见 AI 幻觉和溯源。想在你自己的文件上看看效果,就对一份文档提个问题——或者下载 MindMax,打开一个文件夹。