跳到主要内容
术语表

AI 幻觉

定义

AI 幻觉是指语言模型产出的、读起来笃定而通顺、却没有任何出处支撑的文字——一条编造的参考文献、一个不存在的统计数字、一句没人写过的引文。

又称
虚构、捏造、胡编
更好的模型
更少,但不会消失
实用的办法
让核对变便宜

当材料是你自己的文档时,它意味着什么​

人们对幻觉的普遍担心,是关于现实世界里的事实。而当你在啃自己的文档时,它呈现出一种更窄、也更恼人的形式:模型总结一篇你没读过的论文,你没有便宜的办法分辨一份好的摘要和一份似是而非的摘要。听起来都一样流畅。问题就在这里——不是模型经常出错,而是出错和没出错从外面看完全一样。

一句没人写过的引文原文:「多数地区增长放缓」回答引用:「各地区增长全面崩溃」机械地抓出来:原文里没有这句,所以它永远不会被标成已核对。
真实的引文,错误的结论原文:「2021 年成本下降 4%」被用来支持:「成本在持续下降」比对抓不住——字是真的。但核对成本很低:原句就在一次点击之外。
来自一段从没读过的文字的回答相关段落没被检索到照样回答了,用的是附近的内容从源头避免:装得下的文档整篇读;书一节一节地读。

三种形态,三种不同的防线。只有第一种光靠软件就能抓住。

  • 一句从没被写过的引文。 和原文里的某句话很接近,被润色成了更好的文字。
  • 一句真实的引文,挂在错误的结论上。 字是存在的;它们不支持它被引来支撑的那条说法。
  • 关于一段从没被检索到的文字的笃定回答。 在基于切块的检索里,如果相关段落没被取到,模型依然会回答——凭周围的材料和它原有的认知。

更好的模型让这三种都更少见。但没有哪个能让核对变得多余,因为这种失败恰恰在你需要抓住它的那一刻是看不见的:不先了解材料,你就没法知道该复查哪些回答。

MindMax 怎样处理​

MindMax 不承诺消除幻觉,而是让它变得便宜可抓。回答里的每条说法都带着它所依据的逐字引文,在你看到之前,引文会和原文比对。被改写过的引文会换回原文自己的措辞;找不到的会在回答末尾标出来,而不是显示成已核对。点击一句引文,就会跳到它所出自的段落。

这就机械地处理了第一种形态。第二种——真实的引文、错误的结论——不是比对能发现的,但它现在离你只有一句话的距离。第三种从源头避免:装得进阅读预算的文档整篇读,而不是切成碎片去检索。

结果不是正确性的保证——没有工具能给你这个。它是成本上的转变:核对一条说法,从「重读那一章」变成「点一下、读一句话」,这就是你会去做的核对和你不会去做的核对之间的差别。

关于一部小说的一条说法,引文就地展开:高亮的字是小说自己的,显示在它的上下文里。

常见问题

AI 模型为什么会产生幻觉?

语言模型产出的是最「合理」的文字延续,而合理不等于有依据。没有出处来锚定一句话——或者相关段落从没给它看过——模型就会用一些读起来对的东西去填补空白。

怎样发现 AI 对我的文档所做总结里的幻觉?

核对引文,而不是核对行文。要求每条说法都带上它所依据的原话,再检查这些话是否真的在文档里、是否真的说了总结所说的意思。MindMax 在显示之前就把每句引文和原文比对过,所以留给你的,只是读一句话的判断。

更好的模型会不再产生幻觉吗?

它会更少产生幻觉,但不会完全没有——而因为错的回答和对的回答看起来一模一样,更低的比例并不能告诉你该相信哪些回答。改变这一点的,是便宜的核对。