拆解大模型幻觉:从技术底层到产业落地,这道坎没人绕得过去

上周帮一个做认知神经科学的朋友查文献。 我让当时测下来“最靠谱”的那款闭源大模型,找2022年《自然》子刊发的、关于大模型和人类认知偏差关联的某篇特定主题论文。它输出的东西特别完整:作者单位、期刊卷号、页码、甚至连DOI号都编得格式严丝合缝。 我顺着链接点去Nature官网检索——根本没这篇。 这就是所有人都在谈、但很少有人真的敢直面的大模型幻觉。不是偶尔答错个常识题。是它能面不改色地给你编一整套逻辑自洽、细节饱满、连标点都挑不出错的假东西。

幻觉不是“答错了”,是生成逻辑的必然副产品

很多人对大模型的认知还停留在“它记住了全互联网的知识,所以能秒答所有问题”。 错。 它本质上就是个顶级的接话茬高手。你扔给它半句话,它就通过训练好的模型权重,算出来下一个字接什么的概率最高,就往外吐什么字。对吧?你刷短视频的时候,算法给你推下一个视频,也是算你最可能点哪个,大模型的生成逻辑本质上和这个没差,只不过算的是字的顺序。 大模型从训练第一天起,就没被教过“承认自己不知道”的优先级,远高于“给出流畅回答”的优先级。 你问它鲁迅的原名,它训练语料里“鲁迅”后面跟着“周树人”的概率高到99.99%,所以绝不会错。但如果你问它一个语料里没有明确答案的问题——比如我那个朋友找的细分领域冷门论文,比如你让它给你家猫起个有专属记忆点的名字,它根本没有对应的确定事实锚点,那它为啥不直接说“我不知道”?因为训练的时候,人类给它的反馈全是“要给出完整回答,不能随便说不知道”,说不知道的回复会被打低分。 去年有学术团队测过,哪怕是当时能力最强的闭源大模型,在回答细分领域的专业问题时,幻觉率还是能冲到30%以上——就是每三个问题,就有一个是完全编造的内容。之前大家以为把参数堆到万亿、五万亿,幻觉就会自然消失,现在看完全是一厢情愿。只要生成逻辑还是基于概率预测,幻觉就会像影子一样跟着。
大模型自回归生成逻辑与幻觉产生路径示意图
大模型自回归生成逻辑与幻觉产生路径示意图

现在全行业都在堵这个窟窿,但没人敢说自己堵死了

过去两年,整个大模型圈为了压幻觉,想的办法快把家底掏空了。 最常用的就是RAG,检索增强生成。说白了就是给大模型配个专属资料架,让它回答问题的时候先翻架子上的资料,找到依据再说话,别自己瞎编。我上个月跟一个做企业知识库的创业团队聊,他们最开始上RAG的时候,算着能把幻觉问题解决80%,结果上线半年发现,只要是跨文档的信息整合,大模型还是会把A文档里的人名安到B文档的事件上,甚至会自己把两个完全不相关的检索片段,编一个逻辑通顺的因果链出来。 还有的团队走微调路线,专门给大模型喂几万条“遇到不知道的问题就直接说不知道”的样本。结果更搞笑——大模型为了不说错,现在连有明确答案的问题都敢说“我不具备相关信息”,直接把客服场景的准确率拉低了20个百分点。 说实话,这个平衡感比走钢丝还难。管松了,它到处瞎编;管严了,它啥都不敢说。 目前没有任何一款大模型敢拍胸脯说自己在专业领域的幻觉率低于5%,所有对外宣称“零幻觉”的产品,本质上都是在特定的封闭测试集里跑出来的结果,一到真实的开放场景就露馅。 这也是为什么现在金融、医疗、法律这些高价值行业,到现在都没敢把大模型放到核心流程里——你想啊,要是给客户做理财推荐,大模型编了一个根本不存在的产品的高收益率,那是要吃监管罚单的;要是AI给病人编一个不存在的临床指南推荐,那是要出人命的。
企业级大模型RAG系统架构与幻觉防控节点图
企业级大模型RAG系统架构与幻觉防控节点图

别指望技术能把幻觉彻底消灭,治理比技术补丁重要得多

别指望技术能把幻觉彻底消灭,治理比技术补丁重要得多
别指望技术能把幻觉彻底消灭,治理比技术补丁重要得多
我跟几个做基础大模型的核心工程师私下聊,大家的共识其实很一致:只要大模型还是基于自回归的生成逻辑,幻觉就不可能彻底消失。它本质上是在做概率预测,不是在做事实校验,这俩事从根上就不是一回事。 那总不能因为有幻觉就把大模型扔了吧?肯定不是。现在行业里慢慢摸出来的路,根本不是追求“零幻觉”,而是给幻觉“上保险”。 比如,每一个大模型输出的涉及事实性的内容,必须挂上可溯源的引用链接,用户点进去就能看到这句话是来自哪个公开来源,哪份内部文档,没有来源的内容,直接打个醒目的“AI生成,未经验证”的标签。再比如,绝对不能让大模型在核心决策环节当唯一的裁判——医疗场景,AI的输出只能当医生的参考,不能直接给病人开处方;金融场景,AI给的理财建议,必须经过合规岗的人工审核才能发出去;法律场景,AI写的文书,必须由律师逐字核对事实和法条,不能直接递到法院。 之前有个做法律AI的团队,跟我说他们的产品能直接帮律师写起诉状,结果上次有个年轻律师用它写的材料,把根本不存在的法条号都写进去了,差点被法院发司法建议。这就是典型的把AI的输出当最终答案,一点校验都不做,不出事才怪。 聊到未来的走向,其实没那么多虚的。 未来3年,整个大模型行业的竞争,根本不是比谁写的文案更有文采,谁能画更逼真的图,而是比谁的幻觉率更低。谁能在专业场景把幻觉率压到1%以下,谁就能拿下金融、医疗、法律这些高价值的行业订单——毕竟现在客户为大模型买单,根本不是为了“生成流畅的文字”,而是为了“能用、敢用、不出事”。 之前那套“大模型无所不能”的营销话术,会慢慢退潮。用户会越来越理性,不会再为“AI能写所有东西”的噱头买单,反而会更在意“AI说的话有多少是真的”。 监管层面肯定也会出明确的规则。比如要求所有面向C端的大模型,必须对生成的事实性内容做幻觉标记,要是因为AI编的虚假信息给用户造成损失,产品方要承担对应的责任。 说穿了,大模型幻觉从来不是什么需要被彻底消灭的“技术缺陷”。它更像是一个永远在提醒我们的坐标——别把AI当全知全能的神,它本质上还是个特别会说话的实习生,你得盯着它干活,得给它查错,不能把所有事都甩给它就不管了。 毕竟,会说话和说真话,从来就不是一回事。

作者|fawen

排版|fawen

审核|阿辰

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:拆解大模型幻觉:从技术底层到产业落地,这道坎没人绕得过去
文章链接:https://www.lfdjt.com/info_23_31169.html