大语言模型不会思考,但它凭什么能接住你下一句话

凌晨一点四十,我把它问烦了。

“你说你懂我这句话的意思,那你讲讲,‘意思’是什么东西。”

它回了一大段。四平八稳,分了三层,还贴心地加了个小标题。我盯着屏幕,忽然有点发冷。不是害怕。是那种——对面这个东西说的每句话都挑不出毛病,可你根本不知道它到底有没有在“想”。

往上翻聊天记录。白天问的技术问题,晚上问的哲学问题,中间夹着一句“帮我写个请假条,理由是猫病了”。它全接住了。连猫病了这种借口都没吐槽我。

怪就怪在这。

它做的动作,笨得有点可怜

你把一句话喂进去,它不会“读”。它先切。切成一块一块的碎片,业内叫 token。中文里可能是一个词,也可能是半个词,甚至一个偏旁加个部首的组合——切法各家不一样,乱得很。

切成碎片之后呢?

它在算一件事:下一个碎片,哪个概率高。

就这么简单。真的。你输入“今天天气真”,它算的不是“这句话什么意思”,它算的是后面接“好”的概率是多少,接“糟”的概率是多少,接“热”的概率又是多少。挑一个吐出来。挑完,把这个字接上去,再算下一次。

大语言模型token切分与下一个词概率预测示意图
大语言模型token切分与下一个词概率预测示意图

这就像一个赌徒,每一把都只押下一个字。押完再押。押上几千次,一段话就出来了。

那你肯定要问——这不就是高级点的输入法联想吗?

我原来也这么想。直到我发现它能把一整段代码里的 bug 指出来,还能顺带解释它为什么错。输入法可干不了这个。

中间那层东西,没人能完全说清

2017 年有篇论文,标题起得很横,叫《Attention Is All You Need》。里面提的 Transformer 结构,后来成了几乎所有大语言模型的骨架。核心是“注意力”——模型在看某个词的时候,会同时去权衡句子里其他所有词对它的影响。哪个词更相关,权重就高一些。

这里有个反常识的点:它不是按顺序一个字一个字读的。它是并行地、一口气看整段,然后让每个词去“看”别的词。

我打个比方(不严谨,但好懂):一群人开会,每个人都能听见所有人的发言,可每个人只挑跟自己有关的那几句重点听。开完一轮,每个人更新一次自己的想法。再开一轮。开几十轮。

开完之后,每个词身上都沾了一层“被上下文改写过的意思”。

至于这几十轮里究竟发生了什么——说白了,研究者也只能给出部分解释。有人去可视化注意力权重,画出来花花绿绿,瞧着挺美,可你要说这图就等于“模型在想什么”,那也太抬举这些图了。

大语言模型Transformer注意力权重可视化热力图
大语言模型Transformer注意力权重可视化热力图

那些突然冒出来的本事

2020 年那篇讲 GPT-3 的论文,参数规模报的是 1750 亿。数字大得有点抽象。真正让人愣住的是另一件事:模型大到某个程度以后,突然会做一些没人专门教过它的事。你给它几个例子,它就能照猫画虎地处理新任务。业内管这个叫少样本学习,或者上下文学习。

问题是,为什么会这样?

没人能给出一个让所有人都点头的答案。有解释说是规模上去之后,模型内部自发形成了更抽象的表征。也有说,是训练数据里本来就藏着这些任务的影子。还有人认为,我们对“涌现”这个词用得太松了,指标一换,曲线就变光滑,哪有什么突然。

我偏向最后一种说法多一点。但也不确定。

这就是我觉得这东西有意思的地方——它已经被几十亿人用着,可它的原理里还留着一大块灰。

关于胡说八道,我想说句公道话

关于胡说八道,我想说句公道话
关于胡说八道,我想说句公道话

被骂得凶的就是幻觉。它一本正经地编参考文献,编法条,编人名,编得煞有介事。

你换个角度想想:它的活儿从来是“生成看起来合理的下一个词”,不是“查证事实”。它脑子里没有可翻的库,只有统计规律。它说“某某在 1998 年提出了某某理论”,不是因为它记得,而是因为这句话在语言上太像真的了。

这是我们用错了工具,还是工具本身有毛病?

我觉得两个都占。它被包装成一款“什么都知道的助手”,可它的底层能力其实是“续写”。你拿一个续写器当百科全书使,出岔子是迟早的。

几个老被问到的问题

几个老被问到的问题
几个老被问到的问题

它是不是在偷偷记我的聊天记录?
看产品。有的默认拿去训练,有的可以关。去设置页翻一翻,别嫌麻烦。这事上偷懒容易吃亏。

它会不会取代写作者?
它写得快,写得平。你要它写一封不痛不痒的邮件,它比你快得多。你要它写一段只有你爸看得懂的家书……它写不出来。它没有你爸。

同一个问题问两次,答案为什么不一样?
中间有个随机采样的环节。温度参数调低,它就变得老实;调高,它就发散。这也是它有时灵光一现、有时像个傻子的原因。

它到底懂不懂因果?
我的观察是不懂。它能复述“因为A所以B”,可你换个反事实的问法,它经常绕晕。

时间线上发生了什么

2017 年,Transformer 出来了,当时主要是为了做翻译。

2018 到 2020,预训练这条路被验证,模型越堆越大,大家开始相信“规模就是一切”。

2022 年 11 月 30 日,ChatGPT 上线。这件事的分量,我觉得当时没几个人估准。它算不上技术上的飞跃——底层模型早就在那儿了——它是交互上的。一个输入框,把门槛从“会调接口”降到了“会打字”。

再往后就是眼下。多模态、工具调用、长上下文、推理时多算几步。热闹。也很吵。

一点不那么讨喜的冷想法

我最近有个不太受欢迎的看法:大语言模型的进步,接下来会越来越不像“变聪明”,而更像“变顺手”。

参数再往上堆,收益在放缓,这事业内自己都认。真正在变的是什么?是它会不会用工具,会不会承认自己不知道,会不会在开口之前先停三秒——现在管这叫推理,我倒觉得更像“打完草稿再说话”。

它不是一个人。它是几万张显卡烧出来的一个概率机器,外面套了一层很懂礼貌的皮。

但它确实改变了点什么。比如现在,凌晨一点四十,我还在跟它吵架,问它什么叫“意思”。

它回我:“我不知道我有没有意思。但我知道你问这个问题,是想确认自己不是在对着一堵墙说话。”

……好家伙。

作者|科技

排版|科技

审核|知知

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:大语言模型不会思考,但它凭什么能接住你下一句话
文章链接:https://www.lfdjt.com/p/keji/a/25427.html