和AI聊天时,大模型算法到底在偷偷忙活什么

9月23号这天,我在南京珠江路路边一家开了十几年的老咖啡馆蹭空调,邻座坐了两个刚开学的大学生,凑着一块笔记本屏幕骂骂咧咧。 一个让AI改简历改了三版,要么把实习经历写得像校招HR凑KPI,要么把项目说的云里雾里,他摔了下笔问:大模型算法到底是个啥啊,为啥有时候聪明得像我导师,有时候笨得像没上过学? 我捧着冰美式笑,这个问题其实好多人都想问。网上要么把大模型吹成即将取代人类的黑科技,要么把它骂成只会拼接的骗子,没几个人说人话讲清楚它到底在干啥。

你发出去的一行字,走了哪段流程

你打开AI对话框,打了一行字:帮我写一份南京秋天的短途出游攻略,点下发送。 接下来的不到一秒里,大模型算法已经跑完整整一套流程,才开始给你逐字蹦答案。 你打出来的每一个字,都会先被转换成模型能读懂的数字向量,再一层一层穿过模型里无数个神经元节点,每一层都在提炼你这句话里的信息——你要的是攻略不是论文,你说的南京是江苏的那个南京,你想要的秋天是能看桂花吃螃蟹的出游,这些信息都是在这一层层穿过的过程里拆出来的。
大模型算法单字生成处理流程示意图
大模型算法单字生成处理流程示意图
大模型从出生到现在,核心逻辑从来没变过:猜下一个字。 很多人以为大模型是把整段回答都算完了才吐给你,其实不是。你看到它逐字蹦出来的内容,每一个字都是它单独算出来的。出了第一个字,再把你问的话加第一个字放进去,算第二个字,出了第二个再加进去算第三个,循环往复,直到它觉得“这句话说完了”,才停。 就这么简单? 真就这么简单。 没有什么神秘的意识,也没有什么黑魔法,本质就是靠着从海量文本里学来的搭配规律,猜哪一个字接在你这段话的后面,概率最高。

为什么大模型能“像人”,又经常“疯疯癫癫”

早些年的AI聊天机器人,你问一句话,它是从提前备好的语料库里搜最匹配的答案给你,本质是搜出来的。大模型不一样,它是“创造”出来的——当然这个创造要打引号。 它把人类所有公开文本里的语言逻辑、知识规律,都拆成细碎的信息,存进了那几百几千亿个参数里。参数是什么?说白了就是记录规律的小格子,每一个格子都存着一点点文字搭配的规律,凑在一起,就能拼出你要的任何内容。
大模型算法参数概率分布可视化图
大模型算法参数概率分布可视化图
那为什么它有时候会胡说八道,编出根本不存在的事情,甚至算错小学算术? 原因也出在“猜下一个字”这个核心逻辑上。它从来不判断对错,只判断概率。 你问它南京有没有海,如果训练数据里刚好有不少人写错“南京东部沿海”,那它就会顺着这个概率,给你说出错误的答案。它不会去翻地图查,也不会思考“南京到底在内陆还是沿海”,它只知道,按照之前学的搭配,这个字接在这里最合理。 之前见过有人让大模型证明哥德巴赫猜想,它洋洋洒洒写了好几页,逻辑通顺用词专业,结果整个证明过程全是错的,很多概念都是它拼出来的,根本不存在。为啥?因为每一个术语接在一起概率都很高,拼出来看着像那么回事,至于对不对,它不管。 这不是大模型笨,是它从根上就是这么设计的。

别神化也别丑化,现在的大模型算法早就变了

别神化也别丑化,现在的大模型算法早就变了
别神化也别丑化,现在的大模型算法早就变了
说实话,最早我也觉得,大模型不就是堆参数堆数据么,参数越大模型越厉害。最近这两年才发现,业界的玩法早就变了。 最早那两年,大家都在比谁的参数多,谁训的数据集大,这两年新出来的大模型算法,都在往“精简”走。把没用的参数剪掉,把重复的逻辑合并,优化每一步的计算流程,最后做出来的小参数模型,效果不比大模型差多少,甚至能直接跑在手机上,不用连服务器。 我前阵子试了个跑在旧安卓手机上的本地大模型,问它南京国庆哪里人少能看桂花,它给我推荐了紫金山脚下一块不怎么出名的桂花林,还有边上一家开了快二十年的糖水铺,我上周去了,真的比挤破头的老门东舒服一百倍,你说神奇不神奇? 不过话说回来,它的老毛病到现在也没根治。前阵子我让它算321*123,它张嘴就给我个错答案,不是它不会乘法,是它算的时候还是在猜字,只顾着数字的排列对不对,不管运算结果对不对。现在很多新算法就是在改这个问题,让大模型输出文字之前,先跑一遍逻辑推理的步骤,相当于让它先打草稿再说话,出错率已经降了好多了。 很多人说大模型算法马上就要取代人类工作了,我倒是觉得没那么可怕。你想啊,大模型本身还是要人调,你要它给你出方案,你得知道你要什么,知道怎么改它给的垃圾内容,最后还是要真人拍板。它更像个给你打杂的助手,帮你把抄抄写写的活干了,你省下来时间去想更重要的事,这不挺好吗? 昨天那两个学生临走的时候,搞懂了大模型到底是怎么回事,那个改简历的学生说,合着它就是个猜字的啊,那我以后知道怎么用它了。 走出咖啡馆的时候,风一吹,路边桂花树的香味飘过来,我突然想,大模型算法能写出“金风送爽,桂花飘香”,能写出南京秋天的一百种吃法,可它算不出来你站在树底下,闻着花香突然想给老朋友发个消息的那种心情啊。 工具永远是工具,对吧。

作者|科技

排版|科技

审核|乐乐

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:和AI聊天时,大模型算法到底在偷偷忙活什么
文章链接:https://www.lfdjt.com/p/keji/a/5818.html