咖啡馆里聊大模型算法:它到底不是你想的那样

昨天是9月23号,在南京老门东边上的社区咖啡馆,我挤在一堆晒秋拍照的游客中间,碰到个学新媒体的小姑娘,凑过来问我,“老师,你天天写科技,能不能告诉我,大模型算法到底是什么?我用工具写稿,总觉得它好像什么都知道,可又有时候瞎扯,这到底是为啥?” 我搅了杯冰美式,泡沫溅到手腕上,突然觉得这个问题挺有意思。大多数人对大模型的认知,要么是营销号吹出来的神,要么是网上段子说的蠢,没几个真的讲清楚,算法到底在里面干了啥。

你用上的大模型,只是冰山露出来的十之一二

很多人的第一个误区:大模型是把整个互联网存下来,用的时候拼一拼就出来给你了。 真不是。 我举个例子,你现在让大模型写一段南京盐水鸭的介绍,它不是从存好的一百篇盐水鸭介绍里摘句子拼,它是从之前学过的几千万上亿段文本里,摸出来了“南京”“盐水鸭”“皮白”“肉嫩”“桂花香”这些词之间的关联,然后一个字一个字给你凑出来一段通顺的话。 说白了,大模型算法干的活,不是“存储”,是“找规律”。
大模型Transformer注意力机制结构示意图
大模型Transformer注意力机制结构示意图
这个规律有多细?小到中文里“的地得”的用法,大到写方案的逻辑框架,甚至你说话的语气,它都能从训练数据里摸出来规律。所以你让它用南京大妈的语气说盐水鸭,和用大学教授的语气说,出来的话完全不一样,这不是它存了两种语气的文本,是它摸透了不同身份的人说话的用词规律。 你让它写打油诗,它就摸打油诗的规律,你让它写申论,它就摸申论的规律,本质上都是一回事。

被说烂了的“黑箱”,其实没那么玄乎

很多科普一讲大模型,就说这是黑箱,谁也不知道它里面怎么运作的。说实话,这话说对了一半,也错了一半。 算法的每一步,都是写死的,对吧?从分词,到编码,到注意力计算,到输出每个字的概率,每一步都有明确的计算过程,只是参数太多了,几千亿个参数,没人能把每一个参数的作用挨个捋出来,所以才成了普通人嘴里的“黑箱”。 就像你吃一碗盐水鸭,你不用知道每一粒盐腌在哪个位置,你只要知道咸淡合适好吃就行了,没必要纠结那么细。
大模型生成文本逐词预测过程流程图
大模型生成文本逐词预测过程流程图
大模型输出一句话的过程,其实就是“猜下一个字”。你给它一个开头“南京秋天”,它算了一遍,所有字里面,“飘”出现的概率最高,所以输出“飘”,然后再用“南京秋天飘”算下一个字,概率最高的是“着”,输出“着”,再算,概率最高的是“桂”,再输出“桂”……就这么一个字一个字猜,猜出一整段话。 是不是比你想的简单?很多人一听大模型算法就觉得深不可测,其实核心逻辑就是这么朴素,你我小学时候做的完形填空,不也是猜下一个空填什么词吗?本质上逻辑差不多,只不过大模型做了几亿次完形填空,猜得比你准多了。

现在市面上的坑,大多不是算法的锅,是人的锅

现在市面上的坑,大多不是算法的锅,是人的锅
现在市面上的坑,大多不是算法的锅,是人的锅
我跑了大半年南京本地的科技沙龙,见过太多扯大旗的。张口就是我们的大模型算法多厉害,闭口就是要颠覆所有行业,你细问,原来就是拿个开源大模型,改了改输出界面,连微调都没自己好好做过。说白了,就是骗傻子呢。 骗投资人钱也就算了,还骗中小企业,说花几十万就能给你搭个专属行业大模型,结果用起来连本行业常用的术语都搞错,真挺无语的。 还有一个常见误区,就是参数越大,大模型就越厉害。这话真的对吗?不见得。参数大确实能装下更多规律,但要是训练数据一团糟,重复错漏一大片,再大的参数也出不了好结果。我见过参数小了一两倍的模型,因为训练数据都是整理干净的行业专属数据,用起来比那些大参数的通用模型顺手太多了。 不过话说回来,这两年大模型算法的进步,我这个天天看科技的人都觉得惊讶。我刚入行写科技的时候,那时候的自然语言处理,能把一句话分词分对就不错了,谁能想到十几年后,大模型能帮人写代码,做设计,甚至能陪你聊一下午的南京明史?惊喜是真的。 但吹得太神就没必要了。现在的大模型算法,还是会一本正经的胡说八道,把不存在的事说的有鼻子有眼,这个核心问题,到现在也没完全解决。为什么?因为它就是猜下一个字,它不在乎说的对不对,只在乎说出来的话符不符合它学到的规律。所以你问它南京长江大桥哪年通车,它要是学到的规律里错误信息多,它就敢给你瞎编一个年份,脸不红心不跳。 聊完出来,天已经擦黑了,老门东的灯笼都亮了,风一吹,桂花香落满肩膀。小姑娘买了一块桂花糕,咬了一口,说原来大模型算法这么简单,我原来以为多玄乎呢。 我笑了笑。其实哪有那么多神乎其神的科技,本质上都是人喂给它数据,人写出来的算法,它干的事,就是总结人已经攒下来的经验,帮你省点力气而已。 再好的大模型算法,也算不出来今晚风里桂花到底有多甜,也算不出来你咬第一口桂花糕的时候,那种暖乎乎的惊喜啊。

作者|科技

排版|科技

审核|安然

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:咖啡馆里聊大模型算法:它到底不是你想的那样
文章链接:https://www.lfdjt.com/p/keji/a/6516.html