大模型算法究竟在忙什么:一句话穿过几千亿个参数之后

凌晨两点。你困得眼睛发酸,随手敲了一行字:帮我写封辞职信,别太冲。回车。屏幕上的字一个接一个往外冒,比你打字快得多。

你大概不会去想,这半秒里到底发生了什么。

机器没有在翻《应用文写作大全》。它也不曾“懂”你。它做的事,说出来挺扫兴:它只是在猜下一个字最可能是什么。猜完一个,接在后面,再猜下一个。一遍,一遍,又一遍。

就这么简单。也就这么吓人。

一句话进来,先被剁成碎块

模型看不见“辞职信”这三个汉字。它看见的是数字。

所以第一步是切。你输入的句子会被切成一个个 token,中文里有时是一个字,有时是半个词,英文里可能是“ing”这种尾巴。切法由分词器决定,各家不太一样。这也是为什么有的模型数数不太行——它眼里的“数字”跟你想的不是一回事。

切完之后,每个 token 换成一串浮点数。几百维到上万维。听着玄,其实就是给这个词在某个高维空间里定个坐标。“苹果”和“香蕉”离得近,“苹果”和“苹果手机”在某些维度上也近。这些坐标不是人手工画的,是训出来的。

到这儿,输入才算真正进场。

大模型分词器token切分与词向量嵌入示意图
大模型分词器token切分与词向量嵌入示意图

注意力机制:像在理解,其实是在投票

2017 年那篇《Attention Is All You Need》,标题起得嚣张,内容也确实改写了后面这些年。它扔掉循环结构,只留注意力。

注意力在干什么?简单说,让每个词都去看一眼句子里其他所有词,再决定该听谁的。

“他把书放在桌上,因为它太重了。”“它”指书还是桌子?人一眼就知道。模型靠的是权重:算“它”和“书”的相关性,算“它”和“桌”的相关性,谁分高,信息就往谁那边流。

具体点。每个 token 生成三个向量,叫 Query、Key、Value。Q 去和所有 K 做点积,得到一堆分数,softmax 归一化,再拿去加权求和 V。像一次投票。每个词都有票,票数由相关性决定。

多头就是同时投好几轮。一个头盯语法,一个头盯指代,一个头盯位置远近。谁管什么,没人提前指派,是训练里自己长出来的。真有人去解剖过这些头,图挺好看,也挺费解。

代价埋在这儿:每个 token 都要和序列里所有 token 算一遍。序列长度翻倍,计算量涨四倍。这就是长上下文贵得要命的原因,也是 KV 缓存存在的理由——不缓存,每吐一个字都要把前面全部重算。

大模型多头自注意力Query Key Value计算流程示意图
大模型多头自注意力Query Key Value计算流程示意图

说句题外话。我头一回看到 QKV 那套公式,反应是:就这?就这点东西撑起了现在这一堆模型?后来想想,很多厉害的东西,核心都简单得让人不服气。难的是把它堆到几千亿参数还训得稳。

参数量的数字,被读歪了很多年

GPT-3 是 1750 亿参数,这数字传得到处都是。但参数量和“聪明程度”的关系,比段子里讲的要拧巴得多。

2020 年那篇 scaling law 说的是:参数、数据、算力按比例往上加,损失平滑下降。听着像许愿池。后来 DeepMind 的 Chinchilla 出来泼了盆冷水——不少模型的参数太多、数据太少,喂得不饱。同等算力下,数据和参数得配着涨。这事直接改了后面几年的训练配方。

再往后是 MoE,混合专家。思路挺朴素:既然每次推理只用得上一部分能力,那就别全开。把大矩阵切成若干小专家,token 进来,路由器挑两三个干活。总参数可以很大,单次激活的很少。

大模型MoE混合专家路由激活结构示意图
大模型MoE混合专家路由激活结构示意图

比如 DeepSeek-V3 的公开技术报告里写着,总参数 671B,每个 token 激活 37B 左右。这俩数字压根不是一回事,标题里经常混着用,看得人一头雾水。

所以下回看见“某某模型多少亿参数”,先问一句:是总参数,还是激活参数?差十倍都有可能。

对齐:普通人真正能摸到的那一层

预训练完的模型,其实是个……怎么说呢,特别博学但毫无分寸的话痨。它会续写,不会聊天。

把它弄成一个能用的助手,靠的是后面几步。SFT,用人写的问答对微调。再往后 RLHF,让人给模型的多个回答排序,训一个奖励模型,再用强化学习把主模型往高分那头推。这两年 DPO 这类做法流行起来,省掉单独训奖励模型这一步,工程上清爽不少。

可这一步也埋了幻觉的种子。

为什么?因为模型被奖励的是“看起来让人满意的回答”,不是“正确的回答”。碰上不知道的事,老实的做法是说不知道——可这在一堆排序数据里往往得分低。于是它学会了编。编得还特别流畅,这才是真正麻烦的地方。

有人管这叫谄媚。不只是态度问题,是训练目标本身的偏差。

几个被问烂了的问题,我直接答

它真的理解语言吗?

看你怎么定义“理解”。它能做指代消解、能翻译、能一步步推出中间结论,这些在旧标准里都算理解。但它没有身体,没有真实经历。你问它“烫是什么感觉”,它给你的是关于烫的文本统计。诚实的说法大概是:它在某些任务上表现得像理解了,可你不知道它内部到底是什么。这问题现在没人能干净地收尾。

同一个问题问两遍,答案为什么不一样?

因为采样。每生成一个 token,模型给出的是整个词表上的概率分布,然后按某种策略挑。温度高就随机,温度低就趋近于每次都挑分最高的那个。同一句话,第二个 token 稍微岔开一点,后面整条路都岔了。

上下文窗口大是不是就万事大吉?

不是。窗口一大,注意力计算按平方涨,KV 缓存跟着涨。而且“能塞进去”和“能用得上”是两码事。中间那段信息被忽略掉的现象,早有人测出来过。塞得越满,越容易漏。

冷一点的那部分

冷一点的那部分
冷一点的那部分

现在圈子里争得凶的,未必是模型本身多聪明。

很大程度上是成本。是推理一个 token 要花多少电、占多少显存。量化到 8 位、4 位还能保住多少效果;KV 缓存怎么压;投机解码让小模型先草拟、大模型批量校对;推理框架怎么把 GPU 喂饱。这些活不性感,但决定了你用的那个对话框是免费还是按量计费。

另一件我不太确定的事:算法这条路,是不是快撞上某种墙了。数据快用完了,高质量文本就那么多;算力堆上去的边际收益在变薄;从 Transformer 换到别的东西的尝试一直有人在做,可还没谁真掀了桌子。

也许下一次跃升来自一个现在看着很怪的想法。也许只是把工程再拧紧两圈。谁知道呢。

凌晨那封辞职信,写得还挺体面的。

作者|科技

排版|科技

审核|阿辰

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:大模型算法究竟在忙什么:一句话穿过几千亿个参数之后
文章链接:https://www.lfdjt.com/p/keji/a/24579.html