上周三晚上我窝在沙发上啃鸭脖，我妈举着手机凑过来，说她写的那篇去青岛玩的朋友圈太干了，让我帮着润色得”有文化点”。我本来想自己改，结果手滑点开了常用的大模型工具，输了”把下面这段改成适合50岁阿姨发朋友圈的，带点海风和橘子汽水的感觉”，十秒钟出的文案，我妈看完直接拍大腿说比我写的强一百倍。
之前我总觉得大模型是个很玄的东西，直到去年跟一个做算法的朋友喝了三顿啤酒，才把这层窗户纸捅破。哪有那么多神乎其神的智能啊，说白了现在跑的所有消费级大模型，核心逻辑全绕不开最基础的一件事——算下一个字的出现概率。
你以为的“智能”，其实是一场超长的“接龙游戏”
我第一次听到这个解释的时候，直接把手里的珍珠奶茶喷了半屏幕。合着我之前吹得神乎其神的”AI会写代码会写诗”，本质上跟我小学时候玩的成语接龙没区别？
真的没区别。你输入”今天下班路上买了一杯冰”，模型在后台要做的事，就是把所有训练过的文本里，这句话后面跟着的内容全部拉出来统计：接”美式”的概率大概70%，接”奶茶”的概率25%，接”中药”的概率不到5%。它会选概率最高的那个字放上去，然后再基于刚放上去的这个字，再算下一个字的概率，一个字一个字往外蹦，直到凑完一整段话。
很多人会问，那它怎么知道要写”咸咸的海风裹着橘子汽水的甜”，而不是”今天吃了三碗米饭”？因为它在训练的时候，见过太多”青岛””海边””橘子汽水”这些词连在一起出现的文本了。它根本不知道海风是咸的，不知道橘子汽水喝下去会打带着气的嗝，它只是算出来，当前面的语境是”青岛旅游发朋友圈”的时候，写这些句子的概率，比写其他内容的概率高得多。
之前有个博主做过测试，给大模型喂了一段自己写的小众小说，里面提到”主角的猫叫三斤，最爱吃的东西是烤红薯皮”，隔了200多字再问模型”三斤最爱吃什么”，模型给的答案是”三文鱼”。你看，它不是真的”记住”了前面的内容，只是隔得太远的信息，在概率计算的时候权重被压得太低了，低到可以忽略不计。
别被“参数规模”骗了，算法里的“偷懒”才是真聪明
之前刷到好多媒体写大模型的稿子，翻来覆去就是”参数规模突破多少万亿”，好像参数越多模型就越厉害一样。其实真不是。我那个做算法的朋友说，现在大家用的大模型，最核心的设计根本不是堆参数，是一个看起来特别”鸡贼”的算法逻辑——注意力机制。
说穿了就是偷懒。你想啊，如果你要读一篇1000字的文章，你不会逐字逐句平均分配精力对吧？看到开头说”我家猫昨天拆了沙发”，后面不管是讲沙发的材质、猫的品种还是昨天的天气预报，你的注意力都会自动往”猫拆家”这个核心事件上靠，不会盯着每个字花一样的时间去记。之前的算法就傻，不管什么内容，一视同仁花一样的计算资源，跑一次要花好几个小时，成本高到普通人根本用不起。
就这么个”偷懒”的设计，直接把之前的计算成本砍了快90%。朋友说最早团队试这个算法的时候，以为是代码写错了——跑出来的结果够准，速度还快到离谱，反复查了三遍参数配置，才敢信真的是这个逻辑的作用。
当然这个算法现在也还有很多bug。比如你问它”我把刚买的蓝莓放在冰箱第二层，第二层放了昨天的剩菜和三瓶可乐，请问蓝莓是什么颜色”，它有时候会给你扯半天剩菜的保存方法，根本不会关联到前面说的蓝莓的属性。说白了就是它的注意力飘了，该重点看的信息没抓住，不该花精力的地方浪费了计算资源。
那些吹上天的“算法突破”，其实大多是“调参玄学”
我之前参加过一次行业线下沙龙，有个做了八年算法的工程师上台，第一句话就把台下的人逗笑了：”我现在做模型，70%的时间不是在写代码，是在等模型跑结果，顺便吃外卖。”
真的是这样。很多人以为算法工程师是坐在电脑前敲键盘搞颠覆性发明，其实大部分时候的工作，就是在做调参——就像你在家煮火锅，火开多大，盐放多少，蘸料加不加香菜，没有什么万能的标准答案，全靠一次次试。同样的基础算法，你把学习率调大一点，模型可能学的快但容易学歪，调小一点，学的慢但稳；你给训练数据里的聊天记录多加点权重，模型说话就更像真人，多加点论文权重，模型写的东西就更晦涩。
好多媒体吹的”划时代算法突破”，扒开里面看，很多就是团队熬了好几个大夜，把某个参数的数值从0.1调到0.05，刚好跑出来的效果比之前好一点而已。没有什么魔法，也没有什么突然觉醒的意识，就是日复一日的试错。
现在网上好多人说大模型以后要取代人类，要产生自我意识，我每次看到这种言论都想笑。它连自己写的句子是什么意思都不知道，怎么产生意识啊？就像你玩成语接龙，你接了个”一帆风顺”，不代表你真的理解”帆”是什么，只是你知道这个词接在”一帆”后面是对的而已。
上次我妈把大模型改好的朋友圈发出去，下面有二十多个阿姨点赞，评论说”写的太有感觉了，跟我自己去了青岛一样”。你看，其实大家根本不关心背后的算法是怎么跑的。它能帮你省半小时改文案的时间，能把你干巴巴的流水账写的让看的人觉得舒服，就够了。
至于它是不是真的懂海风的味道？
谁在乎呢。
作者|科技
排版|科技
审核|阿辰