生成式AI到底在生成什么?我拆开那个黑箱看了一眼

上周三下午,南京珠江路一家咖啡馆,隔壁桌在赶方案。

一个人说,这段文案让AI写吧。另一个回:行,但得改,不能一眼AI味。

三分钟。屏幕上的字就铺满了。

我端着杯子愣了两秒。不是惊讶它写得快,是那种奇怪的感觉——它好像懂点什么,又好像什么都不懂。

它不查资料,它在猜下一个词

把这个说清楚,很多误会都能自己散掉。

生成式AI的核心动作,土得掉渣:看着前面已有的文字,猜下一个词最可能是什么。

就这么简单。也难到离谱。

你手机输入法打“今天晚上”,它蹦出“吃什么”。一个道理。区别在规模和素材——大模型读过的文本量大到你没有直觉,然后它把里面反复出现的搭配、语序、语气、句式,一股脑压进一堆数字里。

注意,是压进数字,不是存成一本词典。

所以它吐出来的东西,不是从哪篇文章里剪下来贴给你的。是它拿着你给的上下文,现场拼的。

这里有个词你迟早会碰到,token,中文一般叫词元。模型不认识“字”,也不认识“词”,它只认 token。一句话进来,先切块,再变成一串向量。然后这些向量在一层层网络里互相“看”——这就是注意力机制。2017年那篇论文提出来的,名字叫《Attention Is All You Need》。

它看的是关系。谁跟谁有关系,关系有多强。

层层看下来,输出一个概率分布:下一个 token 是“的”的概率多少,是“了”的概率多少。

挑一个。继续。再挑一个。

大语言模型token切分与注意力权重计算流程图
大语言模型token切分与注意力权重计算流程图

你看到的整段回答,就是这么一个个挑出来的。

快,是因为硬件在并行地算。不是它在想。

为什么它一会儿像天才,一会儿像刚睡醒

这个体感,估计很多人都有。

让它写个活动策划思路,条理清楚,还真有点想法。可你一问某个具体年份、某个具体人名,它张口就来,而且错得理直气壮。

为什么。

因为它的训练目标从来不是“说对”,是“说得像”。

这两件事差得很远。像,是统计上合理;对,是要跟事实对得上。模型手里没有一本随时能翻的事实手册,它有的是语言里那种“接下来大概该这么说”的惯性。

所以在它不熟的领域,它会顺着惯性往下滑。滑得很顺,滑进沟里也顺。

这就是幻觉。听着玄,其实是个工程现象。

还有一种误解更常见:以为它在数据库里检索。

不是。它不是从仓库调货,它是凭印象复原。像你隔了十年回忆小学教室的布局——大结构没错,窗在哪边也对,但墙上挂的到底是谁的照片,你会填一个“合理”的进去。

扩散模型图像加噪与去噪采样过程示意图
扩散模型图像加噪与去噪采样过程示意图

图像那边逻辑类似,只是玩法换了。扩散模型干的事,是先学会把一张图一步步加噪糊掉,再反过来学会从纯噪声里一步步去噪还原。练完之后,从一团随机噪声出发,条件是你给的提示词,走几十步,图就出来了。

画出来的东西,没有一笔是直接复制的。

聊天框只是它露出来的一角

聊天框只是它露出来的一角
聊天框只是它露出来的一角

2022年底那个对话框火起来的时候,不少人以为生成式AI等于聊天机器人。

误会大了。

文字只是它走到大众面前的那个形态。同一套底层能力,换个输出层,就能干别的。

接上代码,它写程序、读报错、提修改。接上图像,它画图、修图、做分镜。接上视频,它做动态。接上分子结构,它帮着推断蛋白质折叠方式——这块有实际科研成果,不是画饼。

更关键的变化在近两年:它从“会说”往“会做”走了。

什么叫会做。给它工具。能查网页,能跑代码,能读写文件,能调接口。你扔一个目标过去,它自己拆步骤、试、错了再试。

这套东西现在一般叫 Agent,智能体。

还有一个词你会碰到,RAG,检索增强生成。说白了:回答之前先去外面捞一批资料,塞进上下文,再让它基于这批资料说话。它不解决根上的问题,但能明显减少瞎编。

几个被问烂了的问题

问:它会取代我的工作吗?

这问题问得太整了。工作不是一整块,是一堆任务拼起来的。

写一段没什么信息量的周报,它确实比人快。跟客户在饭桌上把一件难堪的事讲圆,它现在还不行。

被顶掉的通常不是“岗位”,是岗位里那些能被描述、能被验收、有大量先例的环节。剩下的部分,反倒更需要人。

说实话,更现实的风险不是失业,是“我交出去的东西,我自己看不懂了”。

问:训练数据会不会用光?

会紧张,但不会哪天早上突然清零。公开的高质量文本就那么多,各家都在抢。所以你看到好几件事同时在发生:合成数据、多模态数据、买版权库、拿私有数据做行业微调。

不过话说回来,数据多少不是唯一变量。怎么筛、怎么配比、后期怎么对齐,这些活儿一样影响结果。

问:为什么同一个问题问两遍,答案不一样?

因为采样。模型给出的是一堆概率,不是唯一答案,每次挑都带随机性。有个参数叫温度,调高了它更放得开,也更容易胡说;调低了更稳,也更死板。

这不是 bug,是设计。想让它稳定复现,得额外加约束。

一条粗糙的时间线

一条粗糙的时间线
一条粗糙的时间线

2017年,注意力机制那篇论文出来,骨架搭好了。

2020年,GPT-3。人们发现规模上去以后,有些能力会自己长出来一点。

2022年11月,ChatGPT。两个月,一亿用户。这个速度以前没见过。

2023年,多模态铺开,图、语音、文档一起上。企业开始接入。

2024年,视频生成亮相,推理模型出现——就是让模型在开口前多花点时间想,把中间步骤显式写出来。

再往后呢。没人敢打包票。

说点冷的

说点冷的
说点冷的

眼下真正的瓶颈,可能不在算力。

在评价。

我们其实不太会衡量它到底好不好。评测集被训练数据污染了,人肉打分贵而且主观,自动打分又容易被糊弄。一个东西长得飞快,尺子没跟上——这事挺麻烦。

另一个是信任的边界。人能接受一个偶尔出错的助手,但很难接受一个“错的时候语法完美、语气笃定”的助手。错得越流畅,越难防。

所以你会发现,现在做得比较扎实的用法,都自带一层护栏:让它标来源、让它把不确定的地方说出来、让它在动手之前先问一句。

回到那家咖啡馆。

方案后来交上去了,客户没看出哪句是 AI 写的。但隔壁桌那位姑娘花了大概四十分钟改它——删掉那些漂亮的废话,换成自家项目的真实数字。

我觉得这个画面挺准确。

它把草稿铺到桌上。剩下的判断,还在人手里。

作者|科技

排版|科技

审核|小北

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:生成式AI到底在生成什么?我拆开那个黑箱看了一眼
文章链接:https://www.lfdjt.com/p/keji/a/25031.html