上周加班到十点，我对着电脑上半张糊掉的猫爬架照片叹气——光线暗，猫刚跳走剩半条尾巴，旁边还有我随手涂的乱线，本来想找修图朋友问能不能把架子补全，结果顺手把图拖进对话框，附了一句”这架子原来该是什么样？顺便听听我刚录的12秒猫叫”。
3秒。
出来的描述比我自己想的还细：”原木色三层猫爬架，中层挂着你没拍进去的灰色毛绒吊床，对应你录音里的高频呼噜声，猫当时正准备扒顶层的绒布垫”。
我当时握着鼠标愣了两秒。这东西居然能把我拍糊的照片、乱七八糟的涂鸦、没头没尾的猫叫，拼出一个完整的、我记忆里才有的场景。
不是”能看图的文本模型”，是把感官拆碎了拼认知
很多人对多模态大模型的印象，还停留在”以前的大模型只能读字，现在能加个看图的功能”。真不是。
以前的模型是彻头彻尾的偏科生。读文本的模型一辈子只和文字打交道，它知道”猫爬架”三个字是什么意思，但从来不知道猫爬架摸起来是什么质感、猫踩上去会发出什么声音、猫在上面打呼噜的时候喉咙会震出什么频率的声纹。做图像识别的模型更像个只会报菜名的游客，看到一张图能数出来有几个猫、几个架子，但它不知道架子和猫之间是什么关系，更听不到旁边录的猫叫。
现在的多模态大模型干的事，其实是把所有能接收到的信号——文字、图片、声音、甚至你上传的手写笔记——全部拆成细碎的认知碎片，再把这些碎片放到同一个认知坐标系里。跨模态特征的统一映射听起来是个很玄的技术词，说白了就是：模型不再是闭着眼睛读字，也不是蒙着眼睛看画，它是像人一样，把眼睛看到的、耳朵听到的、脑子里记的东西，凑成同一个完整的印象。
我之前看一个工程师的分享，说他们为了让模型真的”懂”猫爬架是什么，不是光给它喂几百万张猫爬架的图片加文字说明，是把猫在架子上跳的视频、猫抓架子的摩擦声、甚至猫在架子上留下的毛屑特征全部拆成统一的特征值，让它知道”哦，原来猫爬架是那个会被猫抓得掉木屑、会被猫踩得晃悠悠、上面经常挂着猫毛的东西”。
那些”魔法时刻”背后，全是没被说出来的笨坑
别被那些演示视频骗了。
我朋友上个月把自家猫的视频拖进模型，问”这猫现在是什么情绪”，模型秒回”非常兴奋，正准备和你玩”。朋友当时气笑了——那是他家猫吃了吐毛球药，正弓着背准备吐的前兆。
为啥会错？说穿了特别简单。训练集里所有”猫弓着背、尾巴竖得笔直”的样本，90%都被标注成了”兴奋”，根本没人标”即将呕吐”的状态。模型根本没真的见过猫吐毛球是什么样，它只是在背见过的标准答案而已。
这就是现在多模态大模型最容易踩的坑：没有被标注的”隐性常识”，它永远学不会。你给它看一张下雨天的街景照片，它能说出来”今天下雨了，路上有积水”，但你要是问”行人现在出门应该带什么”，它有时候会蹦出来”带太阳镜”——因为训练集里有一部分阴天拍的街景，被错误标注成了雨天，它根本没建立”下雨要挡雨”这个最基本的常识关联。
我之前和做模型训练的朋友聊，他说现在团队一半的工作量，根本不是调模型参数，是蹲在各种日常场景里标样本。比如要让模型分清”猫准备吐”和”猫兴奋”的区别，就得蹲在猫旁边录几百条视频，把每一个细微的动作、每一段喉咙的震动声都标清楚。听起来特别笨，对吧？但就是这些笨功夫，才能让模型在下次你把猫的视频丢进去的时候，不至于对着准备吐的猫说”它好开心”。
别等它”颠覆世界”，先解决你手边的破事
我现在越来越烦那些把多模态大模型吹得神乎其神的内容。什么”要取代所有白领””要颠覆整个创作行业”，听着就累。
我自己用了快半年，觉得最爽的时刻，根本不是什么高大上的商业决策，全是些鸡毛蒜皮的小事。
比如我妈上次给我发了一段1分钟的菜场语音，说”你下班绕到南门买那个带泥的胡萝卜，还有上次你说好吃的那种圆的菠菜，别买成长杆的，对了那个卖菜的阿姨今天戴蓝帽子”。换以前我得听个两三遍才能记全，现在直接把语音转进对话框，问”要在哪个摊位买，买多少量够我和我妈两个人吃两顿”，它直接结合我之前存的菜场照片，给出的答案比我那个记不住事的男朋友靠谱多了。
还有我那个做平面设计的表妹，以前每次接客户需求，要把客户发的参考图、大段的语音吐槽、手写在纸上的风格备注全部整理成结构化的需求文档，最快也要两三个小时。现在她直接把这三样东西一起丢进模型，30秒就能拿到一份标注清楚的文档，连客户语音里带着情绪说的”不要那种冷冰冰的蓝”，都能自动对应到几个暖调的蓝色色号建议。
它现在还做不了太复杂的判断。比如你给它一段医院的CT影像，问”这片子里的病灶是良性还是恶性”，它给的答案绝对不能当真；你给它一段工厂的施工视频，问”这个施工流程哪里有安全隐患”，它可能连基本的工序都分不清楚。但它真的能帮你把那些乱七八糟、跨了好几种形式的信息揉到一块，省你大把整理材料的时间。
昨天我又试了下，把我家猫踩在键盘上敲出来的乱码、它趴在键盘上的照片、还有它当时打呼噜的声音一起丢进去，它说”这只猫现在正用尾巴勾着你的手腕，想让你陪它玩逗猫棒”。
对哦，我当时手真的被它勾着。
有点意思。
作者|科技
排版|科技
审核|乐乐