上周加班到九点挤地铁，掏手机翻相册，翻到上周和朋友去吃小龙虾的糊照片——灯光暗的连虾的颜色都快看不清，还有当时录的一段跑调的《成都》，本来想发朋友圈又觉得太傻，突然想起之前测过的多模态大模型，把这俩没头没尾的素材传进去，问它“我现在看到这俩东西是什么心情”。它居然说，你在想上周剥小龙虾剥到指甲疼，朋友抢了你半盘蒜蓉小龙虾的事儿，现在加班累了，想回去再搓一顿。我当时鸡皮疙瘩都起来了。
别听人扯“全能”，它本质就是个会“串频道”的翻译官
之前的大模型，说白了就是只会读文字的书呆子，你给他发图他看不见，发语音他听不着，就只能对着你敲的字死磕。多模态大模型的核心，就是同时开着文字、图片、音频、甚至视频好几个“频道”——不是说每个频道都精通到能拿专业赛事的冠军，而是能把不同频道的信息捏到一块儿，找里面的逻辑关联，也就是跨模态信息关联。比如你发一张猫踩翻水杯的图，再配一句“我真的会谢”，换之前的纯文字大模型，可能会以为你在说奶茶好喝，多模态的就知道，你是在吐槽猫拆家。
真的没那么玄。它不会自己凭空造情绪。很多人以为它能像科幻片里的机器人一样，站在你家客厅扫一眼就知道你今天没吃饭、心情差、想点黄焖鸡米饭，实际上它所有的判断，都来自训练时喂进去的千千万万张图、配的文字、对应的情绪标注——就像你攒了十几年的生活阅历，看到朋友皱着眉捏着手机叹气，就知道他大概率是被老板骂了，只不过它的阅历是从全网的公开数据里扒出来的，不是自己真的活过。
之前跟一个做模型的朋友聊天，他说现在的多模态大模型，本质上就是把不同模态的信息，都转换成同一个它能读懂的“向量空间”。说的通俗点，就像你把中文、英文、法语的句子，都转换成同一个意思的卡片，它看到卡片就知道是什么内容，不管这卡片是用什么语言写的。说白了就是个会同时读字、看图、听声音的翻译官，把你给的所有乱七八糟的信息，都翻译成它能理解的意思，再给你反馈。
别踩坑，这些误区我身边的人踩了个遍
最常见的误区，就是觉得它是全能的。你给它拍一张你家厨房的照片，问它灶上的酱油还能吃吗，它能念出配料表，能说出来这是哪个牌子的生抽，但绝对不会凑过来闻有没有长霉——它对图片的识别是像素级匹配逻辑，不是真的有感官。上次我朋友让它生成他家柯基拆家的视频，出来的柯基腿长的像德牧，给人笑的半天直不起腰。
还有个坑，很多人以为它的识别准确率百分百。上次我拿我妈拍的、糊到我妈自己都认不出来的老照片去测，让它判断拍摄年份，它一本正经给我分析“根据照片颗粒度判断是2008年的数码作品”，实际上那是我爸2003年用胶卷拍的，后来扫描进电脑的。就因为胶卷扫描的颗粒和早年数码照片太像，它直接认错了。
它经常犯这种低级错误。你要是指望它帮你判断老照片的年份，或者帮你看有没有过期的药，那大概率要失望。它的所有判断，都建立在“见过足够多类似的样本”的基础上，要是遇到训练数据里没怎么见过的东西，它就会一本正经的胡说八道，跟之前的纯文字大模型瞎编历史是一个路数。
还有个误区，很多人觉得它离普通人很远，都是互联网公司、科研机构在用。其实根本不是。你现在刷短视频的时候，平台给你推的你爱看的内容，背后就有多模态大模型在干活——它会识别你看的视频里有猫、有美食、有户外露营的内容，再给你推类似的。你用手机的相册搜索，输入“去年夏天在海边的照片”，手机能直接把你当时拍的海浪、你戴的草帽、喝的冰可乐的照片找出来，这也是多模态大模型的功劳。
别神化也别踩死，它现在能干的事儿其实就在你身边
我现在最常用的一个功能，就是给我奶奶整理照片。之前我奶奶手机里存了几千张照片，有她跳广场舞的，有我弟弟考试拿奖状的，有她种的月季花的，之前她想找某张去年开的最盛的粉月季的照片，得翻半天，翻的眼睛都花。现在我直接把整个相册导进去，跟大模型说“找出去年春天开的最盛的那盆粉月季的照片，旁边还摆着我弟弟的奥特曼玩具的”，它几秒钟就能把照片找出来，比我奶奶自己翻快一百倍。
还有上次我去医院做体检，拍了肺部的CT片，之前拿到片子，医生指了半天我也不知道那个小结节在哪，是什么意思。现在我把片子拍下来传给多模态大模型，它直接把片子上的结节位置标出来，用通俗的话讲“这个小结节直径3毫米，边界清晰，属于很常见的良性结节，每年复查就行”，不用我对着一堆医学术语查半天，也不用追着医生问东问西的尴尬。
当然也有让人不舒服的地方。比如现在有人用多模态大模型换脸，把普通人的脸换到莫名其妙的视频里，还有人拿它扫街上的行人，猜人家是做什么工作的、收入多少，这就有点越界了。技术本身没对错，就像你拿菜刀能切菜也能伤人，关键是拿它的人想干嘛。
说真的，我现在最期待的不是它能自己写代码、自己做那种离普通人很远的专业工作，是哪天我奶奶给我发一段她录的、抖的厉害的广场舞视频，还有一段语音说她今天跳完舞去买了桃子但是忘了放哪了，多模态大模型能直接从视频里看到她口袋上沾了桃毛，旁边的石桌上放着她的布袋子，直接给我回一句“奶奶在小区中心广场的石凳边，桃子放在她左边的布袋子里，没丢”。
昨天我又把那段跑调的哼唱和糊的小龙虾照片传给它，问它我现在最想干嘛。它说，你现在在想，要是周末能再去搓一顿十三香小龙虾，就好了。
害。它居然真的懂。
作者|科技
排版|科技
审核|柚子