大讲堂上周三凌晨一点，我闺蜜给我甩了张糊到发虚的照片。
半只橘猫的尾巴，晾在阳台的半件珊瑚绒睡衣，楼顶上露了个角的太阳能热水器，还有她书桌上漏了半圈的冰美式渍。我本来以为她要吐槽猫又半夜拆家，结果她直接丢过来一句，说她把这张图喂给了常用的多模态大模型，要它补全整个场景，再写段能直接发朋友圈的文案。
我当时愣了三秒。
那种感觉太奇怪了。就像你本来以为对面坐的是个只会顺着你打字接话的网友，结果他不仅抬眼扫到了你桌上摆的半罐气泡水、压在键盘下的过期电影票根，甚至能顺着这些零散的碎片，猜出你今天加班到崩溃根本不想说话。
别把多模态大模型当成“会识图的聊天机器人”
我之前跟好多人聊起多模态，十有八九的反应都是：哦，就是原来的大模型加了个识图插件呗？就像给聊天软件装了个翻译功能，能把图片转成文字，再丢给原来的模型处理，对吧？
真不是。
你要是真这么想，就把这东西想浅了一大截。之前的单模态大模型，你跟它说“我家猫把粉底液打碎了”，它能顺着文字给你输出一大段安慰的话，甚至能帮你想下次要把化妆品放在多高的柜子上。但它根本看不到你拍的照片里，猫的脚掌沾了多少粉底液碎渣，玻璃渣旁边混了多少猫毛，甚至猫正躲在沙发后面露个发抖的尾巴尖——这些它都不知道，因为它从来没把“文字描述的事件”和“视觉里的细节”真正联系在一起。
现在的多模态大模型，从训练阶段开始，就把“橘猫踩奶”这四个字，和橘猫软乎乎的肉垫踩在人肚子上的特写、人被痒到笑出眼泪的音频、甚至橘猫踩过的地毯上留下的浅印，全揉进了同一个认知空间里。它不是先把图片翻译成文字再读，是从一开始就懂这些碎片之间的关联。
说个我自己的蠢事。上个月我把我家狗拆家的照片丢给模型，就配了三个字“谁干的”。它直接回我：“狗干的，它现在正把尾巴夹在两条腿中间，躲在你椅子后面，等着挨骂。”
我当时顺着它说的方向转头，真的看见我家狗夹着尾巴蹲在椅子后面，连头都不敢露。
它现在的“懂”，很多时候是蒙出来的
我知道现在好多厂商宣传的时候，把多模态吹得跟能通人性似的。说能看懂复杂的艺术作品，能分析复杂的实验流程，能给你当私人侦探找线索。
拉倒吧。
上周我去美术馆看展，对着一幅抽象画拍了张照，满画布都是歪歪扭扭的蓝色块，我把图丢给模型，问它这画表达的是什么。它给我输出了快三百字的分析，什么“蓝色块面的分割体现当代人的精神疏离，不规则的边缘映射个体与社会的割裂感”，说得头头是道，我差点真的对着画感慨半天。结果出门的时候问了下现场的学生创作者，人家挠挠头说，这画就是他上周把蓝纹奶酪掉在白盘子里，被他家猫扒拉得满盘子都是，他照着那个样子画的期末作业。
合着我对着一盘“被猫扒碎的蓝纹奶酪”，听了半天关于精神割裂的解读。
更离谱的是嵌套场景的识别。比如你拍一张镜子的照片，镜子里反射出你举着手机，手机屏幕上是一张猫的海报。这中间隔了三层视觉元素，好多模型数着数着就乱了，要么把猫当成你现实里养的宠物，要么把镜子反射的你当成了另一个站在你对面的人，连最基本的空间逻辑都搞不对。
说白了，它现在的“懂”，更像你上学时候做语文阅读理解。读了半篇文章，凭着脑子里存的那些标准答案套话，凑出来一段看着特别像那么回事的答案，其实根本没真的读懂文章写的是什么。
普通人能用的爽点，根本不在什么“产业革命”里
好多人一听到大模型、多模态这些词，第一反应就是“这是搞技术的人用的东西，跟我有什么关系”。其实真不是，普通人能挖出来的爽点，比那些写在新闻稿里的宏大叙事有意思多了。
我姐是小学班主任，以前每次要做班级宣传海报，都要熬半宿找素材、调排版，改到最后眼睛都花。上次她直接把在学校操场拍的实景照片丢给多模态大模型，说“帮我在操场围栏上加上防溺水的宣传标语，把路边梧桐树的叶子P成秋天的金黄色，再加几个举着安全手册的卡通小学生，风格要明亮，适合低年级孩子看”。不到两分钟，图就出来了，排版比她之前花一下午调的还舒服。
我上次出去旅行，拍了快三百张乱七八糟的照片，有路边买的文创雪糕，有景区的路牌，有吃的辣到冒汗的火锅，还有药店门口贴的腹泻药海报。以前我整理照片要花小半天，现在直接把所有照片批量丢给模型，让它帮我按旅行的时间顺序排好，配上对应的简短说明。它甚至能从我拍的药店照片里，精准定位到我哪天吃太辣闹肚子了，连我在哪个景点买的文创雪糕，都能看着上面的logo给我标清楚地名。
说真的，好用是真的好用。
前阵子跟一个做模型训练的朋友吃夜宵，他喝了点啤酒跟我吐槽，说现在好多模型为了冲参数、冲测试成绩，训练数据都是乱凑的。从网上爬下来的图片，随便配一段不相关的文字，就丢进训练集里喂给模型，就像给一个小孩塞了十万本图文不搭的漫画，看着好像认识字也认识图，其实根本不知道字和图之间有什么联系。
之前有读者给我发私信，问以后多模态大模型是不是能当私人侦探，帮他找丢了的猫。我给他回，别想了，上次我把两只长得一模一样的银渐层拍在同一张图里，模型给我数出来四只猫。它现在离“真的懂”，还差得远呢。
前几天我又给它发了张我家猫趴在我键盘上的照片，它给我配的文案是“今天的工作就到这里，剩下的让猫来做吧”。
行吧。
它要真能做，我倒是乐意。
作者|科技
排版|科技
审核|见微