上周六窝在沙发上翻旧手机相册。
手指滑到一张糊到连轮廓都看不清的照片——是去年秋天在南京北京西路拍的，当时风太大，举着手机刚按下快门就被吹得歪了角度，满屏都是晃成拖影的梧桐叶。
换以前我肯定直接删了。
结果随手点了相册里那个新上的“智能整理”按钮，它没给我锐化、没给我加滤镜，反而弹出一行字：“这张是你2023年11月12日下午3点17分在北阴阳营巷口拍的，当时你刚买了梅花糕，站在树边等糖霜凉下来，风把你搭在手臂上的围巾吹到了镜头上。”
我当时鸡皮疙瘩都起来了。
这不是什么魔法。是你每天都在听人提，但根本没搞懂到底在干嘛的——多模态大模型。
你以为的“多模态”，其实只是凑数的花架子
说实话之前我也觉得这东西就是厂商吹的噱头。直到上次我把一段10秒的、我家猫踩在我键盘上录的杂音视频丢给它，它没跟我扯什么“音频波形分析”的专业术语，直接给我标了“猫踩了Delete键，把你写了三页的方案删了，当时你骂了一句脏话”。
说出来你可能不信，我当时翻了半天回收站，真的找到了那半页没写完的方案。
市面上不少所谓的“多模态功能”，本质上还是“先转文字再回答”的拼装货。你发一张路边看到的流浪猫的照片，它识别出“猫、橘色、三花、蹲在电动车上”，就把这串文字丢给大模型，给你输出一段“橘猫是很亲人的小动物”的通用回答——它根本不知道这只猫你已经喂了三个月，是上次你加班到凌晨在小区门口遇到的那个“老朋友”。
真正的多模态从来不是把几个感知模块简单拼贴，而是让不同来源的信息在同一个语义空间里完成对齐。就像你自己回忆一件事的时候，不会先把当时看到的画面转换成文字、听到的声音转换成文字，再在脑子里拼成一段回忆——你是直接把当时的风的温度、食物的味道、看到的画面、听到的笑声揉成一团，存在记忆里的。
之前跟一个做模型训练的朋友聊天，他说最开始大家做多模态，就是把图像、语音、文字三个模型的输出硬拼到一起，跑出来的结果看着像那么回事，真用起来全是bug。比如你给它看一张你举着奶茶的照片，它只会说“这是一杯奶茶”，根本不知道你举的这杯是三分糖少冰的乌龙，是你上周跟朋友排了半小时队才买到的，喝到第一口的时候你还发了条朋友圈吐槽“糖放多了”。
别信那些吹上天的说法，它现在离“万能”还差得远
别信那些吹上天的说法，说什么多模态大模型再过两年就能替代人搞创作。拉倒吧。上次我朋友把自己拍的一组老门东夜景丢给它，让它配个发朋友圈的文案，它给出来的是“青砖黛瓦映灯影，十里烟火入金陵”——听着工整，但完全踩不到点。他那天是跟对象吵完架，一个人在老门东晃了三个小时，看到糖画摊的老爷爷给小朋友吹了个小老虎造型的糖，突然就觉得堵在胸口的那股气散了。他拍这组图的时候镜头特意对准了糖画摊冒着的那点热气，可这些藏在镜头后面的情绪，哪怕你把图给它看一百遍，它也猜不到。
它有用，但远没有大家吹得那么神。它能帮你把攒了半年的工作笔记、拍的会议PPT照片、录的语音备忘全部理成一份逻辑通顺的项目复盘，能帮你把手机里存的一千多张旅游照片按时间、地点、甚至你当时拍的时候的心情自动分类，不用你一张一张手动勾选。但你要指望它能完全读懂你藏在所有信息后面的私人情绪，那还是早点醒。
我上次试了下，把我去年在中山陵拍的一张梧桐道的照片丢给它，让它帮我写一段适合发公众号的配图文字，它给我写的是“夏日梧桐荫蔽，是南京独有的浪漫”。听着没错，但完全没有我当时拍这张图的心境——那天我刚辞掉干了三年的工作，一个人在梧桐道上走了两个小时，脚都磨出泡了，风一吹，突然就觉得好像也没什么大不了的。这种情绪，它没有办法从一张静态的照片里读出来，哪怕它能识别出每一片梧桐叶的形状、每一块地砖的纹路。
再过两年，你根本不会特意想起“用它”这件事
现在大家用多模态大模型的方式，其实特别拧巴。就像你刚拿到智能手机的时候，要特意点开计算器APP算账、特意点开备忘录记东西、特意点开相册找照片——这些动作都太刻意了。等多模态大模型真的嵌到所有系统的底层，你根本不会特意想起“我要打开一个APP用大模型”。
比如你开车的时候，看到路边有一棵特别好看的红枫，你不用特意掏手机拍照，对着方向盘上的麦克风说一句“刚才开过去那棵树记一下”，它就自动把你刚才那一秒的行车记录仪画面、你当时说这句话的语气、你之前收藏过的所有关于红枫的笔记全部串起来，等你周末想找适合拍照的地方的时候，它直接把这棵树的定位推给你，连当时的光照角度都给你标好。
我上个月在南京软博会逛的时候，看到有个团队在做给视障人士用的多模态导盲设备——不是那种简单的“识别障碍物、提示前方有台阶”的功能，是它能扫到路边有个卖白菊的老奶奶，能听到老奶奶在跟路过的人说“今天的花刚摘的，新鲜得很”，甚至能看到老奶奶的手因为常年卖花有皴裂，然后把这些信息用很自然的语气讲给戴设备的人听。不是冷冰冰的机械提示音，是像朋友一样跟你说“前面三步有个老奶奶在卖白菊，花的香味飘过来了，要不要停下来看看”。
你看，这才是这东西最该有的样子。不是吹得能上天的通用人工智能，是安安静静嵌在你日常里的小帮手。
对了，上次那张糊掉的梧桐道照片，我后来又让它给我配了段当时的记忆，它写的是“那天的梅花糕烫得你攥在手里直跺脚，围巾沾了点糖霜，风卷着梧桐叶落在你肩膀上，你当时觉得，这日子真的挺好的”。
我盯着这句话看了半天。
原来我们之前对它的所有误解，都来自于总把它当一个“工具”。
它不是来帮你写方案、画图、做表格的——当然这些事它也能做。它最珍贵的地方，是能帮你记住那些你自己快要忘掉的、细碎的、没有什么“实际价值”的小瞬间。
毕竟我们的记忆太容易漏了。风的温度，糖霜的甜味，梧桐叶落下来的声音。
这些东西，它都帮你存着。
作者|科技
排版|科技
审核|小准