上周三晚上九点半,我挤在晚高峰的地铁里到家,鞋都没换就瘫在沙发上。三花主子跳上桌,爪子在键盘上踩得噼里啪啦响,我举着手机拍了30秒它的傻样,本来想剪个15秒的短频配个搞笑BGM,随手把录屏丢给了最近常用的那个多模态工具。
我本来没抱期待。
之前试过的老工具,给它看视频,最多能蹦出来”画面包含:猫、键盘、室内环境”这种干巴巴的标签,跟没说一样。结果这次它三秒回的消息给我整愣了:”你桌左角的外卖盒漏了半份十三香小龙虾,汤汁流到地毯上了,还有你靠垫后面藏的半罐冰可乐没开。”
我当时直接从沙发上弹起来。
别再把它当”会看图的ChatGPT”
好多人对多模态大模型的认知,还停留在”原来的文本AI,现在能看懂图片了”。真不是。
早年的图文识别工具逻辑特别简单:先把图片拆成一个个固定的标签,比如”键盘、橘猫、外卖盒”,再把这些干巴巴的标签丢给文本大模型,让它根据标签生成描述。就像你让一个从来没进过你家的人,靠听邻居念的几个关键词猜你屋里有啥,能猜对才怪——它根本看不到猫尾巴炸毛的弧度,看不到键盘上按下去的那个W键,更看不到地毯上那滩正在往下渗的小龙虾汤汁。
现在的多模态大模型,从训练的第一天起,就没把文字、图片、声音、视频分成互不相通的格子。它会把所有类型的信息,全部拆成最小单位的语义碎片——就像你小时候玩的磁力片,不管是印着字的、画着图的、录了声音的块,只要能靠磁力对上,就能拼出完整的意思。

很多人不知道,这种逻辑带来的差别是本质性的。它从训练阶段就打通了不同信息类型的语义通道,不会对着你的视频先列一堆标签再说话,而是真的像人一样,顺着画面的流动去感知细节:能看到猫是被突然飞过去的蟑螂吓了一跳,才乱挥爪子碰到键盘;能看到外卖盒的盖子没扣紧,汤汁正顺着盒缝往下滴;甚至能听到视频里背景音是你上周没看完的悬疑剧片头曲。
我第一次搞懂这个区别的时候,鸡皮疙瘩都起来了。以前你问AI”这张图里的人为什么皱着眉”,老工具只会告诉你”图里有一个皱着眉的人”,现在的多模态模型,对细节的感知是连续的,不是碎片化的标签堆砌,能顺着他手里拿的报告上的数字,猜出来他是看到了本月的水电费账单,跟你自己站在旁边观察到的细节没差多少。
它现在能接住的”碎要求”,比你同事靠谱
别觉得这是啥离你八丈远的高科技。
上周我闺蜜,攒了小半年的旅行照片、写在备忘录里的碎碎念、甚至录了几段当时在民宿写的语音吐槽,一股脑全丢给多模态模型,说”帮我整理成今年的旅行总结,不要太官方,要像我自己发朋友圈的语气,别漏了我在厦门吃沙茶面被辣到的事”。
两分钟,整理完了。连她当时写在照片角落的”今天风太大吹乱了发型”都没漏。
还有个做设计的朋友,之前每次找参考,都要翻几百个网页,存几十张图,现在直接把自己画了一半的草稿拍个照丢进去,说”帮我找三个和这个草稿风格匹配的参考,要带点老上海弄堂的烟火气,不要太洋气”,比他自己在素材网站搜半小时效率高多了。

我自己最近用得最爽的一次,是把去年做项目攒的几十份会议记录、拍的白板照片、甚至录的几段现场讨论的音频,全部丢进去,让它帮我梳理出来整个项目踩过的坑、下次可以优化的点。换以前我得对着这些零散的材料翻整整一个下午,现在十分钟就出了框架。
说真的,我之前对着一堆材料找重点找得眼睛发花的时候,真的想给做这个工具的团队点杯冰奶茶。
别被吹上天的”全能”骗了,它的短板真的很离谱

吹得越凶的东西,越容易摔。
我这俩月用下来,踩的坑真的能列一长串。
上次我把那段30秒的猫踩键盘的录屏丢进去,让它数清楚猫一共踩了多少个按键,它给我数了17个。我自己倒回去慢放数,是23个——它会漏细节,尤其是快速动的画面,经常看漏个一两帧。
更离谱的是上周,我把两张几乎一模一样的键盘照片丢进去,唯一的区别是其中一张把键盘上的”B”键换成了个迷你的巧克力蛋糕。它对着两张图看了三秒,告诉我”两张图片没有任何区别”。
还有那个老毛病,改不了——它会一本正经地胡说。
我上次把楼下流浪橘猫的照片丢进去,问它这只猫是什么品种,它认认真真给我编:”这是英短蓝猫串,性格温顺,适合家养。”我当时对着那只掉了半块耳朵的橘猫笑了半天,合着它连橘猫和英短都分不清楚?
哦对,还有社死那次。我给它看我自己做的咖啡,问它拉花是什么形状,它说”是个很规整的爱心”。我转头就给朋友发消息炫耀我的拉花技术,结果朋友把图放大给我看——那拉花就是个歪歪扭扭的蜗牛,我当时尴尬到想把咖啡杯扣自己脸上。
说穿了,它的短板从来不是”不够智能”,而是对微小差异的敏感度还没达到人的水平。你能一眼看到键盘上换了个蛋糕按键,能分清楚蜗牛拉花和爱心的区别,是因为你在十几年的生活里,已经见过成千上万次类似的场景,形成了本能的感知,但模型对这些微小差异的训练数据,还远远不够。
别神化它。
真的。
那些说它马上要取代所有设计师、文案、剪辑师的说法,本质上和当年说智能手机要取代所有专业相机是一个路数。工具永远是帮你把那些重复的、耗时间的破事干完——比如整理几十份零散的记录,比如数清楚视频里猫踩了多少个按键,比如帮你把拍糊的照片归到对应的旅行相册里——把你省下来的时间,拿去干那些真正有意思的事:比如把桌下漏了的小龙虾吃完,比如给猫买个新的猫抓板,比如对着自己歪歪扭扭的蜗牛拉花笑半天。
作者|科技
排版|科技
审核|小准