2026-10-12 18:37:26
作者：
科技
上周去朋友家聚餐，他刚摘的隐形眼镜找不到了，翻遍沙发都没影。掏出手机对着桌面拍了一张，对着话筒喊了一句：帮我看看这图里哪有隐形眼镜盒子。
三秒不到，屏幕上直接圈出来一块区域，说在你笔记本左下角，压在快充线下面。
低头一掀，还真在那。
你说神不神。
这不是什么变魔术，就是多模态大模型在给你干活。跟我们之前熟悉的那种只能打字聊天的AI，完全不是一个路数。
它不是“会认图的文字大模型”拼接货
很多人对多模态最大的误区，就是把它当成“图像识别+文字大模型”的拼接，其实核心差异从训练阶段就已经拉开了。
我之前也这么想，不就是先让AI把图里的内容转成文字，再扔给文字大模型处理吗？有什么新鲜的。
直到上个月跟做模型研发的朋友吃烧烤，酒过三巡他给我掰扯明白，才知道差了十万八千里。
举个例子，你拿一张沾了奶茶油、拍歪了的购物小票给他，上面最后一个总价糊得快看不见了，你问他：我这半个月买了四次奶茶，平均一杯多少钱。
要是拼接出来的假多模态，会先做图像识别转文字，糊掉的数字认成啥就是啥，要是把16认成6，算出来的结果直接错一半。
真正的多模态，从训练开始就把不同类型的信息揉在了一起，它理解世界的方式更接近人类。它看这张小票的时候，一眼就知道这是一张消费凭证，上面的字是价格，前面三杯都是15到20之间，那个糊掉的地方，结合位置和笔画痕迹，大概率是18不是8，算出来的结果自然准得多。
多模态大模型统一训练数据结构图
说实话，刚出来那阵我玩早期版本，也笑过场。给它一张猫蹲在浴缸里的图，问它猫在干嘛，它硬说猫在沙发上睡觉。
现在不一样了。上个月我随手拍了一张我家狗偷吃完零食的糊图，嘴角鼓得老高，我问它这狗表情怎么这么奇怪，它直接说：它嘴里应该叼着偷拿的零食，不敢张嘴，所以歪着嘴。
我当时一口水差点喷出来。那图真的糊得连我妈都看不清轮廓。
普通人能摸到的用法，其实已经藏在你手机里了
别觉得多模态大模型是什么大厂实验室里的黑科技，跟你没关系。其实你现在打开你自己的手机相册，说不定已经用上了。
以前你搜相册，要输入准确的关键词，你搜“火锅”，它给你把所有带火锅的图都挑出来，不管你是哪年在哪吃的。现在你试试，你直接输入“去年冬天我在杭州吃火锅的照片”，它基本能给你准确找出来，这就是多模态在后台干活。
它能把文字里的时间、场景、地点，和图像里的内容对应起来，不是死板的关键词匹配。
还有现在很多人报销，拿到发票直接拍一张，对着AI说“帮我把发票信息整理成公司要求的报销模板，核对一下总金额对不对”，一分钟搞定，不用自己一个数字一个数字敲，省了多少麻烦。
手机相册多模态搜索场景实拍
不过话说回来，现在坑也真不少。
我刷短视频看见不少人卖“多模态AI赚钱项目”，报名费大几百上千，说跟着做一天赚两三千，进去才发现，就是把好几年前的AI识图换了个包装，忽悠不懂的小白。
还有一帮自媒体吹，说多模态马上就要替代设计师替代摄影师了，扯吧。它能给你拼素材凑文案，但是那种带情绪的、专属于人的东西，它根本摸不准。我上次让它帮我做一张给奶奶的生日图，给了奶奶的旧照片，说要突出她爱跳广场舞、喜欢红颜色，它给我把奶奶的脸P成二十岁，还堆了一堆闪瞎眼的特效，什么玩意。
它能看懂形，看不懂情。这一步还差得远。
接下来的改变，不会是天翻地覆，只会润物细无声
接下来的改变，不会是天翻地覆，只会润物细无声
现在打开科技媒体，全是“多模态颠覆世界”“奇点即将到来”的标题，看得人慌得不行，好像明天起床所有工作都被AI抢了。
我倒是觉得，接下来多模态给我们生活带来的改变，都是藏在细节里的，你甚至都不会特意想到“哦这是多模态”，它就变成了你习以为常的功能。
比如以后你买沙发，不用等着设计师上门量房，你对着你家客厅拍一张，说“我要放一张三人位的沙发，预算三千以内，什么颜色配我这浅灰的墙，你给我看看摆进去是什么效果”，它直接给你出图，还能给你列符合预算的选项，省了多少事。
比如家里老人不会用新出的智能电视，找不到中央一台，不用给子女打视频远程教，对着电视拍一张，说“我想看新闻联播，你教我点哪”，它直接给你在图上圈出来，一步一步说，多简单。
人本来就不是只靠文字交流的啊。我们平时随手拍一张图，随口说半句话，本来就是图文声音混在一起的，之前的AI非要逼着你把所有东西都拆成整整齐齐的文字，才能跟它交流，这本来就是反人性的。
多模态大模型把这个掰回来了而已。它让AI顺着人的习惯来，不是让人顺着AI的习惯来。
当然现在还有毛病，太吃算力，网不好的时候卡半分钟，等它反应过来我都自己找到钥匙了。不过现在大家都在做端侧的多模态，就是把模型变小，能直接在你手机上跑，不用传云端，再过两年，说不定千元机都能用上这个功能。
说实话，这些年我见过太多吹得天花乱坠的新概念，炒半年就没影了，什么元宇宙Web3，留下一地鸡毛。但是多模态我觉得不一样，它是真的切中了用户最实在的需求，真的能帮你省时间，解决那些以前解决不了的小麻烦。
就像找隐形眼镜这件事，事很小，但你用过一次，就知道它真的有用。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：能看懂照片帮你找钥匙的多模态大模型，到底是什么
文章链接：https://www.lfdjt.com/p/keji/a/9336.html