2026-09-27 06:52:55 分类：正文
上周六0923，南京入秋，刮了点小风，我挤在南博民国馆的人缝里，脚酸到抬不起来。掏出手机拍了张面前卖桂花糖粥的老摊子，随手丢进了最近玩的多模态大模型里，本来就是随便试试。
结果你猜怎么着？它不光认出了摊子上的蓝花布幌子，还说出了糖粥摊子旁边墙根那个不起眼的铜油灯是民国时期南京常见的行路照明器具，连糖粥摊老板围裙上补的那块补丁，都能扯两句当年南京纺织业的遗存。
我当场就坐台阶上玩了半小时。哦，原来之前我对这东西的误解，全错了。
别被名词唬住，多模态大模型就是会“看”会听会唠的多面手
很多人一听到大模型，就只想到敲字聊天的机器人，对吧？说白了，单模态大模型就只认文字，你给啥都得转成文字它才懂。多模态不一样，它从训练开始就接触了图文音频好几种类型的数据，它能直接看懂你拍的图，听懂你录的音，甚至能对着一段手写的草稿给你顺逻辑，不用你费劲转成规范的文字。
单模态多模态大模型输入输出对比示意图
说实话，我之前也觉得这就是厂商炒出来骗投资的概念，不就是能传个图片嘛，十几年前的识图软件都能做。直到这次南博的经历才反应过来，这根本不是一回事。
普通识图工具只能告诉你“这是一个卖粥的摊子”，最多给你跳几个同款商品的链接。多模态大模型是能顺着图里的每一个细节，把信息串起来跟你聊。我当时接着问它，“民国时候吃一碗这种糖粥要多少钱”，它直接结合当时南京的物价水平，给我说出了大概的换算，还说当时学生逛新街口，一碗糖粥就是顶配的下午茶，不是那种搜搜百科复制粘贴的干巴巴内容，是顺着我给的图延伸出来的回答。
我踩过坑的两个误区，今天摊开说
第一个误区，好多人觉得“多模态大模型就是把图像识别和文字大模型拼一块儿”。真不是。拼出来的那种是“拼接货”，流程是先让图像模型把图转成文字描述，再把描述丢给文字大模型生成回答。中间转一道手，多少细节就没了，就说我那天看到的那块补丁，图像模型根本不会把它写到描述里，自然也就不会有后面的内容。原生多模态是真的把图文当成同一种信息来学，它知道图里哪一块颜色对应哪个概念，不用转手。说白了，拼接的是别人帮你看了转告你，原生多模态是它自己亲眼看见了跟你唠。
第二个误区，好多人觉得这东西就是给网友玩梗P图、写网红文案的，没什么实际用处。我之前也是这么想的，直到跟做考古的师兄吃饭，听他说他们所里现在已经在用多模态大模型整理残陶片了。古代陶片碎得拼不起来，上面的纹饰残了一半，以前年轻学者要翻好几天的出土文献，比对几十件同类型文物才能出个初步推测。现在拍个照丢进模型，几个小时就能出好几个方向的推论，省下来的时间能多整理好几箱文物。
考古工作者用多模态大模型分析残陶片工作照
当然，最后拍板的还是人，模型不会替你写论文，但它把原来要花几个星期的信息整理工作，压缩到了几天甚至几个小时，这就是真真切切的进步。
最惊喜的不是黑科技，是它往烟火气里钻
最惊喜的不是黑科技，是它往烟火气里钻
我这段时间观察下来，多模态大模型最棒的改变，其实是把AI的门槛给拉低了。原来用AI，你得琢磨怎么写“精准提示词”，你描述的稍微模糊一点，它就答非所问，累死个人。现在不一样啊，你说不清楚的，直接拍个照丢进去就行。
我在菜市场见过卖菜的阿姨，挖了一筐不认识的野菜，怕有毒，直接拍个照问多模态模型“这个能吃吗”，几十秒就出结果，比翻图文鉴快一百倍，也不用费劲描述“叶子是锯齿形，开小黄花”这种话，太省事儿了。我自己出门玩，看到好看的花不认识，也是直接拍，不用搜半天。
不过话说回来，它现在毛病也不少。上次我拍了张我家楼下模糊的卤鸭店，它硬给认成了北京烤鸭，还扯了一堆果木烤鸭子的做法，错得离谱。还有时候我拍个手绘的草图，它理解错我的意思，给出来的东西八竿子打不着。
没办法，本来就是正在发展的东西，哪能没毛病。
现在网上一堆人喊，说多模态大模型要取代这个取代那个，我听完只想笑。它就是个工具啊，就像当年搜索引擎出来，有人说要取代图书馆，现在呢？图书馆照样人满为患，搜索引擎也天天用，本来就是互补的。多模态也一样，它帮你省了找信息、认东西的时间，但是真要做决策、做研究，最后还是得你自己来。
昨天我收拾沙发，扫出来一个掉进去半年的小绒球，我都忘了这是啥，拍给多模态模型，它说“这是你三年前买的猫抓球，你家猫小时候最爱啃这个，边角已经咬秃了”，我翻了下淘宝购买记录，还真对。
你说神奇不？那些你自己都忘了的生活小细节，它能从一张模糊的照片里帮你挖出来。这大概就是多模态大模型最有意思的地方，它不是躲在实验室里的高高在上的黑科技，它已经钻进了我们逛的博物馆、菜市场，钻进了我们的日常里，帮你干点小事，找点小乐子。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：我用多模态大模型逛了趟南京博物院，发现它根本不是你想的那样
文章链接：https://www.lfdjt.com/p/keji/a/3652.html