大讲堂
上周在张江的一个小行业沙龙，有个做工业质检的老板掏手机给我们看他刚跑通的demo——就用某开源多模态模型，对着他桌上磨得掉漆的旧笔记本外壳拍了张照，三秒就输出了结果：外壳边角磨损程度、三个固定螺丝的松动风险、甚至上次他贴的卡通贴纸残胶会不会影响后续3D扫描的精度。他“啪”地把手机拍在折叠桌上，说这比他们之前攒的三套传统机器视觉系统加起来还好用。
没人接话。在场的人都知道，这玩意要是真能稳定跑，整个工业质检行业的成本结构都要变。
被神化的“全能”，和真实的技术边界
过去两年所有关于多模态大模型的宣传，都在往“全能通用”的方向靠——能看图、能听音、能读视频，好像只要把文本、图像、音频、视频几个模态的训练数据堆进去，模型就直接能看懂整个物理世界了。
差远了。
真正的多模态大模型的核心从来不是模态数量的简单叠加，是跨模态的语义对齐能力——就是当你说出“雨后梧桐道上被踩碎的梧桐叶”这句话时，模型能把句子里的所有感官细节，和它训练过程中见过的几万张雨后梧桐的照片、几百段踩落叶的沙沙声、甚至雨天潮湿空气的文字描述完全对应上，不是靠关键词硬匹配。这一步对齐做不好，所谓的多模态就是个拼装玩具。
但就算是现在头部厂商的模型，离真正的“看懂世界”还差着十万八千里。最致命的短板，是对物理世界的因果逻辑完全缺失。你给它看一张照片：白瓷马克杯放在木桌边缘，一半悬空。它能准确报出所有可见的细节——杯子的颜色、桌子的材质、甚至杯子里还剩半杯温咖啡，但你问它“杯子接下来会发生什么”，它经常会绕到“咖啡的香气会充满整个房间”，完全意识不到“悬空的物体会掉下来摔碎”是基本的物理常识。
还有更现实的能力上限。现在主流模型的视觉输入分辨率最高也就1024*1024，遇到复杂场景就抓瞎：让它数一张全班毕业照里有几个穿红衣服的人，它能数对，但让它把所有穿红衣服的人圈出来，经常漏一半。之前有个朋友给某多模态模型发了张他和猫的合影，让模型写朋友圈文案，模型写了“和我家金毛一起晒太阳”——连猫和狗都分不清楚，你说这能力能直接用到严肃生产场景里吗？
现在的落地，一半是泡沫一半是真金
别信那些发布会上讲的，什么多模态模型能帮你看懂X光片，能帮你做建筑设计，演示视频剪了八遍，真拿到实际场景里用，错漏百出。
去年到今年攒的一堆多模态创业项目，80%的产品跑不过“文本大模型+传统OCR插件”的简单组合。原因很简单：现在多模态模型的推理成本，还是纯文本模型的3-5倍，很多场景根本没必要动用多模态能力。比如做合同审核，把文件转成文字喂给文本模型就行，为啥要花高成本让模型去识别合同的排版、印章的红色？纯纯的浪费钱。
但真金的部分，是那些传统技术啃不动的硬场景。
就像开头那个做工业质检的老板，之前他们做传统机器视觉，每上一个新的产品型号，就要针对每一种缺陷单独打标签、调参数、训练模型，换个产品就要重新折腾两三个月。现在用多模态模型，只要给一句自然语言提示——“找这个外壳上所有直径小于0.5毫米的凹坑，不管在边角还是平面上”，模型就能直接干活，根本不需要针对凹坑单独训练。
还有司法领域的视频证据核验，之前书记员要翻几个小时的庭审录像，找有没有程序违规的片段，现在多模态模型能把录像里的声音、画面、字幕转成统一的语义流，直接搜“被告人有没有被打断陈述”，几秒钟就能定位到对应的时间点。
说实话，我上个月碰到一个做教育硬件的团队，之前砸了两千万做了个专门的错题识别模型，结果今年开源的多模态模型放出来，他们用自己的数据集微调了一下，效果比之前那个专门模型好20%，整体推理成本只有原来的十分之一。那个团队的技术总监跟我喝酒的时候拍大腿，说之前那两千万全打了水漂。
这就是现在行业的真实状态：泡沫在吹，真金也在沉。没有什么技术革命的宏大叙事，就是有人在踩坑交学费，有人在闷声赚产业的钱。
没人愿意提的暗礁
所有做多模态的厂商，在发布会上都不会主动提现在绕不开的三个问题。
第一个是训练数据的版权糊涂账。现在的多模态模型训练时，爬取了全网多少带版权的摄影作品、视频片段、音频素材？之前已经有不少摄影师起诉大模型厂商，说模型生成的作品直接抄了他的构图、光影甚至细节。但直到现在，整个行业都没有统一的裁判规则：模型学了人类几百年的艺术创作，生成的内容版权算厂商的？算原作者的？还是算输入提示词的用户的？全是糊涂账。
第二个是跨模态的安全风险。之前有安全研究员做过测试，给多模态模型看一张藏在普通打印文档里的特殊二维码，模型识别到这个像素级的隐藏指令后，就会跳出之前的安全对齐规则，输出本来被屏蔽的有害内容。这比纯文本的prompt注入风险大太多了——纯文本的攻击你还能靠关键词过滤拦一下，现在人家把攻击指令藏在图片的像素点里，藏在音频的底噪里，藏在视频的帧间隙里，你怎么提前防？
第三个是真实的就业冲击。之前大家聊大模型的影响，说抢的是白领写文案、写代码的岗位，现在多模态模型上来，瞄准的是那些需要“看”和“听”的岗位：基础视觉设计师、初级视频剪辑、工厂里的质检工人、法院的庭审书记员。这些岗位之前大家觉得是AI替代不了的，现在正在被快速覆盖。
未来3-5年的几个判断
我从来不信什么“多模态大模型会催生通用人工智能”的鬼话。它的定位会越来越清晰：就是各个行业的通用感知层基础设施，像现在的电网、5G网络一样，你不会天天跟人吹电力有多厉害，但所有的生产场景都离不开它。
第一个判断，3年之内多模态模型的推理成本会降到现在的十分之一。到那个时候，多模态的应用会像现在的聊天机器人一样普及：你拍一下家里坏了的小家电，模型直接告诉你哪个零件坏了，怎么修；你扫一眼路边的野生植物，模型直接告诉你是什么品种、有没有毒、能不能碰。
第二个判断，2年之内行业强制标准会落地。首先是训练数据的版权溯源要求，所有商用多模态模型必须能说清自己的训练数据来源；然后是跨模态安全检测的统一标准，不能再让厂商自己随便搞搞安全对齐就上线。现在的野蛮生长阶段，很快就会过去。
第三个判断，纯靠多模态概念讲故事的创业公司，90%会在未来两年死掉。真正能活下来的，是那些扎到具体产业场景里，帮客户把成本打下来、把效率提上去的团队。就像开头那个做工业质检的老板说的，他根本不关心模型是不是通用，是不是能陪人聊天，他就关心模型能不能稳定识别缺陷，能不能帮他把质检的人工成本砍一半。
所有的技术最终都要落地到具体的生产场景里。多模态大模型绕了两年的营销噱头的弯，现在终于要走到这一步了。
作者|大讲堂
排版|大讲堂
审核|阿辰