2026-10-07 23:23:53
作者：
科技
昨晚蹲直播抢换季卫衣，刷到一个全程没真人出镜的直播间。数字人主播站在衣架前面，评论区有人刷“170穿哪个码”“有没有蓝色的链接”，它几秒钟就对着镜头念出来，还伸手点到对应的商品卡上。甚至有人发了张自己拍的上身图问“配我这条卡其色裤子会不会撞色”，它居然真的能对着图说，饱和度相近，换深灰会更稳。
我当时就把手里的橘子放下了。这放在几年前，想都不敢想对吧？
原来它不是在“分别干活”，是真的能“一起想”
早些年我们接触的AI，大多是单模态的。处理文字就只处理文字，识别图片就只识别图片，各干各的，互不打扰。
比如你早年给AI发一张图，再问它问题，本质上是AI先把图片里的内容转成一段文字描述，再把这段描述丢给文字大模型去回答。中间这道转译的工序，就已经丢了大半细节。你问“这只猫戴的耳机是什么颜色”，转译出来可能只有“图里有一只猫和一个耳机”，压根没提取到颜色信息，回答自然错得离谱。
多模态大模型不一样。它从训练一开始，就把文字、图像、语音、视频这些不同格式的信息，转换成同一维度的特征，放到一块学习。不需要中间转译，也不需要不同模块分工对接。
它能直接把你说的话，和你发的图里的具体内容对应起来，不会错位，也不会丢信息。你说“桌子上那个红色的杯子”，它一眼就能找到图里哪个是红色杯子，不会把红色苹果当成杯子。
原生多模态大模型信息处理流程示意图
说实话，很多人对多模态的理解还停留在“既能聊天又能画图”，这其实不对。那叫能力叠加，不叫多模态。能听懂你说话的同时看懂你指的东西，能把不同感官的信息揉到一块理解，才是多模态真正的核心。
市面上一半的“多模态”，都是换皮货
概念火了，蹭热度的自然就来了。我前两年帮朋友看项目，碰见过好几个号称做多模态的团队，聊下来发现，本质就是把现成的图像识别API、语音识别API，接在开源文字大模型外面，拼拼凑凑就敢叫多模态产品卖钱。
我当时拿了一张带裂的玉镯图考他，问“这个镯子值八千吗”，他跟我扯了五分钟和田玉的等级分类，愣是没看见图里那道快把镯子分成两半的裂。后来才坦白，就是图像识别把图转成文字“玉镯”，再让文字大模型聊玉镯价格，根本没把图的细节和问题融到一块。
拼积木拼出来的多模态，遇到需要交叉关联的模糊问题，直接歇菜。
不过话说回来，也不能全怪厂商蹭概念。真训练一个原生多模态大模型，成本真的太高了，数据量、算力要求都比单模态高好几个量级，小团队根本玩不起。蹭热点换皮，也符合资本逐利的调性。
普通用户其实很好区分，你只要出一道“跨信息对应”的题就行。比如发一张你自己的手机桌面截图，问它“帮我指一下我昨天没关的那个购物软件”，拼出来的模型只会跟你列桌面上有哪些APP，原生多模态能直接对应你说的“昨天没关”就是那个挂在通知栏的，直接给你标出来。
拼接式多模态与融合多模态效果对比图
我测过不下十款产品，真能过关的没几个，大多都是驴唇不对马嘴。大家下次再看见有人吹自家产品是多模态，就这么试，一测一个准。
离我们最近的多模态，不在对话框里在菜场
离我们最近的多模态，不在对话框里在菜场
现在打开科技新闻，全是说某某实验室推出了新的多模态大模型，能聊天能画图能生成视频，搞得好像多模态就是给白领写PPT、给设计师画图用的。
其实我上个月去南京逛社区菜场，才发现最先落地的多模态，早就藏在这种烟火气的地方了。入口处的水产摊摆了一台智能收银机，摊主把梭子蟹往台子上一放，机器直接认出是梭子蟹，自动对应好价格称重。旁边阿姨说“帮我去掉绳子再称，再给我切一半”，机器听得懂，也能看见绳子在哪里，自动去皮之后切分称重，全程没要摊主动手，摊主只要装袋收钱就行。
摊主阿姨跟我说，原来旺季忙的时候，她一个人顾着称还要顾着回答问题，喊得嗓子哑，现在机器都搞定了，她一天能少站两个小时。你看，这才是多模态真正有用的地方，它不是实验室里用来秀技术的玩具，是真的能帮普通人省力气的工具。
很多人炒概念说多模态马上就要取代一大堆工作，其实我倒不这么看。它现在能搞定的，都是有明确边界的场景：菜场收银、直播间互动、自助收银台的商品识别，这些规则清晰、重复度高的活，它能做得很好。真遇到需要灵活判断的事，还是得人来。
就说那个AI直播间，主播要是真遇到有人问“我胳膊粗能不能穿这件”，它能给你说一堆标准数据，但是只有真的卖过衣服的主播，才会跟你说“这件肩线宽，你胳膊粗放心拍”，这种带经验的判断，多模态现在还学不来。
昨天我又刷到那个AI直播间，看见有人发了个狗头表情问“主播你真的是人吗”，数字人笑了笑说“你猜，猜中了给你发五块钱优惠券”。
你看，多模态大模型早就悄悄站在你刷的每一条信息流里，蹲在你家楼下的菜场里，不用等遥远的未来，你今天出门买菜、刷短视频，就已经能碰见了。它没那么神，也没那么玄，就是一个正在慢慢帮我们省力气的新工具罢了。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：你逛的AI直播间，藏着多模态大模型的秘密
文章链接：https://www.lfdjt.com/p/keji/a/7597.html