逛了三天南京AI展,我看懂了多模态大模型到底能干嘛

上周赶了0923南京的AI展,挤了三天,鞋都磨破了半块。印象最深的不是什么花里胡哨的发光展台,是入口处那个不起眼的体验区,围了一圈人,我凑进去看,一个穿汉服的小姑娘举着刚拍的合照对着手机说:“把背景的路人p掉,给我换成灵谷寺的银杏,再做一张带题字的明信片,题字要我手写的这个样子。”她把手机壳背面自己写的“秋兴”两个字对着镜头晃了晃。 十秒不到,成片出来了。站在我旁边的大爷都掏出了自己包里的书法作品跟着试。这就是大家天天说的多模态大模型,不是飘在顶会论文里的陌生概念,是拿起来就能用的日常工具。

别翻百科了,我给你说句实在话

网上搜定义,一堆人给你说“能够处理文本、图像、音频、视频等多种模态输入输出的大模型”,听着跟没说一样。 换个说法:原来你用AI,得找对门。想聊天找聊天AI,想画图找绘图AI,想转语音找语音AI,门儿都不能走错,走错了它啥也不会。现在的多模态大模型,就相当于给你开了个敞亮的大客厅,你不管带什么东西进来,说什么话,它都能放在一起懂。 你拿一张皱巴巴的手绘图,边上歪歪扭扭写了一行字“给我家柯基在这里加个狗窝,要原木风”,它既能看懂图的布局,也能看懂你写的要求,直接给你出图,不用你先把文字转一遍,再把图转一遍,倒好几手。对不对?
南京AI展多模态大模型互动体验区
南京AI展多模态大模型互动体验区
原来我帮我朋友改简历,她把简历手写拍了照,还在边上写了好几个修改意见,原来我要先把文字抠出来,再对着改,现在扔给多模态,一句话的事,直接出排版好的电子版。省了我半小时,喝杯冰奶茶不好吗?

真多模态和假多模态,差了不止一个级别

现在到处都在说自己做多模态,说实话,十个里面有七个是假的。什么是假多模态?就是把几个不同的AI拼个外壳,你传一张图,它先调用图像AI把图转成文字,再把文字扔给聊天大模型处理,最后再调用绘图AI出结果,说白了就是搭了个流水线,不是真的一个大脑处理所有信息。 这种用起来什么感觉?就是你说的话它经常理解错,你给的图它漏信息,反应还慢,转半天出个垃圾结果。 真多模态是什么样的?它是所有信息一起喂给同一个模型,一起分析理解。比如你给它看一张拍糊了的工厂设备照片,说“你对比这张标准设计图,帮我找一下焊缝不对的地方,出个维修步骤”,它能同时看懂两张图的内容,也能看懂你提的要求,直接给你输出结果,不用中间转好几道。
多模态大模型对比工程图纸识别焊缝示例
多模态大模型对比工程图纸识别焊缝示例
我在展上碰到一个做设备维修的师傅,他说原来他们跑现场,拍了问题照片,要传回公司找图纸找工程师核对,少则半天多则一天,现在现场拍了发进去,十分钟就能出结果,很多小问题当场就能修,不用等客户第二天再来。这才是真的改变了干活的方式,不是摆出来看的花架子。 很多人说,多模态不就是AI聊天加AI画图吗?早就有了啊。不对,原来的是两张皮,现在的是一颗心,差远了。

我逛完展,最想说的一句掏心窝子的话

我逛完展,最想说的一句掏心窝子的话
我逛完展,最想说的一句掏心窝子的话
刚出来那会,一堆人喊,多模态要取代设计师了,要取代摄影师了,要取代文案了。我逛完三天展,反而觉得,哪那么快。 我自己试了不下十个不同的多模态产品,让它给我把我拍的外滩夜景改成赛博朋克风格,出来的图,东方明珠塔能给我分成三个,广告牌上的文字都能给我融成马赛克。你说这种能取代谁? 它现在最厉害的地方,是帮你省掉那些重复的、搬砖的活。原来做一条短视频,你要写文案、找素材、剪字幕、配bgm,开四个软件,折腾大半天。现在你把你拍的十几段素材扔进去,说我要做一条三分钟的秋日露营vlog,配点轻松的音乐,加字幕,把不好看的片段剪掉,它二十分钟给你出初稿,你只要微调一下就能发。原来大半天的活,现在十几分钟搞定,它是帮你省出时间去想内容,去拍更好的东西,不是抢你饭碗。 不过话说回来,现在这个阶段,真的要擦亮眼睛。很多公司拿拼接的假多模态出来圈钱,吹得天花乱坠,卖好几万一套,其实用起来还不如官方的免费体验版好使。别听别人吹概念,你自己上去试一次就知道了,你就传一张带手写文字的图,提一个跨内容的要求,能顺顺当当做对的,才是真东西。 我那天出展馆的时候,坐在台阶上吹晚风,想了挺多。我们这两年接触AI,每次出来一个新概念,就一堆人喊“颠覆了”“革命了”,其实哪那么多一夜之间的颠覆,多模态大模型说白了,就是让AI用起来更顺手了,原来你要绕好几个弯才能做成的事,现在直接说一句话就能做,仅此而已。 它是个好工具,能帮我们省很多时间,但是至于那些说马上就要有通用人工智能,马上就要取代人类的,都是瞎扯。你让它给你烤一盘曲奇试试?它还不是得靠你自己动手。对不对?

作者|科技

排版|科技

审核|柚子

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:逛了三天南京AI展,我看懂了多模态大模型到底能干嘛
文章链接:https://www.lfdjt.com/p/keji/a/4412.html