端侧AI多模态实时感知:不是算力问题,是场景问题

全区域开放无人配送的烂摊子

2026年春天,美团把北京朝阳区五环路以内全部开放给了自营无人配送车,本来是行业大新闻,结果半个月下来,客服接到的投诉比过去一年还多。八成投诉都是「车好好走着,突然就停在路中间不动了」「等了十分钟,车还没反应,我自己拿了就走」。

有人去扒后台日志,发现百分之九十以上的异常,都不是大模型识别错了,是等云端返回结果的时候,超时了。就是这么半秒,毁了一单生意,也戳破了行业原来吹的「云端大模型赋能全场景」的泡沫。这个超时的坑,本质上就是端侧AI多模态实时感知没跟上,大家都把宝压在云端大模型的高准确率上,忘了终端这最后半秒才是决定生死的。

当前行业主流的云端调度方案,端侧只做数据采集,识别全放云端,准确率比纯端侧方案高不到6%,但平均延迟是纯端侧的14倍——相当于你在山区移动网刷4K,和在客厅连千兆wifi的速度差。而城市道路里,行人突然变道、电动车突然拐出来,留给系统决策的窗口只有不到30毫秒,超过这个时间,再准的识别都没用。

很多人说,不就是算力不够吗?把端侧算力堆上去不就完了?哪有这么简单。真要把所有多模态数据都放在端侧处理,功耗先扛不住,手机撑不过半天,无人车电池要多装三分之一,成本直接飞起来。

2026北京朝阳区美团无人配送车路测实拍
2026北京朝阳区美团无人配送车路测实拍

云端派和端侧派的隐形战争

说实话,我最早听到端侧AI多模态实时感知这个概念,以为就是厂商炒新概念圈钱,直到去年跟地平线的一个老朋友吃饭,才算把这里的账算得明明白白。

现在一万台无人配送车,要是都用云端方案,每个月每车的算力加存储成本大概是1200块,一年就是一万四千四。而换成熟的端侧多模态感知方案,硬件BOM成本只多800块,一年下来省一万四千四的云费,六个月就能收回额外成本,这个账傻子都能算对。

本土玩家的动作其实比大家想的快得多。影石Insta360新出的旗舰运动相机,端侧实时做多模态主体识别,第一人称跑步拍的素材,三秒就能剪出跟拍主体的成片,原来放云端剪要十分钟,还得等联网,用户体验差了不止一个量级。OPPO去年推出的旗舰手机,端侧就能实时做语音加画面多模态搜索,不用联网就能搜你相册里上周吃的火锅照片,速度快到根本反应不出这是AI在干活。

这里哪是什么技术路线选择,本质就是商业模式的隐形博弈。做云服务的互联网大厂,当然希望所有算力都放云端,按流量收费躺着赚钱,端侧起来了,我的云收入哪里来?所以你看,前两年大厂吹云端大模型吹得最凶,现在提端侧都是遮遮掩掩,说白了就是既得利益绑死了,迈不开步。

地平线征程6端侧AI多模态芯片晶圆实拍
地平线征程6端侧AI多模态芯片晶圆实拍

其实这个逻辑放在生物进化里早就说通了:高等动物的条件反射都放在周边神经,不会什么事都上传给大脑处理,遇到烧手的杯子,等大脑反应过来,皮都烫掉了。端侧AI多模态实时感知干的就是条件反射的活,云端只需要处理那些真正需要复杂决策的事,别什么活都抢。这个方向我认为原来云端派就是走偏了,什么都往云端塞,本质就是赚easy money赚习惯了,不想碰硬件的硬骨头。

产业链上每个人都要面对的转向

产业链上每个人都要面对的转向
产业链上每个人都要面对的转向

不要觉得这只是头部厂商玩的游戏,跟普通从业者没关系,变化早就传到产业链最末端了。我认识一个在深圳做算法的小伙子,原来在大厂做云端大模型调参,去年被裁了,自己开了个十平方的小工作室,给本地的餐饮商家做智能迎客屏,端侧实时识别进店客人的年龄、情绪,推荐对应的菜品,不用联网,不用给云厂商交年费,一套设备卖两千块,比原来给大厂打工赚的还多。

他跟我吐槽,原来做云端方案,三成营收都交了云服务费,相当于给云厂商打工。现在端侧芯片的开发板几千块就能搞定,预训练好的多模态模型开源一大把,改改适配场景就能用,小团队也能玩得转,不用再看大厂脸色。

对普通算法工程师来说,原来只会调参就行,现在必须得懂端侧模型裁剪,懂芯片的功耗墙,懂怎么把百亿参数的模型压缩到几个GB还能保持识别准确率,不会这套的,今年找工作都要矮一头。对上游做硬件的来说,原来卖芯片就是堆算力参数,现在要给多模态感知做专门的硬件加速,原来ISP芯片只管处理图像,现在要融合语音、毫米波雷达的数据一起做端侧预处理,卖价直接翻了一倍,日子好过多了。

不过话说回来,这里也有割韭菜的坑。很多厂商为了吹概念,把本来不需要端侧处理的功能也硬放上端侧,硬生生把设备价格抬了三成,用户用脚投票,卖不动活该。很多人把这个技术吹得玄乎,其实说白了,核心就是一句话:该在本地解决的问题,别往云端扔,用户要的就是开门就能用,网断了也能用,不会关键时刻掉链子,就这么简单。

当所有感知数据都在端侧完成处理,不用上传云端,原来靠收集用户数据赚钱的生意,该去哪里找下家?

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:端侧AI多模态实时感知:不是算力问题,是场景问题
文章链接:https://www.lfdjt.com/info_23_15615.html