巷口咖啡店里,我突然想明白算力到底是什么

上个月去南京找老朋友叙旧,约在珠江路老巷口的社区咖啡馆。下午太阳斜着往玻璃窗里钻,邻座两个穿连帽衫的男生对着笔记本敲得噼啪响,一口冰美式闷完对着屏幕骂,说跑个7B模型都卡成PPT,这算力怎么就金贵成这样。 我捧着一杯热拿铁坐在对面,突然就想聊聊这个被所有人挂在嘴边,却没几个人说人话讲清楚的词。

别翻百科了,换个角度说算力

所有人都能搜到百科定义,说算力是设备对数据进行处理计算的能力。 说了跟没说一样。 说白了,算力就是你家开火锅店,整个店能同时接多少桌客人,能同时涮多少锅肉,传菜师傅能多快把菜端到桌上。你周末去网红火锅店,排俩小时吃不上,不是你不想吃,是店的承接能力到顶了——这不就是算力不够吗?
城市火锅店周末高峰等位场景
城市火锅店周末高峰等位场景
之前好多年,算力都是躲在超算中心、实验室里的东西,航天算轨道要,气象部门算台风路径要,和普通人八竿子打不着。说实话,直到ChatGPT带火了生成式AI,连小区楼下卖卤菜的阿姨都能跟你扯两句“现在做AI都缺算力”。 很多人以为算力就是芯片快不快,其实不对。算力是一整套链条,从核心芯片,到缓存存储,再到把几千几万块芯片连起来的高速互联线,哪怕其中一个环节慢了一丁点儿,整个系统的效率都会掉一大截。就像刚才说的火锅店,切配师傅刀工再快,传菜的小伙子走路磨磨蹭蹭,照样整桌人等菜吃。

我们缺的到底是哪一种算力

一提缺算力,所有人第一反应就是造不出来高端GPU。这话没错,但真的不全对。 前阵子跟一个智算中心的运维哥们撸串,他喝了三瓶冰啤酒,吐了快一小时槽。说现在好多地方抢着上项目建智算中心,地皮批了钱砸了,机器架起来,结果一大半算力天天空转,另一边无数小创业公司挤破头抢不到够用的算力,还得花大价钱排队等。这哪是缺算力,这是算力错配。 算台风路径需要的算力,和训练大模型需要的算力,根本不是一个路数。你拿给科学计算用的机器跑生成式AI,就像开着重载卡车去比F1,能跑,但速度慢得离谱,油钱还比车费贵。 我们现在真正缺的,是能让成千上万颗芯片一起干活,还能保持数据高速传输不堵车的高密度并行算力。
现代化智算中心GPU服务器机柜实拍
现代化智算中心GPU服务器机柜实拍
很多人问,我自己买一块高端显卡在家跑AI行不行?当然行,跑个小尺寸的画图模型,跑个本地聊天机器人都没问题。你要是想训一个千亿参数的大模型,那得堆一整个仓库的显卡,还得专门拉专线,装工业级降温系统,你家入户电表能不能扛住都是个问题。我上个月闲得慌,在家装了个画图AI,跑了十分钟出图,我家客厅空调直接跳闸了,尴尬得我给物业打电话道歉。 还有人说,大公司有钱,囤了那么多算力,怎么不对外开放?其实大公司自己也不够用啊,天天跑模型迭代,那算力烧起来比烧钱还快,哪有多余的往外放。

热浪潮里,藏着几个没人愿意说的冷问题

热浪潮里,藏着几个没人愿意说的冷问题
热浪潮里,藏着几个没人愿意说的冷问题
现在算力真是太热了,热到什么地步?只要是沾科技边的发布会,不说算力都不好意思开场,只要是产业园招商,不说要建智算中心都引不来商。 不过话说回来,我见过太多凑热闹的,跑过来问能不能拿指标建算力中心,我问他拿算力干嘛,他说别人都建我也得建,有政策补贴啊。合着你一个种有机草莓的,要那么多算力干嘛?算什么时候浇水?一块几十块的开发板就够了啊,犯得着拿几百万堆机器放那儿积灰吗? 最大的误区就是,所有人都觉得算力越多越好,越大越厉害。其实根本不是这么回事,你家三口人,不可能买十个冰箱放家里,放得下也交不起电费啊。 现在除了错配,还有两个绕不开的问题。第一个就是用不起,现在训一次大模型,几十万上百万扔进去连水花都不一定有,很多创业公司融的A轮钱,一半扔给算力租金了,产品还没做出来,钱烧完了,只能关门。现在好多人做共享算力,把各大公司夜里闲置的算力攒起来,低价卖给小团队,其实就是解决这个问题,就像你家车白天停在公司车库,挂出去跑顺风车赚点油钱,大家都划算。 第二个问题,更实在,就是电。一个中等规模的智算中心,一年耗电量顶得上一个常住人口十几万的小县城。现在不少地方抢着建,建完才发现电供不上,夏天用电高峰,拉闸限电先限智算中心,你说逗不逗?所以这两年好多公司都把智算中心往西南水电站边上搬,就是冲着那里富余的清洁水电去的,未来算力再涨,电的问题只会更突出,不可能绕得开。 那天我喝完拿铁要走的时候,邻座那两个男生终于登进了共享算力的账号,凑了几十块钱包了两小时,模型顺利跑起来了,两个人对着屏幕击掌,笑的跟中了五百万似的。 其实算力本来就不该是飘在天上的概念,它就是这么个实在东西,是年轻人把脑子里的奇思妙想落地的台阶。 再过个三五年,说不定算力就像现在的电一样,你要用插个插头就有,不用自己买一堆发电机放家里。那时候,才真的算是算力的时代来了对吧?

作者|科技

排版|科技

审核|满满

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:巷口咖啡店里,我突然想明白算力到底是什么
文章链接:https://www.lfdjt.com/p/keji/a/4165.html