科技 第29页

离线计算:那些被实时计算掩盖的硬核真相-大讲堂

离线计算:那些被实时计算掩盖的硬核真相

我盯着监控面板上那条平稳得像死人的延迟曲线,突然想骂人。大家都在追实时计算,Flink、Spark Streaming,搞得好像延迟100毫秒就活不下去一样。但真正支撑公司报表、推荐、风控的,恰恰是被看不起的离线计算。今晚不聊概念,直接拆骨...

流批一体?这玩意儿正在吃掉你的数据架构!-大讲堂

流批一体?这玩意儿正在吃掉你的数据架构!

我刚从一场数据基建的吵架现场出来。流处理派骂批处理是恐龙,批处理派冷笑流处理是玩具。但没人注意到,隔壁的制造业大佬已经靠流批一体把库存周转天数砍了三分之一。真讽刺,最该拥抱变化的人还在内耗。这世道,不主动革自己的命,别人就会来革你的命。 为...

大数据平台深度解析:从调度器到内存管理的底层博弈-大讲堂

大数据平台深度解析:从调度器到内存管理的底层博弈

先说结论:跑在大数据平台上最贵的不是CPU,是数据在被算之前走过的距离。我做了一个 40 节点的压测,1.6TB 数据,跑全量去重和聚合,CPU 利用率只有 34%,而网络 I/O 在整个运行期都顶在 91%。 我们常常为了 executo...

数据集市:一场被低估的暗战-大讲堂

数据集市:一场被低估的暗战

说实话,当我看到“数据集市”这词儿,第一反应是“哦,这不是1990年代的老古董吗?” 但等等。2025年的数据集市,早就不是那回事了。 全球供应链的断点越来越多。宏观经济的不确定性,让每一块利润都变得珍贵。而数据,正在从“资产”变成“弹药”...

数据仓库硬核拆解:列式存储、向量化执行与落地陷阱-大讲堂

数据仓库硬核拆解:列式存储、向量化执行与落地陷阱

我做过一次很丢人的压测。用ClickHouse跑TPC-H 1TB基准,一个简单的group by查询,3秒出头。同一个查询扔给MySQL,跑了2分半,我当时就懵了。一开始我不信,以为是MySQL没调优。但调优之后还是差了一个数量级。后来我...

数据湖:一场正在发酵的全球供应链军备竞赛-大讲堂

数据湖:一场正在发酵的全球供应链军备竞赛

数据湖这词,都快被人说烂了。但我告诉你,真正看懂它的人,不超过10%。为什么?因为大多数人还在把它当存储,当工具。而真正的玩家,已经在用它重构全球供应链。为什么是现在?因为数据主权已经变成一种新的地缘政治筹码。你想想,当供应链每个节点都在产...

归档存储:冷数据也有脾气,聊聊底层那点事-大讲堂

归档存储:冷数据也有脾气,聊聊底层那点事

做存储的是不是都有点那种……囤积癖?热数据当宝贝供着,冷数据就扔墙角。结果呢?成本炸了,合规还追着你要审计日志。归档存储,看着不起眼,其实是真正在跟物理世界较劲的东西。 一、磁带没死,它只是换个姿势当老大 别一听到磁带就想到老式录音机。LT...

冷热分离:一场正在发生的供应链权力重组-大讲堂

冷热分离:一场正在发生的供应链权力重组

全球供应链正在得一场’冷热分离’的病。不是比喻,是字面意思。热意味着高频、紧急、要快;冷意味着低频、长尾、可以等。以前大家都混在一起,用一仓大杂烩。现在?混不下去了。为什么?因为需求变得又碎又快,你还用同一种节奏去备...

存储分层:从缓存到QLC,那些你以为的“热”往往不是真的热-大讲堂

存储分层:从缓存到QLC,那些你以为的“热”往往不是真的热

说实话,存储分层这词儿,搁十年前还是极客圈的黑话,现在呢,每家云厂商都在喊……但喊得多不等于懂的多。 先别急着上架构图。懂行的都知道,分层这事儿玩的是延迟差。DDR4内存延迟80纳秒,NVMe固态盘呢,80微秒,再往下,SATA机械盘——哎...

竞价实例:一场被低估的算力军备竞赛-大讲堂

竞价实例:一场被低估的算力军备竞赛

别跟我提什么云上省钱的事,那都是表象。 竞价实例这玩意儿,说白了就是云厂商把闲置的算力拿出来,用游戏规则收割你。你抢到临时便宜货,他盘活死资源。谁赚?反正巨头们心里门儿清。 现在是什么节点?全球算力紧张到窒息,GPU一卡难求。大模型训练把A...