大讲堂的文章

一说缓慢变化维度，很多人脑子里蹦出的是SCD1、SCD2、SCD3那三张PPT。然后呢？然后就没有然后了。今天我不想讲那些能被搜索引擎瞬间吐出来的表层概念，直接扒开它的内脏，看看这家伙骨子里到底是什么。 一、坐标轴视角下的SCD本质，它根本...

维度表，这玩意听起来像是数据仓库的边角料。但这两年，它成了全球供应链的兵家必争之地。为什么？因为数据驱动的决策，正在从“看报表”变成“实时作战”。而维度表，就是那个决定作战地图精度的东西。 等等，别急着划走。我知道你想说什么。维度表不就是那...

今天不聊概念，直接拆一件让人又爱又恨的东西——事实表。先说个故事：前两年我在一家电商公司做数仓重构，线上遇到一个诡异的问题：一个统计销售金额的报表，每天凌晨跑一次，每次全量扫订单表。当时明明已经建了索引，可查询还是慢得让人崩溃。后来我查了一...

说实话，我盯维度建模这破事已经十年了。这玩意儿听起来像是上世纪的数据仓库老古董，但看看吧，2025年的供应链一塌糊涂。谁的库存数据能见度足够深，谁就能在贸易战里活下来。维度建模？它才是那个藏在仓库里的战略核按钮。 你问为什么是现在？因为数据...

先说个事儿。上周帮人救火，他们的数仓查询慢到怀疑人生，点一次报表要等泡杯面。打开他们的建模文档一看——好家伙，纯纯的ER图，第三范式，每一个外键都恨不得建索引。我当场就想摔鼠标！数仓建模不是给你画学术论文插图用的，它是跟硬件存储做搏斗的技术...

以前我们总觉得批处理就够了。够个屁。 等你对手靠实时计算把风控延迟从小时压到毫秒，你脑子里还在跑昨天的数据报告，慌不慌？这不是技术选型，这是生存问题。 为什么是现在？因为供应链的痛，已经掐到喉咙了 一个集装箱在海上漂着，延迟一天，整个产线就...

我盯着监控面板上那条平稳得像死人的延迟曲线，突然想骂人。大家都在追实时计算，Flink、Spark Streaming，搞得好像延迟100毫秒就活不下去一样。但真正支撑公司报表、推荐、风控的，恰恰是被看不起的离线计算。今晚不聊概念，直接拆骨...

我刚从一场数据基建的吵架现场出来。流处理派骂批处理是恐龙，批处理派冷笑流处理是玩具。但没人注意到，隔壁的制造业大佬已经靠流批一体把库存周转天数砍了三分之一。真讽刺，最该拥抱变化的人还在内耗。这世道，不主动革自己的命，别人就会来革你的命。 为...

先说结论：跑在大数据平台上最贵的不是CPU，是数据在被算之前走过的距离。我做了一个 40 节点的压测，1.6TB 数据，跑全量去重和聚合，CPU 利用率只有 34%，而网络 I/O 在整个运行期都顶在 91%。 我们常常为了 executo...

说实话，当我看到“数据集市”这词儿，第一反应是“哦，这不是1990年代的老古董吗？” 但等等。2025年的数据集市，早就不是那回事了。 全球供应链的断点越来越多。宏观经济的不确定性，让每一块利润都变得珍贵。而数据，正在从“资产”变成“弹药”...