数仓建模:从纸上规范到业务落地的变形记

很多做大数据的朋友聊天,一提到数仓建模,十个人有八个会皱眉头。 有人花了大半年搭完企业级模型,业务方说我要的数据还是拿不出来。 有人照搬大厂的总线架构,中小公司半年业务换了三茬,模型还没迭代完。 这个行当,早就被玩成了玄学——仿佛模型不够规范,就是数据团队能力不行。

被神化也被曲解的核心逻辑

很多新人刚接触数仓,上来就学三范式、星型模型、雪花模型,记了一堆概念,还是不知道为啥要建模。

数仓建模的本质,从来不是画漂亮的ER图,而是给海量业务数据做「分工」——哪些数据放哪里,谁能用,怎么关联,最终目的是让要数据的人能快速拿到能用的东西。

早在上世纪八十年代,数仓建模的两套底层框架就定了:Inmon的范式建模走的是「先整体后局部」,整个企业统一建模,减少数据冗余,适合当时存储贵得要命的年代;Kimball的维度建模走的是「先业务后整体」,面向分析场景做星型模型,拿数据快,学习门槛低。

这两套框架用了几十年,到今天还是基础,但很多人搞错了技术边界:建模没有绝对的对错,只有适合不适合。

数仓维度建模星型模型示意图
数仓维度建模星型模型示意图

说白了,当年定规则的时候,整个行业的痛点是存不起,所以要挤干每一点冗余。现在呢?云存储一TB一年才几十块钱,冗余个百分之几十,根本花不了几个钱。原来的核心矛盾早就变了。

落地的真问题:被忽略的隐性成本

说实话,我见过不下十个死掉的数仓项目,问题根本不是技术不够先进,全都是栽在过度建模上。

去年跟一个互联网创业公司的数据负责人聊天,他们融了钱之后,从大厂挖了个数仓专家,上来就要做企业级统一建模,光梳理统一商品维度就花了四个月,等模型上线,原来要做的直播电商业务都换了方向,新业务要的维度,原来的模型根本不支持,推倒重来又花了三个月,硬生生把业务的窗口期给耽误了。

这种事儿真不是个例。现在行业里有种歪风,仿佛不做统一建模,不搞总线架构,就是野路子。可你算算账:一个建模项目投入三个人,做半年,人力成本几十万,搭出来的模型只有数据部门自己觉得好看,业务方要用个数据还要等三天排期,这成本谁扛得住?

不过话说回来,完全不建模也不行。很多小公司上来就堆宽表,用了两年,几十个宽表改来改去,最后谁也不敢动,牵一发动全身,数据分析全靠猜,这也是灾难。

绝大多数数仓建模方法论,都默认业务是稳定的,而实际产业里,业务永远在变。大公司业务稳定,投入得起人力做统一建模,那没问题;中小公司业务半年一变,你上来就要做十年规划的模型,那不找死吗?

湖仓一体数仓建模分层架构图
湖仓一体数仓建模分层架构图

说到治理问题,这里还要提一个容易被忽略的风险:过度标准化带来的创新压制。很多数据部门为了模型的一致性,要求所有新业务必须适配现有模型,很多新的业务场景,为了符合模型规则,硬生生改了数据统计逻辑,最后出来的分析结果根本反映不了真实业务情况,反而把业务带偏了。

未来三年:建模会往哪去?

未来三年:建模会往哪去?
未来三年:建模会往哪去?

我跟不少数仓厂商的产品负责人聊过,大家的共识很一致:数仓建模正在从「重预定义」往「轻量动态」转。

第一个变化,基础建模工作会被自动化吃掉。现在大模型已经能做到,你把业务需求说清楚,自动生成符合规范的表结构,自动梳理维度和事实,甚至能帮你把血缘理清楚。未来三年,大部分中小公司的基础建模工作,根本不需要专门的专家来做,工具就能搞定八成。

第二个变化,从企业级统一建模,往领域级轻量化建模走。没人再强求全公司所有业务都用一套统一维度了,哪个业务域要做分析,就搭哪个域的模型,跟着业务迭代快速调整,大不了最后需要统一的时候再做关联,省下的前置时间,能给业务创造更多价值。

第三个变化,湖仓一体架构下,建模从「先建模后使用」变成「先使用后建模」。原来你要把数据先理清楚建模,才能给人用,现在存储够便宜,先把所有原始数据都扔进去,谁要用谁自己建模,或者用的时候再动态建模,灵活度高太多。

对从业者来说,未来只会画ER图、背概念的数仓建模师,肯定会被淘汰。真正值钱的,是懂业务逻辑,能在规范和效率之间做平衡的人——你不用把所有规则都背得滚瓜烂熟,但是你得知道,什么时候该松一点,什么时候该紧一点,怎么才能最快给业务拿出能用的数据。

说白了,数仓建模从来不是目的,只是工具。能帮业务解决问题的模型,就是好模型。扯再多规范,解决不了实际问题,都是瞎耽误功夫。

作者|大讲堂

排版|大讲堂

审核|见微

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数仓建模:从纸上规范到业务落地的变形记
文章链接:https://www.lfdjt.com/info_23_23790.html