根本不是“删旧数据”:DLM的核心逻辑被误会了十年
很多人一提数据生命周期管理,第一反应就是“到点了把没用的旧数据删掉”,大错特错。 这玩意的本质,是给每一份从业务端产生的数据,从“出生”到“死亡”的全链路,匹配对应成本、对应权限的资源。 举个最通俗的例子:一份刚从支付系统产生的交易日志,属于高价值、高频调用的热数据,就得放响应速度最快的全闪存储里,满足风控、实时对账的需求;放了3个月没人查的交易日志,属于温数据,就迁到成本只有全闪1/5的标准对象存储里;满了2年、已经过了实时调用需求的交易日志,属于冷数据,直接迁到成本只有全闪1/20的磁带库或者归档存储里;等满了5年,符合合规销毁要求了,再按流程彻底擦除,不留痕迹。
一半企业在为冗余数据买单,一半在为超期留数据交罚款
我去年跑了快20家不同行业的企业,发现现在DLM的落地现状,基本是两个极端。 第一种是完全没做分层的企业。比如某长三角的制造工厂,所有生产设备的传感器数据,不管是刚产生的实时数据,还是3年前的历史数据,全存在同一套全闪存储里,每年的存储成本涨40%,IT部门年年喊预算不够,但是老板觉得“数据留着总有用”,死活不同意删或者分层。 第二种是做了分层但是规则错了的企业。比如某生鲜电商,为了省存储成本,把已经过了合规留存期的用户身份证照片、支付日志全删了,结果去年遇到用户投诉,需要调取3年前的订单记录举证,发现数据没了,不仅败诉赔了钱,还被监管部门罚了20万。
落地最大的坎,从来不是技术,是跨部门的那堵墙
我见过最离谱的一个DLM项目,是某零售企业的。 厂商都找好了,技术方案也评审过了,结果卡在业务部门签字这一步。运营部说“这个用户行为数据我现在用不上,不代表明年618搞活动用不上”,风控部说“所有交易数据我得留10年,少一天都不行”,法务部说“过了留存期的你敢删?出了问题谁担责?” 最后项目直接烂尾在测试环境,花了几十万做的数据盘点,全白费了。 说实话,现在DLM的技术已经很成熟了,不管是存储分层、自动识别、合规校验,都是现成的功能,但是80%的项目落地不了,都是因为跨部门的权责理不清。 谁来定数据的留存期?出了问题谁担责?数据销毁的流程怎么走?这些问题不解决,再好的技术也没用。 现在行业里跑得比较顺的企业,基本都是把DLM的权责划给了数据治理委员会,不是IT部门一家说了算,业务部门、法务、合规、风控全参与定规则,出了问题共同担责,推进速度反而快很多。藏在DLM里的合规雷区:删错了要担责,留错了也要担责
很多人觉得DLM就是个技术项目,其实根本不是,它本质上是个合规项目。 现在的合规要求有多严?《个人信息保护法》说个人信息不能超期留存,《网络安全法》说网络日志要留存不少于6个月,金融行业要求支付数据存5年,医疗行业要求病历存15年,汽车行业要求车辆行驶数据存3年。 这些要求叠在一起,DLM的规则只要错一点,就是大麻烦。 去年有个做在线教育的公司,就是因为DLM规则设置错了,把已经注销用户的个人信息多留了1年,被监管部门罚了40万,负责人还被约谈了。还有个城市的交通局,为了省存储成本,把5年前的交通卡口数据全删了,结果后来要调数据查陈年的肇事逃逸案件,发现数据没了,直接被上级通报批评。 还有个容易被忽略的伦理问题:很多企业打着DLM的旗号,随便销毁涉及公共利益的公共数据,比如环境监测数据、公共交通流量数据、气象观测数据,这些数据本来应该长期留存做公共研究的,结果为了省那点存储成本给删了,这本质上是对公共资源的浪费。未来3年,DLM会从“可选项目”变成“合规刚需”
我做了这么多年产业观察,很确定的一点是,未来3到5年,DLM绝对不会是大企业才玩的东西,会变成所有有数据合规义务的企业的标配。 原因很简单。 第一,存储成本的压力已经顶到天花板了。全球每年产生的数据量涨30%以上,但是大部分企业的IT预算涨速连10%都不到,靠砸钱扩容存储已经走不通了,必须靠DLM分层降本,不然根本扛不住。 第二,合规的要求会越来越严。现在不管是国内的《个人信息保护法》,还是欧盟的GDPR,都明确要求数据不能超期留存,以前很多企业留着数据是为了“以防万一”,现在多留一天就多一天的合规风险,必须靠DLM把该删的删了,该留的留对。 第三,大模型会把DLM的落地门槛打到最低。以前要花几个月做数据盘点,现在大模型几个小时就能把所有数据的属性、合规要求、价值等级标清楚,中小企业也能用得起。 上周那个银行的朋友给我发微信,说今年他们已经把DLM的优先级提到了比上大模型还高的位置,毕竟先把冗余的坑填了,再谈别的。 谁能想到,十年前大家拼了命要存下来的数据,现在全变成了要挨个理清楚的负担?作者|fawen
排版|fawen
审核|柚子
大讲堂