离线数仓kettle - 传统企业性价比超高的数字化转型技术方案

       传统企业的数字化转型，并不一定要引入高大上的大数据平台，从技术角度来说，基于传统的 关系型数据库 mysql ,依然可以玩的很溜。互联网企业玩的大数据平台、数据中台，对于传统行业公司来说，投入太大。那么基于小代价的数字化转型，在技术领域的实现方案还是有的。笔者公司的  MySQL +  Windows 定时计划 + kettle + 帆软报表，就能覆盖掉全部的业务应用场景。对于 OA、CRM、SRM、HAHA、SAP的应付轻车熟路，一般 T + 1 模式的足够；复杂点的就是财务部门的每日财务日报，推送董事长和总经理，这种需求，T + 1 模式也能满足。其他的一些大屏展示，可以把 T + 1 模式改成1小时、半小时模式。MySQL的话，公司里一般用的是，都是MySQL5.7，如果可以的话，可以用用  mysql 8.0, 因为MySQL8.0 带了很多高级函数，很方便处理一些比较复杂的数据分析任务。

     技术方案： MySQL +  Windows 定时计划 + kettle + 帆软报表

     1： MySQL （MySQL5.7， 可以用 mysql8.0 更好不过啦）

     2: kettle (比较传统的ETL抽取数据的工具，目前用的是8.0,不过公司以前同事用的 kettle 6.0，能兼容就行了)

     3：windows 定时计划  

     4：再加个 钉钉 ETL 任务异常报警，完美解决。

        这种方案的好处是，数字化改造成本小，特别适合中小微企业。用不了花上几百万的数据中台费用，省时、实力，见效快。当然啦，如果嫌弃 windows定时任务计划配置麻烦，操作繁琐，那么可以试试  kettle web  项目。

     但是呢，这个方案只适合1年目标的IT规划，如果要走3到5年的IT中、长期规划，还是建议走大数据平台，这种传统方案的弊端很多，很难成功推动数据化改革成功落地。比如最近我们线上出现的问题，4张20万的表相互join、去获取字段，直接把系统搞奔溃、2个小时报表出不来数据，所以，这种传统方案弊端还是很明显的，MySQL本身对于400万左右的数据量，复杂度高一些的SQL查询都搞不定，更何况、有时候集团已经存在的30多年的数据库需要处理，数据量几十亿，hana这种比较难处理的SAP数据，容易给IT团队埋下巨坑，等到业务部门、特别是高层需要数据，而给出去的数据、又有各种问题的时候，再回过来搞数据架构、就得不偿失了。还有一个也是很多公司长犯的错误，以为 信息化就是数字化，信息化是业务系统的数据化，而数字化是数据的业务化，两者有很大的本质区别。数字化改革一定是利用数据去优化业务组合，优化业务流程、优化经营模式，实现企业的数字化运营、数字化管理、数字化改革，否则数字化项目只能流产为信息化项目。

 欢迎 关注本人的微信公众号 ：  数据赶考人