范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

数据中台的数据仓库和商业智能BI的数据仓库有什么区别?

  数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合。从数据分析应用角度来讲,不管是大数据还是小数据,都是把业务系统中不规范、不规则的、不可分析的数据变成规范、规则、可分析的数据过程,都是把描述业务过程的数据模型变成描述业务分析数据模型的转换过程。不管你是做大数据、数据中台还是商业智能BI,只要实现数据仓库,本质过程就是这样的。
  只是现在各种各样新的概念满天飞,很多人分不清楚。今天我想通过文字尽量把这个问题给大家讲清楚,能让大家看到一些本质上的问题。大家也可以看下之前讲的有关大数据、数据中台、商业智能BI方面的视频,可以结合起来看下。 一、数据仓库数据库类型的选择
  从技术实现角度上来说,我们在通常的商业智能BI项目中,数据仓库大多构建在以关系型数据库为代表的数据库上。数据中台的数据仓库在底层是以大数据为基础架构的。
  商业智能BI - 派可数据商业智能BI可视化分析平台
  比如大数据的数据仓库Hive,就是构建在大数据Hadoop分布式基础架构之上。底层的HDFS分布式文件系统为海量数据提供文件式的存储,MapReduce为海量数据提供了计算能力。在Hive数据仓库上可以将Hive SQL转化成MapReduce任务与底层HDFS文件系统进行因映射和数据交互。 二、实现数据仓库的SQL
  在商业智能BI的数据仓库中通过标准的SQL就可以进行数据的操作,数据中台大数据架构Hive数据仓库中是通过Hive SQL进行数据操作。但Hive SQL最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Hadoop进行数据处理,所以在很多语法上不像标准的SQL那么灵活。所以商业智能BI的数据仓库和数据中台数据仓库在技术架构上,一个是基于传统关系型数据库来实现,一个是基于大数据来实现。操作底层数据的基本SQL有一些语法上的差异,但也大同小异。 三、数据仓库的分层实现
  只要是数据仓库都会对数据进行分层处理和规划,比如在商业智能BI的数据仓库中我们讲到要构建ODS层,再构建DW里面的Dimension维度和标准的Fact事实层,到Data Mart 数据集市层,最后面向前端的商业智能BI可视化分析应用。数据中台数据仓库就提到了贴源层、统一数据仓库DW层、TDM、ADS层等等,最后也是面向应用端比如商业智能BI可视化分析。
  数据仓库 - 派可数据商业智能BI可视化分析平台
  这些分层从本质上有区别吗?并没有,都是在讲一些概念。比如标签层,不就是描述一个对象、一个实体的分析维度属性吗?应用数据ADS层不就是我们通常讲到的数据集市层做一些数据的特定加工,比如聚合、跨事实的聚合去组装各种分析的基础数据表吗?所谓的One ID 打通的不就是在一个或者多个业务流程中通过ID编码将各类数据串联起来做一个ID的对照和映射关系吗?本质上都在做什么事情?数据的标准化分类、归档,将不规范、不规则、不可分析的数据变成一种规范、规则、可分析的数据过程。这就是为什么像商业智能BI数据仓库要进行分层实现。
  可以这么来说,十来年前商业智能BI的数据仓库怎么构建的,现在的数据中台数据仓库就是怎么构建的,一样的写SQL、做分层、打标签、建模型,并没有什么特殊的。 四、指标的定义
  像原子指标、衍生指标、组合指标、过程指标、结果指标,这也不就是我们通常在商业智能BI里面按照用户分层,越面向一线业务的越关注的是原子性的基础性指标,看的是基础的二维明细数据统计报表,越偏向高层管理的越关注的是高度聚合的结果性指标。
  指标 - 派可数据商业智能BI可视化分析平台
  中间要是去追过程的话就去看过程指标,所谓衍生、组合不都是基于原子性指标计算来的吗?这不就是非常简单的指标梳理、指标计算的商业智能BI实现过程吗?有非常特别的地方吗?并没有。 五、ETL和ELT
  还有人会提到传统的商业智能BI数据仓库是ETL,数据中台就是ELT,这些还是在玩一些概念。所谓的ELT就是先把原始数据抽取加载到数据仓库贴源层,再进行数据的转换,这样既保留了原始数据,又可以充分利用大数据的计算能力做转化操作。
  我想问下这些概念的提出者,商业智能BI的数据仓库在处理数据的时候不也是这么干的吗?不也是把各个业务系统原始数据给抽取到ODS原始数据层之后再去加工形成DW,做维度表和事实表的划分吗?有没有区别,也没有区别啊,都是这么干的啊。
  维度 - 派可数据商业智能BI可视化分析平台
  只是按照ELT的说法,商业智能BI数据仓库在从业务系统抽取数据的时候就直接在SQL里面对数据进行一些转换,落到数据仓库表的时候存储的是已经进行清洗和格式转化之后的数据,所以这样就不好。所以结论就是你们还在讲ETL,太Low了,现在大家都是ELT了。
  说到这里也差不多了,通过上面几个点大家就能够看出来,很多概念本质上都是相通的,也回到了主题的数据中台的数据仓库和商业智能BI的数据仓库区别之间的讨论上。
  所以,如果你只是听了一个新鲜的概念,就急于拿这些概念来否定一些传统的概念,我觉得大可不必,还是先把一些基础的概念弄明白了再回头看看这些说法对不对。 总结
  这样讲并不是去否定大数据、数据中台。传统商业智能BI数据仓库也是有它自己的不足之处的,比如传统商业智能BI数据仓库存储能力、传统ETL的数据处理能力、算力就摆在那,是有数据存储和处理效率瓶颈的。
  数据战略 - 派可数据商业智能BI可视化分析平台
  比如每天要是处理多少个TB以上的数据,一般的ETL肯定是搞不定的,就算是T+1的方式,晚上跑八个小时到早上也有可能就处理不完,这个时候底层就一定要借助大数据的数据处理能力来解决这些问题。但对于大部分的企业,数据量达不到这种程度,一般的商业智能BI数据仓库和ETL是完全可以搞定的,根本就到不了大数据、数据中台这种量级。
  还有像实时数据处理、数据资产管理、数据服务等等,这些也都是传统的商业智能BI数据仓库都不具备的能力,如果企业对这种诉求非常迫切也是可以考虑规划大数据、数据中台这些技术架构的。并且现在很多大数据、数据中台的搞法是把它们数据仓库的数据推送到一个中间库,商业智能BI再从中间库取数做分析展现。
  基于数据中台的商业智能BI应用 - 派可数据商业智能BI可视化分析平台
  所以是把原来商业智能BI的数据仓库算力的那一部分释放到大数据、数据中台的数据仓库中去实现,中间库的作用就相当于原来商业智能BI数据仓库的数据集市层,纯粹是未来分析展现来使用。但我们的建议这个中间库其实还是要做成数据仓库,只是会做的薄一些,还是要保留基础的维度和事实,只不过事实表做的宽一些而已。
  我认为技术并没有高低之分,面对不同的问题解决的方式不同,选择的技术路线不同。
  所以,创新一些概念本来也没有错,错的是把这些概念当成尚方宝剑就去急于否定一些很传统的、有着很多年实践落地沉淀的经验总结,这种做法是不对的。

残疾人志愿者残缺遮掩不了美丽,用奉献点亮青春时代各有不同,青春一脉相承。一代又一代青年,他们心中点亮理想之灯发出信念之光,让青春在祖国和人民最需要的地方绽放绚丽之花!来自张家口外语学院2018级英语专业的学生冀鲁豫就是其中之爸爸去哪儿萌娃现状,有人早恋有人军事迷,有人发胖到不敢认一晃眼,爸爸去哪儿的崽子们都已经长大了。自2013年开播以来,这档节目就横霸荧屏,成为当时全国收视第一的综艺节目。节目中萌娃们小小年龄天真烂漫,状况百出惹人争议,星二代从此有了模样生孩送房票!鼓励生育,还是刺激楼市?文凯风当鼓励生育与托底楼市联手,能量有多大?01hr近日,杭州南京东莞无锡等地出台楼市新政,二孩或三孩家庭允许新增购一套房。生孩破限购,堪称这一轮房地产松绑潮中最具特色的发明。在房永州丨轮椅姐赵媛一朵从瑶山深处开出的公益之花红网时刻新闻5月17日讯(通讯员何少志何涛谢万波)曾经,她无父无母,在瑶族老家受尽委屈如今,她自强不息,赢得全社会的认可与尊重她就是赵媛,是一个来自湖南永州江华瑶族自治县的公益女青军士期待,军士转业政策能托底剑客枫三剑客三剑客题图大唐问题你身边,上士以上军衔且达到全日制本科以上学历的,有多少?前几天,看到几则新闻,讲的是一名东南大学硕士研究生当兵,还有浙江省学历最高的新兵,浙江省首位9你对被曲解的性同意是如何理解的?又会给女生带来怎样的伤害而在一些三观不正的人眼中,也不知道他们是真的看不懂拒绝,还是他们的自我脑补过于强大,因为之前看到过这样一则新闻,是一个女孩子告她男朋友强奸的事情,起因是男孩邀请自己女朋友去家中做客反诈老陈进组拍戏,第一天收工便说不好玩,网友跳梁小丑反诈老陈相信大家都听说过他,凭借着一句你下载反诈APP了吗瞬间在网络上走红,树大招风,在一次直播当中老陈打开了打赏功能,一时间网友开始在直播间送礼物,仅一小会收益额达到了100万,ST德威的十年沉浮经济观察网记者李微敖种昂2022年5月11日,江苏德威新材料股份有限公司(300325。SZ下称ST德威)公告光大证券股份有限公司(601788。SH06178。HK,下称光大证券百强县占县域不到118!县域经济如何走出发展困境?在此前如何推进新型城镇化发展?这是我们十余年研究的要点(获取文内报告的方式可参见本文末)一文中我们提到,县域经济作为城市经济与农村经济的纽带,承载着均衡国策的历史使命,是城乡两元问双10。25英寸屏幕小雪OS智能车机,提前预定SUV黑马全新创酷RS国内小型SUV市场,向来战况焦灼。想要从中分杯羹,必需拿出满分诚意来。如果说之前创酷用憨厚敦实的可爱形象,打开了销路,那这一次,雪佛兰打算用改款的全新创酷RS再度回馈消费者,换装1斗罗大陆四大天团公开,海神岛位居第三,唐门垫底,昊天宗无敌大家好,北冥特摄漫评,带你看最新的斗罗大陆资讯。斗罗大陆虽然有很多大大小小的势力,但实力顶尖的就是七大宗门,不过如今七大宗门换新,实力也大不如从前,而且斗罗大陆最恐怖的并不是他们,
成都开展十大领域专项治理细化抓手解决群众急难愁盼中央纪委国家监委网站曹俊明徐菱骏近日,四川省成都市纪委监委先后两次发布了典型案例通报,市住房和城乡建设局公共配套设施建设处原四级主任科员闫大鹏等人被严肃查处。两次通报的案例,均在全时报会客厅丨翼虎投资董事长余定恒2022活下来最重要,2023看好保险医美创新药和新基建点蓝字关注,不迷路作者周媛见习记者吴瞬在诸多黑天鹅事件以及疫情等多重因素下,2022年全球市场震荡不断,投资者更是难见笑颜。但随着疫情防控政策不断优化,以及多地推出的一揽子稳经济促35路公交将于1月20日开通1月17日,记者从市公交公司获悉,为方便碗窑梅田等沿线群众出行,该公司将于2023年1月20日开通35路公交总站至飞鸾至碗窑公交线路,公交线路具体运行方案如下线路走向1。首班线路走2023预见AI丨AIGC狂想曲商业化探索持续爆发,ToC或是竞争高地21世纪经济报道记者郭美婷实习生谭鑫广州报道近日,微软曝出拟向ChatGPT母公司OpenAI追加100亿美元投资。这笔潜在交易或成为人工智能新时代的决定性交易。而重金押注的背后,湖北公安以高等级勤务强化春节安保随着疫情防控政策不断优化,春节期间群众出行出游意愿不断增强,各类大型活动陆续恢复,影响群众安全过节的风险隐患增多。湖北省公安厅部署要求,全省公安机关启动高等级勤务,从严从实从细抓好我国首台高能同步辐射光源增强器全线贯通来源人民网人民日报本报北京1月16日电(记者吴月辉)记者从中国科学院高能物理研究所获悉位于北京怀柔科学城的第四代光源高能同步辐射光源增强器于1月13日全线贯通,进入设备调试阶段。增网络中国节春节平遥彩灯绣古城共享中国年SPRINGFESTIVAL日前,在平遥古城城墙西段,工人师傅们正在紧锣密鼓地布局安装五花八门的彩灯,在他们的忙碌下,二龙戏珠镖行天下崇武精神等一组组别开生面独具特色的灯组逐渐成形走进雅加达中国城1月16日,人们在印度尼西亚雅加达中国城的街边商铺购买年货。位于印度尼西亚首都雅加达的中国城是印尼最大和最古老的唐人街。临近春节,不少雅加达市民华人华侨来到这里购买年货添置新衣休闲活到五十五,不算白受苦苦不尽,甘不来!五十岁的人生,饱含岁月的沧桑。经历过酸甜苦辣,方知今日生活来之不易!所有的苦都不会白受,人没有一天是白活的!人生路就是一步一个脚印这么走出来来的!五十岁以后,有一个栉风沐雨又何妨嘘寒问暖,冬去春来,岁月只轮不返。装怯作勇,都是男子汉。扶摇大江南北,装不下东西少年。再后来,豪气干云,调笑武媚娘。人间。情无恙,栉风沐雨,又有何妨,纵辞暮尔尔,烟火年年。可惜挖空湖南2大惨败酒,辉煌时名气不输一线大牌,为何如今却无人识要问湖南有啥好酒,大家第一时间想到的必然就是酒鬼酒,作为湖南的门面,以独特的馥郁香型而闻名,但酒鬼酒虽是湖南白酒的招牌,与国内的一线名酒相比似乎还是有那么点距离,因此在很多酒友看来