很长一段时间,BI和数据仓库几乎都是如影随形、难舍难分。企业如果想要实行“数据驱动决策-决策推动业务发展”的机制,就必须先有数据仓库充当中央存储库,供BI查询和调取,然后再在BI上进行数据的分析与可视化。
但数据分析和商业决策发展至今,企业想要实现数据驱动决策,是否还是无法绕过数据仓库?在现代商业环境中重新定义BI和数据仓库,我们又能不能找到合适的替代方案?
今天,我们就这个命题展开讨论,希望能给大家提供一些思路。
数仓: BI背后的引擎(或管道)
数据仓库: 从字面意义上即数据的仓库,是为了把操作型数据集成到统一的环境中,以提供决策型数据访问。数据仓库关注的是解决数据一致性,可信性,集合性.......这些问题,把越来越复杂的业务数据转化成对于业务运营、业务分析来说简单易用的数据形式;数据仓库的终极目标是让数据应用人员(无论是CEO还是普通分析师)思考怎么使用数据仓库里的这些数据,创造更多的信息与价值;而不是发愁数据在哪里,数据对不对。
BI(商业智能): BI是分析数据并获取洞察力、从而帮助企业做出决策的一系列方法、技术和软件。相比数据仓库,BI中还包含了数据挖掘,数据可视化,多维分析,标签分类等方面。拿多维分析举个例子,数据仓库中只是提供了维度化的数据,但是基于某些工具,比如Ebay的kylen或者IBM的Cognos等,可以支持用户在一定范围内任意组合维度与指标,那这就上升到了决策支持的层面而不是“高级数据仓储”层面了,也就是使用了数据仓库的数据,但不是数据仓库的功能。
BI与数据仓库的相关性(图片来源于网络)
传统BI项目的构建路径决定了其必须依赖数据仓库才能进行数据分析。 比如MicroStrategy,SAP BW,微软 Analysis Server, IBM的Cognos,Oracle的OBIEE,这些传统BI工具不具备使数据集成标准化的能力,数据仓库的存在就是帮助他们建立数据治理结构,解决数据冗余、不一致、错误、无法轻松访问等问题。
另一方面,BI对数据仓库的这种依赖其实存在着极大的缺陷。 一般来说,数据仓库通常需要花费高经济成本、时间成本从规划到落地,但创造的价值大多数情况比较有限,ROI较低。搭建成功后,数据仓库也仅支持极少数特定类型的分析,如果企业业务出现调整或者需要处理新类型的数据,届时又将重新面临重大的开发工作。
从现代商业决策视角,重新审视BI与数据仓库的关系
在如今转向服务导向架构(SOA)(*由Gartner提出,以“服务”为基本元素来组建企业IT架构的方式。SOA要解决的主要问题是:快速构建与应用集成,现已成为解决企业业务发展需求与企业IT支持能力之间矛盾的最佳方案。)的技术大背景中,耗费巨大心力进行大规模的数据整合和数据集成操作是否还有必要?构建数仓的收益是否能大于你将付出的成本?
再加上企业数据体量不断提升,业务发展越来越迅速,对快速印证分析决策也提出了更高要求,更多的企业希望能够降低技术设施成本,做到近乎实时地访问操作源数据,在极短的时间内响应用户请求。
数据仓库和BI的体系结构(图片来源于网络)
于是我们看到了越来越多没有数仓的BI项目。一方面,敏捷BI的兴起,允许用户快速接入各类数据源,无需借助数仓即可实现数据导入-处理-分析的流程。而另一方面,以观远数据为代表的新一代AI+BI智能数据分析平台,则在快速接入、敏捷分析的基础上,实现了更进一步的应用:
观远数据智能分析平台:
1. 自带轻量的分布式数据存储与数据流处理模块,提供从数据抽取、数据建模、数据分析,到数据可视化、预警分发的一站式数据分析应用能力;
2. 即便不抽取数据,也可实现多数据源的联邦动态分析(联动、钻取、动态参数等交互分析功能)。
在这个角度上来看,一定程度上可以在没有数据仓库的前提下实现智能数据分析,但是,这仅限于数据量有限的中小型企业,不意味着我们推荐直接拿数据分析平台上的数据存储当做数据仓库来用。
因为随着企业用户数据量、分析复杂度的不断提升,数据分析平台上轻量式数据存储与数据流处理模块是难以承受巨大的计算压力的,从企业长远发展的角度上考量,还是需要有计划地建设数据仓库或数据平台。
企业构建分析决策架构的敏捷策略
企业分析决策架构的未来前景,取决于业务驱动因素以及技术的发展方向。如今企业数据呈指数级增长,对实时分析的需求比以往任何时候都要强烈,鉴于此,如何兼顾快速落地与高可扩展性,有机结合数据仓库来构建企业分析决策架构,仍是摆在众多企业面前的一个巨大难题。
对此,观远数据推荐的最佳实践是:
1. 在数仓尚未搭建或分析思路尚未成型时,直接在BI平台内快速构建分析应用,快速反馈、快速迭代,实现quick win。
2. 在分析结果得到业务的印证后,再将数据沉淀和复杂分析逻辑逐步固化到数据仓库或数据平台里面实施,此时BI平台仅担负轻量的数据分析与可视化压力。
我们认为,数据分析的本质是为业务发展、商业决策而服务,而不是创建一堆无用的可视化图表。通过以上提到的这种敏捷开发,快速印证,不断沉淀的过程,将能够更大程度上确保企业分析决策架构的方向正确,获得业务端的认同,驱动业务发展,从而产生真正的商业价值。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
日前,北京佳格天地科技有限公司与农业农村部大数据发展中心签订联合实验室协议。双方将充分利用遥感、AI等技术,以及人才队伍、技术产品等优质资源,开展农业农村领域相关基础模型、作物农情遥感监测产品及农业气象服务等方面的合作研究。
日前,2022世界数字农业大会举行。大会以“种铸强芯,数领未来”为主题,开设多场数字农业云端专题论坛,北京佳格天地科技有限公司受邀出席”农业农村大数据应用论坛“,同与会嘉宾分享了农业大数据的创新应用。
毫无疑问,随着以Kubernetes为代表的云原生技术得到广泛应用和普及,云原生数据量和重要性不断提高,使得企业对云原生数据库服务的需求日渐增长。
近期,由中国工业设计协会、中国技术交易所双重指导,UXPA中国主办的2022年第六届GXA好体验奖评选结果揭晓,元年科技凭借元年数据智能管理平台荣获“最佳企业赋能奖”,该奖项旨在挖掘当代杰出用户体验作品,表彰利用创新思维、坚持以用户体验为中心的企业,填补了国内专业级别用户体验社会化奖项的空白。
8月19日,第二届中国移动“梧桐杯”大数据应用创新大赛暨大数据创客马拉松大赛浙江赛区数智乡村赛道复赛在杭州圆满落幕。中国移动浙江公司副总经理王顶在会上致辞,来自浙江省农业农村厅、文化和旅游厅、中国移动互联网公司相关负责人出席了会议。
把脉中国数据智能化
2023年,几乎可以被定义为中国互联网公司的“大模型元年”。ChatGPT的全球爆红,彻底点燃国内的大模型赛道,曾经的“创业英雄”、如今的商业领袖们亲自下场,接连发布生成式人工智能产品与大模型布局。大模型火了,沉寂许久的互联网行业又有了新的“战事”。同时,大模型的快速发展也改变了云市场的现状,企业对
近日,数字化市场研究咨询机构爱分析发布了《2022爱分析·数据智能厂商全景报告》,爱分析从技术研发能力、服务客户数量、收入规模等维度对厂商进行了全面专业的评估
2022年11月18日,首个国家级大数据产业创新赛事——2022第一届中国大数据大赛圆满落幕。工业和信息化部信息技术发展司数字经济推进处处长张建伦,中国电子技术标准化研究院副院长孙文龙出席颁奖典礼并致辞
2022年11月17日,在厦门市工业和信息化局的指导下,以“数据确权”为主题的2022数据资产(厦门)论坛在厦门成功举办。本次论坛以“数据确权”为主题,由厦门市互联网域名应用服务产业协会和构信网(公信.中国)联合主办
近日,国内知名数字化市场研究咨询机构爱分析正式发布《2022爱分析·信创厂商全景报告》(以下简称“报告”)。报告综合考虑企业关注度、行业落地进展等因素,遴选出在信创市场中具备成熟解决方案和落地能力的厂商。
10月31日下午,由数博会执委会主办、数据观(北京)传媒科技有限公司承办、贵阳大数据交易所协办的第四期数博思享会“实践先行观公共数据价值与应用”活动成功举办。
近日,由中国国际数字经济博览会组委会主办,中国电子技术标准化研究院、河北省工业和信息化厅承办的“第一届中国大数据大赛”(简称大数据大赛)正式启动。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台