今年上半年,Gartner发布2021年度数据管理领域的成熟度模型报告—Hype Cycle,湖仓一体(Lakehouse)作为近两年的新兴技术热点,成为了首次进入成熟度模型的五个新军之一,备受业界关注。本篇文章,我们将介绍什么是湖仓一体,湖仓一体架构的特点和技术优势。
湖仓一体,其含义是指将数据湖的语义灵活性与数据仓库的生产优化和交付相结合。它是一个融合的基础设施环境,支持从原始数据到精炼数据的整个过程,并最终提供优化后的数据以供消费。
湖仓一体将使业务从简化的交付流程、数据的快速访问中受益,同时满足了用户对于性能和易用性的更高要求,降低了大数据分析的技术复杂度和成本,同时满足了用户对性能和易用性的更高要求。通过构建整合的数据管理平台,服务于各种各样的职能角色,包括专业的数据科学家、数据工程师和业务分析师等,甚至包括通过数据看板来使用数据的临时用户。湖仓一体本质上为数据科学的创新提供了定义明确、可落地的发展途径。
湖仓一体作为企业未来数据平台的重要基础架构,需要一种强有力的分布式数据库支撑其海量、多模、多态的数据。巨杉数据库SequoiaDB基于100%自研的分布式数据库内核,提供了湖仓一体万亿级数据服务平台,适用于历史数据平台、全量数据平台、实时数据中台等需要将海量多模数据用于对客服务的场景。
巨杉数据库基于湖仓一体的架构特性,构建数据基础设施平台,整合结构化、半结构化、非结构化数据的统一存储与管理,为面向全量数据业务提供:SQL、NoSQL、Object等多种接口。此外,通过特有的跨引擎事务能力,可以有效简化多团队开发流程中对不同引擎、不同结构的数据管理,打通ACID事务支持,提升业务开发、数据处理、运维管理能力,释放全量数据价值,提升企业数据处理的“人效”及“能效”。
基于SequoiaDB分布式数据库的湖仓一体平台,除了具备多模能力,兼容多种数据引擎以外,还提供包括流式计算、高性能列存分析引擎等能力,适用于需构建融合数据平台及在保持事务一致性的基础上,进行高性能实时分析的场景。通过SequoiaDB可打破数据湖与数据仓库割裂的体系,为上层应用提供一数一源的数据基础设施,助力客户实现提升数据管理水平、降低成本、提升运营效率、提升用户体验等目标。
目前,巨杉数据库已经在超过100家金融银行客户规模化上线使用,覆盖国有银行、股份制银行、省级农信、城商行、保险、证券等金融客户,已经正式生产上线的系统中最大运行集群,数据量达1.2万亿行,容量达3PB,规模超过400台服务器,积累了丰富的最佳实践及案例,帮助客户构建起数据平台最佳底座。
数据湖和数据仓库,原本是大数据技术条件下构建分布式系统的两种数据架构设计取向。而融合后的湖仓一体,为业界和用户展现了一种湖与仓互相补充、协同工作的架构。未来,巨杉数据库将不断优化湖仓一体数据服务平台,探索和尝试更多湖仓一体解决方案,帮助企业释放全量数据价值。
了解更多内容可关注微信公众号:巨杉数据库
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
随着数字中国战略的步步落实,大数据已经成为锚定战略定位、抢得市场先机的重要基础元素。为彰显行业发展现状,遴选、推荐优秀企业,长城战略咨询近日在2023中国国际大数据产业博览会期间,重磅发布《中国大数据独角兽企业榜单》,根据独角兽企业国家推荐性标准,筛选出259家2022年中国大数据(潜在)独角兽企业
2023年6月15日至18日,2023北京健康医疗大数据论坛、医促会华夏健康数据与数字医学高峰论坛、第三届中华预防医学会肾脏病预防与控制专业委员会学术会议将同期于北京举行。论坛以“学术引领数智健康”为主题,着眼国家战略需求,聚焦前沿科技在健康医疗领域的发展与实践,荟萃全球顶尖学术观点,促进多方跨界融
在今年的韧性新时代·新品发布会上,爱数正式发布了AnyBackupFamily8,从数据保护迈向业务数据生命周期管理的征途。针对备受组织关注的开发测试场景,爱数于4月20日下午举办“测试数据管理”神盾会(九),以创新方案和领先技术突破测试数据管理的重重枷锁,助力组织释放备份数据价值,以数据重塑生产力
2023年3月,全球领先的时间序列数据库厂商DolphinDB与洲际交易所集团(IntercontinentalExchange,Inc.,NYSE:ICE)达成协议,将为高性能时间序列数据库DolphinDB提供访问ICEConsolidatedFeed和Tick级历史数据服务接口。本次合作将为D
近日,由中国电子信息行业联合会主办的“首届中国数据治理年会”在北京隆重召开。大会现场公布了2022年数据管理百项优秀案例榜单,佰聆数据【基于大数据标签的电力数据质量优化提升项目】成功入选。证书来源于官方本次年会主题为【贯彻“数据二十条”,做强做优做大我国数字经济】,参会人员涉及工信部直属单位、部分省
把脉中国数据智能化
2023年,几乎可以被定义为中国互联网公司的“大模型元年”。ChatGPT的全球爆红,彻底点燃国内的大模型赛道,曾经的“创业英雄”、如今的商业领袖们亲自下场,接连发布生成式人工智能产品与大模型布局。大模型火了,沉寂许久的互联网行业又有了新的“战事”。同时,大模型的快速发展也改变了云市场的现状,企业对
近日,数字化市场研究咨询机构爱分析发布了《2022爱分析·数据智能厂商全景报告》,爱分析从技术研发能力、服务客户数量、收入规模等维度对厂商进行了全面专业的评估
2022年11月18日,首个国家级大数据产业创新赛事——2022第一届中国大数据大赛圆满落幕。工业和信息化部信息技术发展司数字经济推进处处长张建伦,中国电子技术标准化研究院副院长孙文龙出席颁奖典礼并致辞
2022年11月17日,在厦门市工业和信息化局的指导下,以“数据确权”为主题的2022数据资产(厦门)论坛在厦门成功举办。本次论坛以“数据确权”为主题,由厦门市互联网域名应用服务产业协会和构信网(公信.中国)联合主办
近日,国内知名数字化市场研究咨询机构爱分析正式发布《2022爱分析·信创厂商全景报告》(以下简称“报告”)。报告综合考虑企业关注度、行业落地进展等因素,遴选出在信创市场中具备成熟解决方案和落地能力的厂商。
10月31日下午,由数博会执委会主办、数据观(北京)传媒科技有限公司承办、贵阳大数据交易所协办的第四期数博思享会“实践先行观公共数据价值与应用”活动成功举办。
近日,由中国国际数字经济博览会组委会主办,中国电子技术标准化研究院、河北省工业和信息化厅承办的“第一届中国大数据大赛”(简称大数据大赛)正式启动。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台