2020年7月30日,“第四届中国信息通信大数据大会”在京隆重召开,来自大数据行业的主管部委、院士专家以及来自华为、中国移动、中国电信、中国联通、中兴等国内知名企业高管共聚一堂,就通信运营商大数据方向、5G及AI应用创新和未来发展趋势带来精彩分享。作为“掌握PB级核心处理技术”的大数据产品及解决方案供应商的广州睿帆科技有限公司,由大数据科学家李求实博士代表出席了该峰会。会上,睿帆科技的高性能数据仓库解决方案荣获最佳创新方案奖。
在会后采访中,李求实博士向记者讲述了睿帆科技高性能数据仓库解决方案的独到之处,以及相比于其他竞品的优势。
他提到,通信运营商实时采集信令数据、详单数据、告警数据、故障数据、网络资源数据等,每天的新增数据早已超过PB级。海量的数据意味着更高标准的数据分析业务,对于离线分析的时效、实时与近实时的即席实时交互分析,提出了更高的要求。
早些年在传统离线数仓阶段,通信运营商使用 Hive 作为大数据分析的主要工具,对 TB 至 PB 级的数据进行分析,但存在着以下的问题:
1. 时效性低
对于运营商业务来说,实时分析查询日志、告警次数,告警时间等数据,分析结果的价值取决于时效性。核心运维需求场景下,基于 Hive 的离线分析仅能满足 T+1 的时效,对于实时故障分析的需求越来越强烈。
2. 易用性低
基于 Hive 离线数据分析平台,对于产品、运营、市场人员具有较高的技术门槛,无法满足自助的实时交互式分析需求;开发在上报和提取分析数据时,无法实时获取和验证结果,查询和分析日志经常需要几个小时。
3. 效率低
不停的执行交互式查询,所以对实时性要求高,所以效率低。
在运营商做业务的数据分析模型时,需通过探索性数据分析去实时执行交互式查询,其对海量数据的实时性交互查询速度要求高。通过Hive构建的业务数据分析模型,响应时间长,分析结果不及时,严重影响和拖慢了进度。
为了应对以上问题,提升流程效率,提高数据分析处理的时效性和易用性,数据的即席分析和数据可视化能力支撑需要优化和提升,让问题秒级响应,分析更深入,睿帆科技基于其自主研发的数据库产品——分布式分析型数据库雪球DB,完成了高可用、低延迟的高性能数据仓库解决方案,正好可以很好的解决这些问题。通过此方案可针对上千个节点的集群,日均新增PB 级以上的数据量,实现秒级的实时数据分析、提取、监控数据基础服务,大大提高了大数据分析与处理的工作效率。
同时,高性能数据仓库解决方案适用于PB级以上超大规模数据的实时写入、实时读取的OLAP 应用场景,查询速度较Presto、SparkSQL提升3-6倍,较Hive提升30-100倍。对比 Presto、SparkSQL、Hive等数据库,其具备高可靠的分布式MPP集群架构,使其可以多切片写入,完成线性扩展等。
此外,在OLAP场景中读多于写且经常存在多列的大宽表,列数可以高达数百甚至数千列。“为此,我们特地采用列式存储和向量化执行的方式来解决,极大的减低了IO 的消耗,加速了查询,也缩短了计算耗时。这让我们的技术优势更为突出。”李求实博士表示。
一直以来,硬核的技术以及贴合用户需求的创新性解决方案是睿帆科技的立身之本。此次睿帆科技高性能数据仓库解决方案荣获2020中国信息通信大数据最佳创新方案奖,标志着通信运营商行业对于睿帆科技的更高认可。未来,睿帆科技将再接再厉继续深耕通信运营商行业的同时,把更多优秀的产品解决方案带到更多的行业中,助力更多的企业实现高效、低成本的数字化转型。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
日前,北京佳格天地科技有限公司与农业农村部大数据发展中心签订联合实验室协议。双方将充分利用遥感、AI等技术,以及人才队伍、技术产品等优质资源,开展农业农村领域相关基础模型、作物农情遥感监测产品及农业气象服务等方面的合作研究。
日前,2022世界数字农业大会举行。大会以“种铸强芯,数领未来”为主题,开设多场数字农业云端专题论坛,北京佳格天地科技有限公司受邀出席”农业农村大数据应用论坛“,同与会嘉宾分享了农业大数据的创新应用。
毫无疑问,随着以Kubernetes为代表的云原生技术得到广泛应用和普及,云原生数据量和重要性不断提高,使得企业对云原生数据库服务的需求日渐增长。
近期,由中国工业设计协会、中国技术交易所双重指导,UXPA中国主办的2022年第六届GXA好体验奖评选结果揭晓,元年科技凭借元年数据智能管理平台荣获“最佳企业赋能奖”,该奖项旨在挖掘当代杰出用户体验作品,表彰利用创新思维、坚持以用户体验为中心的企业,填补了国内专业级别用户体验社会化奖项的空白。
近日,秦淮数据集团位于马来西亚柔佛州的秦淮数据马来柔佛超大规模数据中心(以下简称“MY06”)一期盛大开园。从规划、设计到建造,秦淮数据集团中国、新加坡、马来西亚三地团队紧密合作,共同完成马来西亚最大的国际超大规模数据中心交付
把脉中国数据智能化
2023年,几乎可以被定义为中国互联网公司的“大模型元年”。ChatGPT的全球爆红,彻底点燃国内的大模型赛道,曾经的“创业英雄”、如今的商业领袖们亲自下场,接连发布生成式人工智能产品与大模型布局。大模型火了,沉寂许久的互联网行业又有了新的“战事”。同时,大模型的快速发展也改变了云市场的现状,企业对
近日,数字化市场研究咨询机构爱分析发布了《2022爱分析·数据智能厂商全景报告》,爱分析从技术研发能力、服务客户数量、收入规模等维度对厂商进行了全面专业的评估
2022年11月18日,首个国家级大数据产业创新赛事——2022第一届中国大数据大赛圆满落幕。工业和信息化部信息技术发展司数字经济推进处处长张建伦,中国电子技术标准化研究院副院长孙文龙出席颁奖典礼并致辞
2022年11月17日,在厦门市工业和信息化局的指导下,以“数据确权”为主题的2022数据资产(厦门)论坛在厦门成功举办。本次论坛以“数据确权”为主题,由厦门市互联网域名应用服务产业协会和构信网(公信.中国)联合主办
近日,国内知名数字化市场研究咨询机构爱分析正式发布《2022爱分析·信创厂商全景报告》(以下简称“报告”)。报告综合考虑企业关注度、行业落地进展等因素,遴选出在信创市场中具备成熟解决方案和落地能力的厂商。
10月31日下午,由数博会执委会主办、数据观(北京)传媒科技有限公司承办、贵阳大数据交易所协办的第四期数博思享会“实践先行观公共数据价值与应用”活动成功举办。
近日,由中国国际数字经济博览会组委会主办,中国电子技术标准化研究院、河北省工业和信息化厅承办的“第一届中国大数据大赛”(简称大数据大赛)正式启动。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台