当前位置:首页 >  科技 >  IT业界 >  正文

Hadoop大数据“存算分离”,柏科数据 ISCloud分布式存储"提质增效"

 2021-08-24 17:09  来源: 互联网   我来投稿 撤稿纠错

  域名预订/竞价,好“米”不错过

数据湖的发展契机,来源于近年来的AI热潮和云计算、5G的发展,在日益发展的海量数据时代,数据已成为企业发展的核心资产,通过构建适用于大数据的底层架构,围绕Hadoop提供语义一致性、数据治理和安全性。

Hadoop作为数据湖最常用的解决方案之一,其的部署和需求仍然很大并且正在增长。在最近的一项涉及235名受访者的调查中,34%的受访者目前正在使用Hadoop进行数据和分析工作,另有55%的受访者计划在未来24个月内采取同样方案,总计需求量达到89%(Gartner,2016)。

在Hadoop大数据平台方案中,当存储空间或计算资源不足时,只能同时对两者进行扩容,将导致额外成本的增加。假设用户对存储资源的需求远大于对计算资源的需求,那么同时扩容计算和存储后,新扩容的计算资源就被浪费了,反之,存储资源被浪费。独立扩展计算或存储的架构设计,被认为是更加灵活的扩容方式。

因此,业内新扩容方式“存算分离”架构的优势逐渐明显,“存算分离”成了大数据架构发展的必然趋势,成了解决行业用户在使用Hadoop时,面临计算资源浪费、存储性能低、管理成本过高等痛点的利器。最初在Hadoop1.0时代,计算和存储是高度融合的,仅能处理单一的MapReduce分析业务;如今已经到了Hadoop3.0时代,计算存储走向分离,通过Hadoop架构策略,优化了冷热数据的存储。打造了更适合企业级市场,资源云化和灵活扩展,能够让用户享受更专业的存储,更佳的可靠性和利用率。

ISCloud分布式存储系统面向海量数据场景,针对大数据Apache Hadoop等应用场景,提供原生接口,将原生Hadoop集群从当前计算、存储一体化状态,拆分成计算和存储两个独立集群,实现“存算分离”形式,充分吸纳计算、存储两个产业的最终成果,加速释放数据价值。

• 提供标准接口,实现智能化负载均衡

非结构化的原始数据可以通过Sqoop、DistCp等工具直接存储在ISCloud分布式存储上,业务数据库结构化数据和应用数据可以通过Spark、Kafka等HBase分布式数据仓及Hadoop大数据Hive仓库内。HBase表数据和Hive内部表数据仍然通过HDFS来存储。ISCloud分布式存储在存储海量非结构化数据,甚至是海量小文件的同时,减轻HBase及Hive的压力,为后续扩容单一属性集群提供基础。

⦁ 协议互通特性,提高数据分析效率

ISCloud分布式存储采用多种协议互通技术,部署语义抽象层,面对多样化结构数据提供适合文件、对象、块及大数据的原生语义,为Apache Hadoop计算层提供了标准的Hadoop文件系统API,支持文件、大数据接口访问,免数据迁移,缩短分析路径。实现多集群数据融合互通,提升数据共享和分析效率。

• 降本增效,大幅降低TCO

随着大数据应用的全面普及,存算分离已成为企业大数据平台建设的首选。采用全对称分布式NameNode,集群性能和支持文件数随节点数目增加,单一命名空间支持文件数达百亿级。计算存储分离,按需扩展,实现精准投资。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
数据存储

相关文章

  • 鹏云网络分布式块存储社区版问世,首发开源存储解决方案

    2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式宣布开源ZettaStorDBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。研发十年,挑战块存技术上限成本、效率、高可用,一直都是企业IT系统建设所追求的重要关键点,这三点在

    标签:
    数据存储
  • “效能再进化,数据更安全”威联通举行QTS 5.1.0及次世代NAS发布会

    2023年5月9日,以“效能再进化,数据更安全”为主题,威联通2023年新品发布会在上海隆重举行,多家媒体、合作伙伴及威联通爱好者莅临现场,共同见证NAS网络存储行业朝向更高品质、更强性能、更好安全性的再次启航。威联通QTS5.1.0系统发布时下,网络存储行业已从萌芽时代步入增速发展关键期,用户对数

    标签:
    数据存储
  • 面向海量非结构化数据存储,QingStor U10000帮助企业解锁数据价值

    随着经济社会数字化转型的加速,各行各业产生的非结构化数据持续呈现井喷增长态势。而为了科学高效地利用这些非结构化数据,为企业加速数字化转型打牢基础,在实现数据稳定、专业的存储的前提下,推动数据的合理流动是关键。作为业内技术领先的企业级云服务商与数字化解决方案提供商,青云科技(qingcloud.com

    标签:
    数据存储
  • 得一微对话Arm,打造计算型存储新生态

    高可靠存储控制芯片、高端汽车存储芯片等领域都已成为备受瞩目的黄金赛道,被持续加大研发投入,颇受市场认可。在这样的市场背景下,得一微电子CEO吴大畏与Arm物联网事业部业务拓展副总裁马健展开生态对话,围绕存储控制技术及应用市场展开了探讨,双方将在ComputationalStorage计算存储领域芯片

    标签:
    数据存储
  • 百代可信OSS引领国产存储技术新革命!

    近期互联网圈顶流“ChatGPT”凭借着“天上文曲星”般的智能表现火速破圈,在诸如内容生成、搜索引擎优化、智能问答等领域展现出了巨大潜力,引发了人工智能领域的新一轮技术升级与产业重塑,一个AI大规模商业化的时代正悄然来临。AI大规模商业化时代背景,势必伴随着背后海量级的数据存储,数据就是一切,是支撑

    标签:
    数据存储

热门排行

信息推荐