和大家一起分享人教社在过去的6年中,在私有云建设及存储系统建设中的一些经验和教训,希望能给各位同仁在数据中心建设,尤其是存储系统建设的工作带来一些有益的帮助。
谈到私有云,相信大家已经不陌生了,在最近的两年,越来越多的听到我身边的朋友、同仁的企业开始了私有云建设,希望通过数据中心技术的升级改造,为企业带来更大的业务灵活性及更短的IT响应时间。和绝大多数虚拟化技术厂商在产品宣传方面提到的差不多,虚拟化技术和云计算确实具有非常多、非常好的特性,能够在帮助企业的IT部门更快速、更从容的面对各种业务需求变化的同时,实现诸如降低IT总体拥有成本以及节能环保等目标,但是,作为云计算系统建设者和管理者的我们,必须同时意识到,企业数据中心的核心运行方式的转变,绝不仅仅是搭建一套私有云系统,并将业务逐步迁移上去那么简单。建设一套能够完整承载企业全部IT系统运转的私有云系统,是包含了计算、通讯、存储系统建设及建立相应的管理模型、监控模型、应急处置模型、状态评估模型等一系列工作的复杂系统工程,这些工作,应该随着私有云建设及应用的不断深入,逐步的建立和完善,最终,建立起一套真正可靠、高效、能够应对快速业务变化及需求的私有云基础架构体系。
人教社对虚拟化技术的研究启动于2005年,2008年开始小规模应用,2010年完成了约80%业务系统的虚拟化工作。截止到上个月,位于北京魏公村业务楼的人教社主数据中心已经装备了总计1008颗CPU核心、5.3TB内存、1.2PB储存能力的私有云系统,承载着包括人教社在内的6个上下属企业共300余台虚拟服务器的运转,覆盖了ERP、CRM、ECM、OA、VDI、WCM、网站及数字出版产品等业务类型。存储系统方面,我们主要装备了IBM DS8870、V7000、V3700磁盘阵列系统及IBM TS3310磁带库系统,通过SAN网络,为虚拟化计算节点提供存储服务。
大体的铺垫我做到这里,下面,我们就进入今天的正题。请大家和我一起回顾和总结一下,一个出版企业在私有云建设中的存储系统架构是如何规划和建设起来的。
第一个问题,构建企业私有云,对存储系统有什么要求?
对虚拟化技术不陌生的朋友一定知道,私有云架构的核心技术是服务器虚拟化,说白了,就是对单体服务器计算资源的细颗粒划分和利用。在实际的应用场景中,主要体现为在一台虚拟化宿主服务器上运行多个具有独立操作系统环境的虚拟服务器,从而实现CPU资源的最大化利用。在一台物理服务器承载了更多计算需求后,相应的存储需求也就产生了,主要体现在存储能力和IO能力两方面;除此之外,要想实现虚拟服务器在多台物理服务器间的快速移动,还要求我们的存储系统具备同时为多台服务器提供同一内容数据的能力,即共享能力,便于虚拟机在进行宿主服务器迁移时,能够直接将存储数据从源宿主指向到目标宿主,并快速激活,而不是通过缓慢的数据拷贝方式;再者,由于要为多台宿主服务器提供存储服务,也就意味着虚拟服务器的正常运行依赖于存储系统的可靠性,所以,在私有云系统中,对存储系统的可靠性要求是有明显提供的,作为管理者,相信谁都不愿意看到因为存储系统故障,而导致所以业务系统停顿的情况;最后,为了确保整套系统的连续性,存储系统要具备良好的冗余和维护能力,在常见的诸如更换磁盘、更换电池、存储网络维护的过程中,无需停止存储服务。
那么,总的来看,构建企业级的私有云系统,对存储系统的要求就主要包括了存储能力、IO性能、连接能力、可靠性及可维护性几个方面,另外,作为补充,还包括可扩展性、升级性等方面。
第二个问题,私有云系统中的存储系统关键指标需求如何估算?
前面说到的,大家可能会觉得没有意义,因为目前市面上销售的几乎所有的存储系统都能满足这些要求。但如果我们正在面对构建这样一套系统,我们该从哪些方面进行评估,就要参考前面提到的几个关键能力指标了。
首先,我们先来看看关于设备的存储容量,我们该如何去计算呢。和传统运维模式一样,私有云系统的存储系统也需要满足业务存储和数据备份的空间需求,同时,作为虚拟化系统的特性之一,根据管理需要,我们可能还需要为快照准备额外的存储空间,方便我们的测试、更新和快速备份工作。那么,在存储容量需求方面,我们的经验是,存储系统的总容量需求,分为四个部分,即业务需求、备份需求、快照需求及增量需求。其中,业务需求就是我们私有云系统需要承载的业务负载所需的真实存储需求,主要由操作系统、平台软件及用户数据组成,把所有业务系统的这三个方面的数据加起来,就是我们的业务需求容量了。特别需要注意的是,因为我们将数据增量单独考虑了,所以业务需求容量是不包含数据增量需求的;接下来我们来看看备份需求,在传统运帷模式时代,我们的备份内容主要是数据,操作系统、平台、配置等内容往往不在我们的备份范围之内,原因很简单,在传统运帷方式下,受到硬件配置差异及裸系统恢复不便等限制的影响,全系统备份的实际价值和恢复难度都不理想,在基于虚拟化技术的私有云平台中,这一情况得到了根本的改变。
由于虚拟机的硬件是被虚拟中间层软件定义的,这就意味着所有虚拟机的硬件环境是可以方便创建和变更,而不再受到物理硬件的影响,使全系统备份和裸系统恢复变得异常简单,所以,在私有云环境下,全系统部分将成为备份的主体,其存储资源的需求也就可以基于业务服务器实际的存储需求来估算了。在人教社,我们的常规业务服务器的数据备份存留时长为7天,关键业务服务器的数据备份则会超过半年,总体来看,数据备份所需要的存储空间,大约使业务需求容量的1.5倍左右,即1TB业务数据,需要1.5TB的备份空间;快照空间需求包含备份用途的快照开销和运帷用途的快照开销,其中,备份快照开销主要用于备份过程中的快速数据准备,而运帷用途快照则用于补丁部署和应用更新阶段的系统快速回滚。备份开销以全平台中存储容量最大的系统的存储需求为界限,加上未来一段时间的数据增量即可,例如数据密集型的ECM系统的存储使用为35TB,未来两年的数据增量约在10TB左右,则准备45T的备份快照空间即可。这里需要注意的是,快照空间受到单一磁盘阵列边界的限制,即如果你有多个磁盘阵列系统,则需要在每个磁盘阵列上单独规划备份快照空间。运帷快照的磁盘需求不大,预留全部业务数据2%存储空间即可;最后,对于数据增量的存储需求,每个企业根据自身业务特点的不同有所区别。人教社的数据增量存储空间保持在业务需求、备份需求及快照需求综合的15%-30%区间。
说完了存储空间需求,我们再来看看IO需求。说到IO性能,几乎所有的技术控们都会无休止的追求更高、更快、更强的目标,但在当下企业成本控制越来越严格的形势下,提出合理的IO需求估算,有利于突出选型方案的科学性。由于各种业务系统的IO性能需求存在差异,即使是同一种业务系统,在不同企业的IO消耗也由差别,所以IO性能需求很难用一个计算公式去简单的核算,但我们依然可以根据一些经验来宏观的估计一套私有云系统的IO需求。以人教社各类型的业务为例,其IO需求大体情况为:
应用 50IOPS 5MB/S 吞吐
数据库 140IOPS 15MB/S
邮件系统320IOPS 20MB/S
VDI桌面 15IOPS 4MB/S
网站 1400IOPS 18MB/S
文件服务器 80IOPS 9MB/S
根据这些参考,我们可以粗旷的估计出私有云系统的存储IO需求。除了估算实际IO需求外,我们还要为IO需求变化及未来新增IO需求留出空间。当估算出总体IO需求后,选择存储设备时,新设备的满配情况下最大IO能力应至少高于总体IO需求估值的1.5倍以上,以便在IO性能不足时,能够进行性能扩充。在这里特别需要注意的是,磁盘阵列系统的IO性能与装备的磁盘数量有直接关系,即装备的磁盘数量越多,则IO性能越强。对于IT系统对IO性能需求比较大的企业,SSD加磁盘的混合模式可以在装备较少磁盘数量的情况下,得到几倍于传统磁盘的IO性能,是平衡磁盘数量和IO性能的很好手段。
容量需求和IO性能需求是两个最关键的指标,完成了这两项需求的估算,基本上就可以开始寻找相应的阵列产品了。
第三个问题,iSCSI、FC、FCoE如何选?
这是一个历史悠久的话题了,大家在度娘上随便就能找出上千篇相关文章,在这,我就不做更多的阐述了。在当下SAN网络的构建成本和FCoE系统差距越来越小的情况下,人教社选择了SAN,它提供了足够的性能、可靠性和可管理性,而更重要的是,使用了SAN网络,存储工程师再也不用和网络工程师去讨论性能分配的问题了。
最后一个问题,也是最重要的一个问题,企业私有云系统的存储系统架构该如何规划?
其实每个企业的IT都有自己的特点,任何一种存储架构都有它的优势和劣势,在这和大家分享几个我这几年做私有云存储系统建设的小心得,希望能对大家的存储系统规划有所帮助:
1.部署的阵列系统越少越好,管理更多的陈列,只会增加工作量。如果已经在使用大量小型磁盘阵列,用一个大型的代替它们是值得的。
2.尽可能保证架构简单,能不用FC交换机就不用。
3.对于虚拟化系统,快照功能是必须的。
4.阵列的可靠性高于一切,不怕慢,就怕站。
5.如果IO很大,上SSD吧,2%的容量就行。
6.私有云的备份,磁盘是必选的。
7.对于私有云,现阶段的存储虚拟化水平是在用人力投入换硬件投入,趋势很清楚,人力成本在涨,硬件成本在降,除非你存储管理经验丰富,否则慎用。
8.RemoteMirro是好东西,本地可以做阵列间冗余,远程可以做灾备。
9.不要完全信任集成商,对于私有云,他们多数仍在学习期,让自己强大起来是正道,另外就是相信高手在民间。
10.私有云系统中,存储系统最重要,搞好了一切就都好了。
更多私有云项目加盟请访问:https://www.admin5.com/xm/list-17.html
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
据公开数据显示,全球云计算市场规模的增量曾不断上升趋势。2019年,以IaaS、PaaS和SaaS为代表的全球云计算市场规模达到1883亿美元,增速20.86%,预计在未来几年间,市场平均增速为18%左右,到2023年,市场规模将超过3500亿美元。
房地产行业旗舰企业、中国第一代商品房缔造者——越秀地产,通过基于ZStackCloud的超融合一体机ZStackCube,建设私有云共用的超融合资源池,全面实现了混合IT架构。
据大数据不完全统计,2019年全国新增上云企业超过38.8万家,且市场规模达到288亿元,预计今年将达到449亿元,增长率为55.9%。
近日,赛迪顾问发布《2020私有云系统平台市场研究》,通过10多张数据图表对中国私有云系统平台市场进行了详细解析,并发布“中国私有云系统平台厂商竞争力象限分析图”。研究报告中,赛迪顾问还在业内首次定义了新一代私有云,提出新一代私有云两种主流模式。
通过【百宝云】“私有云”平台所搭建的系统,能拥有独立的服务器、ip、存储、可用企业自己的域名、企业自定义Log、对接自己的企业微信公众号,支持对接第三方系统(例如聚水潭、淘宝、天猫等),完全是为企业量身定制系统,便于管理效率提高,降低成本。
信创即信息技术创新,是指通过自主研发、技术创新等方式,实现信息技术的自主可控,降低对外部技术的依赖,提高国家信息安全保障能力。
第三届828B2B企业节正在全国如火如荼进行中。作为中国首个以“提升企业数字化能力、助力企业稳健快速成长”为目标的B2B企业节,828B2B企业节由华为云联合上万伙伴共同发起,目的是为了打通数字化供需天堑,让科技企业和有数转智改需求的中小企业能在一站购平台上完成对接,实现成就好生意,成为好企业的节日
当今世界经济局势复杂多变,企业面临着越来越激烈的市场竞争。在生产方式不断随着科技水平的发展而提升的同时,各个行业企业产品之间的差距越来越小,企业单纯依靠产品很难在如今的市场竞争中取胜。因此,如何为企业寻求更加富有竞争力的销售能力提升办法,成为了企业普遍更加看重的问题。赵峰,现任北京正信启德管理顾问有
零售经营者正处在一个历史性的转折点上。一方面,中国的零售产业已经发展到门店渠道饱和的状态,优胜劣汰会是零售产业未来一段时间内的主旋律;一方面,中国消费者的价值观出现了显著变化,零售快消市场已经进入“性价比时代”。为此,百望云总结服务诸多零售快消经营者的经验,集合产品与技术,推出了数字化解决方案,并取
受限于三元材料以及磷酸铁锂电池在能量密度、安全性、循环寿命等多方面的限制,纯电汽车产品始终无法完成对传统燃油车的致命一击。在此背景下,优势明显的固态电池被寄予厚望,众多车企以及电池企业纷纷加码这一细分领域,以求占领技术制高点。目前,业界普遍将全固态电池小批量量产上车的时间节点定在2027年左右,大规
嘿,朋友们!矢量智控(南京)科技有限公司官网www.ivcon.cn8月31日正式启用啦!这将是矢量智控的重要里程碑,期待为AI+工业与制造业带来更深入、更全面的服务。矢量智控作为南栖仙策旗下工业智能决策品牌,专注为高端装备和复杂流程工业提供自主智能控制产品和方案。产品积淀前沿AI技术我们根据产品的
北京时间9月2日凌晨,科沃斯机器人CEO钱程的一条朋友圈引起业内关注,抢先揭示了科沃斯将在2024德国柏林IFA展推出其地宝X系列新品。从简短的内容中可以窥见,科沃斯内部对于这款新品的信心和期待。从钱程朋友圈流出的图片来看,猜测科沃斯此次新品将重点围绕地面顽垢清洁的提升以及二次污染的问题解决。截至上
经过多年坚持不懈的努力,以色列AudioPixels公司和中国地球山微电子公司双方联合研制的数字像素级MEMS扬声器技术取得重大突破。据AudioPixels官方发布消息显示:新研制的第二代MEMS扬声器(GEN-II)所达到的声压级(SPL或“响度”)已被验证符合其商业化可行性的数字声音重建(DS
2024年8月29日,深圳国际3D打印、增材制造展览会(Formnext+PMSouthChina)在深圳国际会展中心13号馆隆重举行。本次展会以其丰富的活动与论坛,再次彰显了3D打印技术在商业发展中的广泛应用,尤其是在新兴的“3D打印农场”建设领域,纵维立方的两款新品在农场主群体中备受关注,并宣布
8月30日,招商银行在上海举办了“招银浦江数字金融生态大会”,拓元智慧科技有限公司(以下简称“拓元智慧”)应邀参加本次大会。拓元智慧以其在人工智能领域的深厚积累与前沿探索,吸引了众多行业内外人士的关注。公司首席科学家王广润博士在论坛上发表了题为《新型多模态大模型的前沿技术及产业化实践》的报告,深入探