超融合基础架构(Hyper-Converged Infrastructure,或简称“HCI”)也被称为超融合架构,超融合架构起初是受到
谷歌、Facebook 等大型互联网公司通过软件定义技术构建大规模
数据中心的启发,结合虚拟化技术和企业IT的场景,为企业实现可扩展的 IT 基础架构。
定义
超融合基础架构(Hyper-Converged Infrastructure,或简称“HCI”)是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。超融合(甚至超超融合)在本地很容易实现:将计算、网络和存储都集成在一个设备内,并且通过它由供应商预先配置好且差不多到手就可以使用。
人机交互是实现“软件定义数据中心”(SDDC)的终极技术途径。
超融合架构(Hyperconvergence Infrastructure, HCI)将虚拟化计算和存储整合到同一个系统平台。简单的说就是物理服务器上运行虚拟化软件(
hypervisor),通过在虚拟化软件上运行分布式存储服务供
虚拟机使用。分布式存储可以运行在虚拟化软件上的虚拟机里也可以是与虚拟化软件整合的模块。广义上,除了虚拟化计算和存储,超融合架构还可以整合网络以及其它更多的平台和服务。当前业界普遍的共识是:软件定义的分布式存储层和虚拟化计算是超融合架构的最小集。
软件定义分布式存储 是超融合的核心。分布式存储解决了集中式共享存储应用在虚拟化场景里的问题:
·基于传统集中式共享存储的架构 :
·异构硬件,成本高,升级困难
·集中式存储架构,存单点故障风险
·存储控制器数量有限,无法扩展
·无法充分发挥 SSD 性能,I/O 易成瓶颈
·管理运维复杂
超融合平台特征
• 基于 x86 通用硬件平台,软件定义存储
在通用的 x86 架构下,借助SSD、10 GbE 网络等高速硬件,通过软件的方式实现存储池化、快照、克隆、分层、精简配置等企业级的数据功能。
• 按需水平扩展
Share-nothing 的架构设计,通过增加节点的方式弹性水平扩展,整个集群无扩展瓶颈。
• 统一的管理平台
虚拟化计算和存储在同一个平台进行管理,管理员在同一套平台下进行性能、容量的监控,问题排查等运维工作。
• 简化交付
交付简单,通常软硬
一体机能做到“插电即用”。软件交付方式也能在内较短的时间(通常 1 小时内)完成集群安装和部署。
超融合厂商典型代表有Nutanix、
威睿、
SMARTX、Maxta等,如上文所述,超融合的核心在存储,这些厂商都针对虚拟化场景实现了分布式存储,如:Nutanix 的 NDFS,
威睿 的 vSAN、SmartX 的 ZBS、Maxta 的 MxSP 。
超融合存储厂商抓住的是
sdc虚拟化规模增大后的存储痛点问题(如性能、容量、运维、
易用性问题),为虚拟化数据中心构建更快、更易扩展、更易用的存储解决方案,降低数据中心的整体拥有成本。
组成
超融合系统将存储和计算功能集成到一个单一节点(或节点集群,每个节点都提供计算和存储功能),超融合系统都具有以下通用核心组件:
(1)
分布式存储系统:构建在虚拟化平台之上,在服务器虚拟化基础上,通过部署存储
虚拟设备的方式,对本地存储资源进行虚拟化,再经集群整合成资源池,为应用
虚拟机提供存储服务。
(2)高速网络:GE/10GE
以太网交换机,或者Infiniband
光纤交换机为
分布式计算和存储集群提供可扩展和
高可用性的网络通道。
(3)统一管理平台:其管理程序除了提供
HDD或SSD硬件抽象层之外,还提供工作负载邻接、冗余、故障迁移、管理和容器化作用。
因此,超融合架构可以基于X86服务器等低单价企业服务器为基础,对服务器的内置硬盘资源进行虚拟化,提供raid后的存储空间供服务器使用。服务器采用集群的方式部署在
数据中心的多个机架内,通过机架间及机架内的高速二层交换网络提供极高的连接可靠性。整个超融合集群系统,以一个2UX86机架服务器提供40TB裸容量为例,一个100个服务器组成的集群可以提供4PB的存储容量,可满足90%以上企业的业务增长需求。通过批量采购的商用服务器可使基于超融合架构建设的数据中心可具有较高的
性价比。
特点
超融合基础架构继承了融合式架构的一些特性,同样都是使用通用硬件服务器为基础,将多台服务器组成含有跨节点统一储存池的群集,来获得整个虚拟化环境需要的效能、容量扩展性与数据
可用性,可透过增加群集中的节点数量,来扩充整个群集的运算效能与储存空间,并透过群集各节点间的彼此数据复制与备份,提供服务
高可用性与数据保护能力。而为能灵活地调配资源,超融合架构也采用了以
虚拟机(VM)为核心,软件定义方式来规画与运用底层硬件资源,然后向终端用户交付需要的资源。
1、运算单元与储存单元的融合
传统的存储区域网络架构使用的运算和储存单元是分离的。传统的服务器外接SAN
交换机、储存设备等,超融合架构则将运算和储存单元合二为一。这样每个服务器节点单元同时可提供运算资源和储存空间,每一台超融合架构的服务器节点就相当于传统服务器外接SAN交换机和储存设备,即使用服务器节点的
磁盘驱动器来提供需要的储存空间。
2、实际的硬件资源与虚拟化平台的完整融合
超融合架构是通过虚拟化平台软件来合理硬件资源的,运算资源和储存资源都是通过
虚拟机来合理调配使用,是一种以虚拟机为核心的虚拟化应用。另外,超融合架构的运算资源和储存资源都是软件定义化的,硬件部份只是一台普通的通用硬件服务器,用户使用的虚拟机与储存空间完全依靠
hypervisor等软件所构建,隔绝了用户与底层的物理设备。
3、更易于管理的超融合架构
在融合式架构中,由于运算与储存资源是由各自独立的服务器与储存设备来提供,操作管理也是独立的,管理者必须分别透过不同的管理工具来管理这两种设备。管理者须在储存设备上从LUN、连接映像等这些设定着手,然后再将设定好的储存装置
挂载到服务器主机上,通过Hypervisor提供给VM使用。超融合架构,运算与储存二合一,只需单一的平台就可同时管理运算和储存资源的设定。用户可根据自身需要来设定运算与储存资源的服务等级,实际资源的分配可由管理平台自动完成,管理变得轻松而简单。
4、纵向构建和横向扩展
超融合架构由于把运算与储存融合在一台设备,每台超融合设备都含有独立、完整的运算、储存硬件资源,所以每台设备也就构成了一个独立的基础单元。通过丛集架构,用户可以以一台超融合设备为单元,以堆叠的方式将更多的节点加入到丛集中,来扩展整个超融合架构丛集的容量。
超融合技术
概念
超融合技术,又称“超融合架构技术”,是指在单个一体化基础架构中同时具备计算、存储、网络和虚拟化等资源和技术的架构。超融合架构打破了传统的服务器、网络和存储的孤立界线,将CPU、
内存、存储、网络、虚拟化技术整合在一台设备上,每一台设备作为一个单元节点,多节点通过网络聚合实现模块化的无缝横向扩展,形成统一的资源池。
超融合架构以通用x86服务器为基础,通过集成计算、存储、网络及虚拟化技术,汇聚单台服务器的存储形成跨多个节点统一
存储池的集群,提供更好的性能和扩展性。通过增加集群中的节点数量,即可扩展整个集群的计算性能和存储容量,并通过集群各节点间彼此的数据复制与备份,提供服务
高可用性与数据保护能力。
技术特点
1、融合
传统架构下的计算资源和存储资源是分离的,服务器通过SAN
交换机与存储设备连接获取存储空间。超融合技术改变了传统服务器、存储、网络相互孤立的基础架构,实现计算资源、存储资源和网络资源的统一融合,每一台超融合节点单元可同时提供计算资源和存储空间。超融合架构采用软件定义的体系结构,不再依赖于硬件,计算、存储、网络完全虚拟化并由软件控制。服务器和存储得到了统一的部署和管理,并为整个虚拟化体系提供了简单、通用的管理和自动化平台。
2、敏捷
超融合技术通过软硬件一体化的融合,实现设备快速交付、架构弹性伸缩、业务敏捷部署和系统精简运维。超融合
一体机在出厂时已根据需求完成硬件的集成和软件的安装,设备上架开机即可交付使用,极大简化了设备安装调试的复杂度。超融合技术基于虚拟化和软件定义,构建扁平化、随需而变、弹性可扩展的敏捷架构,所有资源均可按需部署、灵活调度和动态扩展。传统架构下的计算资源、存储资源和网络资源由不同的设备提供,管理者必须分别通过不同的管理工具管理多种设备,超融合架构下只需通过单一的平台即可同时管理计算、存储和网络资源,降低运维难度,实现精简运维。
3、安全
超融合技术实现了计算、存储和网络资源的融合,原来分散在不同服务器和存储设备上的数据全部集中在超融合节点本地
磁盘上,系统及数据的安全风险随即凸显。超融合架构采用集群管理方式,系统出现故障时能够自动在其他节点设备上重启,避免物理环境的
单点故障。数据多副本机制实现数据分散存放,不同数据副本放在不同的超融合节点上,当一个节点出现故障时,仍然可以依靠其他节点上的数据副本继续对外提供服务,有效保障业务连续性和
数据安全。
4、开放
超融合架构采用软硬件解耦架构,在服务器层面,超融合架构能够在任何x86服务器上运行,与物理服务器的硬件配置无关,无需修改上层系统和应用即可运行;在存储层面,超融合架构支持与各种类型的外置存储进行对接,将数据存储到外置存储或使用外置存储作为备份介质;在网络层面,超融合架构无需依赖任何支持特定协议的网络设备,支持与现有网络设备组网连接。超融合架构能够为上层应用屏蔽底层复杂和异构的基础架构,对主流操作系统和应用进行
兼容性适配和性能优化集成。
关键技术
1、服务器虚拟化
超融合基础架构
服务器虚拟化是整个超融合架构中的核心组件,基于裸金属架构的虚拟化程序直接运行在服务器上,实现对服务器物理资源的抽象,将CPU、
内存、
HDD等服务器物理资源转化为一组可统一管理、调度和分配的逻辑资源,并基于这些逻辑资源在单个物理服务器上构建多个同时运行、相互隔离的
虚拟机执行环境,实现更高的资源利用率,减少系统管理的复杂度,加快对业务需求的响应速度,提供高可靠、高可用的应用服务。
2、存储虚拟化
存储虚拟化是将集群各节点服务器上独立的硬盘存储空间进行组织聚合,构成一个共享的存储资源池,所有的存储资源在这个存储池中统一管理,实现存储资源的自动化管理和分配,构建高效灵活的存储架构与管理平台,提供高可靠、高性能存储。存储虚拟化基于分布式存储系统,融合了
分布式缓存、SSD读写缓存加速、多副本机制等多种存储技术,在功能上与独立共享存储完全一致。存储虚拟化通过SSD
CPU缓存,可以大幅提升
服务器硬盘的I/O性能,实现高性能存储和业务高效可靠运行。存储虚拟化采用多副本机制,一份数据同时存储在多个不同的物理服务器硬盘上,提升数据可靠性,保障关键业务安全稳定运行。此外,由于存储和计算完全融合在一台服务器上,省却了外置
磁盘阵列的控制器、
光纤交换机等设备,达到了
降低成本的目的。
3、网络虚拟化
网络虚拟化通过实现网络中所需的各类网络连接服务(包括
路由、交换、安全、负载均衡等)按需分配和灵活调度,提供了全新的网络连接运维模式,解决了传统硬件网络的众多管理和运维难题,可满足业务应用对网络快速、灵活自动化部署的需求。
基础架构
超融合架构 :
基于通用 x86 平台,成本可控
软件定义,灵活升级
智能 HDD/SSD 混合存储,极致 I/O 性能
统一管理平台,简化运维
超融合架构将围绕虚拟化计算的存储、网络集成到了同一个硬件盒子中,生态系统涵盖软件和硬件厂商,因其核心是软件,在这里我们集中讨论三类有代表意义的软件厂商,而并不展开讨论整个生态系统:
“超融合存储”厂商,作为“超融合”架构概念的来源,Nutanix、
SMARTX、Simplivity等超融合存储厂商通过其稳定、高性能、丰富的企业级数据保护特性的存储构建了
核心竞争力,是目前“超融合”生态圈的核心玩家之一。
“
威睿”,作为虚拟化领域的霸主,VMware为保卫VMware生态系统推出vSAN和EVO:RAIL,借助
VMware vSphere的市场份额,推广其超融合存储解决方案,是目前“超融合”生态圈的第二个大玩家。
“Openstack等开源阵营”,
OpenStack厂商乘风借势,借助开源项目
Ceph也推出了自己的超融合解决方案,与超融合存储厂商和VMware一起,初步形成了超融合存储市场的三类玩家。
优势
1、极简的架构
超融合架构直接将存储分散部署到每台PC服务器上,在服务器上部署了快速的闪存盘和大容量传统机械
磁盘,来应对系统高IO需求和大容量存储的需要。因此,超融合架构能实现高速访问本地数据,无需跨网络访问。超融合架构还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素,多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池,它的扩展方式变为横向增加节点即可。通过这种标准化的模块,用来搭建
数据中心无疑是非常方便的,这不仅大大方便客户的搭建管理,同时也增强了系统的灵活性,同时让部署和运维都更简单。
(1)让系统更灵活
随着
云计算和大数据时代的来临,企业需要IT系统能够快速的跟上业务需求。超融合让系统的扩展更灵活。客户只需要根据需求购买相同的配置,就可以快速的实现IT系统的扩展。
(2)部署更简单
超融合在于对服务器、存储、网络的融合,由于采用开箱即用的部署方式,大大简化规划、连接、配置等复杂的管理操作。像
乐高一样,只需要相同的模块,根据客户的需求,就可以搭建出各种各样的模型。乐高积木就相当于超融合,而搭建出来的模型就是
数据中心。交付时间可以从过去的十几天缩短到一两天,大大缩短交付的时间。
(3)运维更简单
与传统架构相比,超融合架构管理更为简单,传统架构下,虚拟化、服务器、存储、网络四层需要分别进行管理配置,非常的复杂和繁琐,超融合将这些功能集成到一个用户界面上,用户可以在一个运维界面上,实现计算和存储的资源池化、CPU/
内存/存储等资源的动态分配、
虚拟机的创建和启动,给用户带来极大的便利。总的来说就是,超融合架构具备了统一的
系统管理、监控、维护等特点。
2、高可靠性
通过全部功能组件的全部软件定义,企业级云实现了硬件无关的分布式架构,可以做到硬件故障不影响业务。平台内嵌的CDP功能,当管理员误删除数据库或业务系统遭遇
勒索病毒时,可将数据一键恢复到过去3天内的任意1秒。DRX/DRS智能调度技术,保障业务不因资源不足而导致不可用。
3、高性能
企业级云通过分布式存储分层技术、逻辑条带化技术,以及通过优化NUMA和大页
内存技术等,充分满足互联网业务、实时交易系统、BI分析等业务,以及OracleRAC、
MySQL等数据库集群和ERP、MES、HIS等关键应用对性能的高需求。
4、高安全性
企业级云能够为用户提供平台安全、
数据安全、应用安全、边界安全+云端安全的4+1立体式安全防护体系,由内而外构建
数据中心坚固的安全防护堡垒。当用户有安全合规需求时,通过安全中心提供完整的安全规划建议、安全建设模板,真正做到安全可视,帮助用户快速构建自己的云安全体系。
采用超融合架构,用户的整体拥有成本(TCO)将明显降低;利用超融合设备,不但可以快速搭建出一个数据中心,更重要的是,利用超融合这种方式,能够让客户在搭建过程更方便,客户不需要再对基础设施进行调研,只需要了解自己的需求,同时了解到超融合设备,这样就能够快速的实现搭建。在应用方面无疑大大节省了企业的成本。
融合与超融
超融合基础架构的迅速发展使得管理员可以在更多的虚拟化存储解决方案当中进行选择。
尽管现在市场上已经拥有多种软件定义存储和存储虚拟化解决方案,但是存储的本质并没有发生变化。
虚拟机体积不会减小,数量也不会降低。对于现在已经拥有超融合基础架构的企业来说,部署和管理专用超融合基础架构和网络是一种十分宝贵的经验。尽管这种方式通常需要在硬件和人员方面进行大量投资,但是可靠性和性能表现也是非常值得称道的。现在,超融合基础架构产品也能够提供很多相关功能,比如数据镜像、去重复化、加密和
灾难恢复等。
融合基础架构
融合和超融合基础架构的出现为企业带来了存储方面的困惑:如何为现有虚拟化环境选择理想的存储解决方案,并且保证其能够适应未来的发展趋势?为了做出正确的决定,管理员需要理解融合和超融合基础架构之间的区别,以及传统存储硬件将继续扮演怎样的角色。
超融合基础架构。这是一种将计算、网络和存储等资源作为基本组成元素,根据系统需求进行选择和预定义的过程。这种方式基于现有的硬件模块,因此能够实现快速扩展,并且如果不同模块之间相互兼容,那么扩展过程将会非常简单。超融合基础架构这种预配置产品前期会产生大量开销,因为企业不仅需要支付技术费用,还需要请厂商完成完成相关集成工作。随着时间延长,超融合基础架构总拥有成本能够控制在合理范围之内。用户在更改和升级基础组件方面拥有部分灵活性,但仅限于超融合基础架构厂商允许的范围之内。在超融合基础架构当中,存储控制器仍然是硬件设备,并且由“传统”存储区域网络(SAN)或者网络附加存储(NAS)解决方案所控制。这种方式更加类似于将传统的
数据中心组件封装在一个专用容器当中。
超融合基础架构。“超级”融合基础架构意味着既利用融合基础架构的现有优势,又增加了额外的软件层,将计算、网络和存储等资源封装在单个容器当中,而不是以基础组件的形式提供。借助于Nutanix或者EVO:RAIL等相关产品,超融合基础架构可以在存储硬件当中不再使用存储控制器,将这项功能加入到hypervisor层的
Microsoft Azure当中。将存储控制器转换为软件服务可以在功能方面提供更大的灵活性。这种“分散式”超融合基础架构能够降低专用超融合基础架构和网络的复杂性。在降低本地存储开销的同时,提供许多高级特性,比如复制和去重复化。
由于能够解决企业当中的许多存储问题,融合和超融合基础架构产品已经获得了大量关注。如果超融合基础架构尝试在存储平台当中使用标准服务器,那么会在硬件耐用性和性能方面遇到问题。因此可以通过在超融合基础架构当中应用软件定义存储特性来解决这些问题,因为超融合基础架构主要用途就是处理虚拟环境当中的负载。
超融合基础架构相关功能
软件定义存储和超融合基础架构化为企业提供了很多新的特性。企业需要根据现有超融合基础架构或者将要部署的存储和虚拟化环境来决定使用哪些特性。仍在使用超融合基础架构的企业也许不会做出巨大变化或者替换现有超融合基础架构,他们将会想要利用软件定义存储技术来添加新的超融合基础架构功能。同样的道理还适用于想要使用企业级应用程序、需要专用
带宽来共享传统SAN/NAS的情况。在虚拟化超融合基础架构当中使用这些技术是一种可信赖的方式,但是最大的问题在于找到一种能够降低超融合基础架构的平均成本的方式。
虚拟化环境当中的超融合基础架构存储解决方案需要针对不同环境进行相应调整。没有人会怀疑虚拟化技术的价值,但是将
hypervisor存放在哪里是一个极具争议性的话题。
超融合基础架构存储还没有像计算平台那样成为一种成熟技术,企业需要评估成本、复杂性、可靠性和性能表现等多种因素。
评估超融合基础架构存储方案
从存储的角度来说,超融合基础架构更加引人关注。从硬件角度来说,将计算、网络和存储集中到相同的平台当中是一种理想的迁移方式。此外,将超融合基础架构存储控制器由硬件组件转变成为软件服务(可以由管理员进行控制,不需要长时间培训)也是一种合理并且受欢迎的做法。
如果预测一下
数据中心的未来,虚拟化和超融合基础架构存储发展将会成为主要趋势。Nutanix已经成为超融合基础架构领域当中的市场领导者。推动
威睿 EVO超级融合基础架构产品不断发展。尽管尝试预测未来是一件非常复杂的事情,但是对于超融合基础架构存储来说,厂商应该实现产品在成本、灵活性和性能表现之间的最佳平衡。作为用户,我们有多种选择,不论是在存储还是超融合基础架构领域当中。
谨慎的IT规划通常会包含多种超融合基础架构内容,但是虚拟化、
云计算和存储应该成为讨论的核心。企业希望预测这些领域未来将会发生怎样的变化,所以实际上,企业是在选择一种面向未来的超融合基础架构,也就是现在做出的选择需要为以后留出适应空间。
目前,大家可以看到来自IDC发布的《2015H1中国超融合市场厂商份额报告》,有提到一个重要的数字:3.97千万美金,这就是中国超融合市场规模在2015年上半年的总体数字。
从这个简单的数字可以发现,超融合在中国的发展状态已经非常不错了,只是2015半年的数据就已经超过了2.4亿多人民币市场规模了。
其中,业内人士透露:联通沃云基于OpenStack并采用
SMARTX超融合产品,目前是中国最大规模部署的系统了。