A. 如何解决服务器虚拟化中的存储问题
但也因为虚拟化的特性,为承载环境中不断增长的虚拟机,需要扩容存储以满足性能与容量的使用需求。IT经理们已经发现,那些因服务器虚拟化所节省的资金都逐渐投入存储购买的方案上了。 服务器虚拟化因虚拟机蔓延、虚拟机中用于备份与灾难恢复软件配置的问题,让许多组织彻底改变了原有的数据备份与灾难恢复策略。EMC、Hitachi Data System、IBM、NetApp和Dell等都致力于服务器虚拟化存储问题,提供包括存储虚拟化、重复数据删除与自动化精简配置等解决方案。 服务器虚拟化存储问题出现在数据中心虚拟化环境中传统的物理存储技术。导致虚拟服务器蔓延的部分原因,在于虚拟服务器可能比物理服务器多消耗约30%左右的磁盘空间。还可能存在虚拟机“I/O 搅拌机”问题:传统存储架构无法有效管虚拟机产生的混杂模式随机I/O。虚拟化环境下的虚拟存储管理远比传统环境复杂——管理虚拟机就意味着管理存储空间。解决服务器虚拟化存储问题 作为一名IT经理,你拥有解决此类服务器虚拟化存储问题的几个选项,我们从一些实用性较低的方案开始介绍。其中一项便是以更慢的速度部署虚拟机。你可以在每台宿主上运行更少的虚拟机,降低“I/O混合器”问题出现的可能性。另外一个方法则是提供额外存储,但价格不菲。 一个更好的选择是在采购存储设备时,选择更智能的型号并引入诸如存储虚拟化,重复数据删除与自动化精简配置技术。采用这一战略意味着新技术的应用,建立与新产商的合作关系,例如Vistor、DataCore与FalconStor。将存储虚拟化作为解决方案 许多分析师与存储提供商推荐存储虚拟化,作为服务器虚拟化存储问题的解决方案。即使没有出现问题,存储虚拟化也可以减少数据中心开支,提高商业灵活性并成为任何私有云的重要组件之一。 概念上来说,存储虚拟化类似服务器虚拟化。将物理存储系统抽象,隐藏复杂的物理存储设备。存储虚拟化将来自于多个网络存储设备的资源整合为资源池,对外部来说,相当于单个存储设备,连同虚拟化的磁盘、块、磁带系统与文件系统。存储虚拟化的一个优势便是该技术可以帮助存储管理员管理存储设备,提高执行诸如备份/恢复与归档任务的效率。 存储虚拟化架构维护着一份虚拟磁盘与其他物理存储的映射表。虚拟存储软件层(逻辑抽象层)介于物理存储系统与运行的虚拟服务器之间。当虚拟服务器需要访问数据时,虚拟存储抽象层提供虚拟磁盘与物理存储设备之间的映射,并在主机与物理存储间传输数据。 只要理解了服务器虚拟化技术,存储虚拟化的区别仅在于采用怎样的技术来实现。容易混淆的主要还是在于存储提供商用于实现存储虚拟化的不同方式,可能直接通过存储控制器也可能通过SAN应用程序。同样的,某些部署存储虚拟化将命令和数据一起存放(in-band)而其他可能将命令与数据路径分离(out-of-band)。 存储虚拟化通过许多技术实现,可以是基于软件、主机、应用或基于网络的。基于主机的技术提供了一个虚拟化层,并扮演为应用程序提供单独存储驱动分区的角色。基于软件的技术管理着基于存储网络的硬件设施。基于网络的技术与基于软件的技术类似,但工作于网络交换层。 存储虚拟化技术也有一些缺陷。实现基于主机的存储虚拟化工具实际上就是卷管理器,而且已经流传了好多年。服务器上的卷管理器用于配置多个磁盘并将其作为单一资源管理,可以在需要的时候按需分割,但这样的配置需要在每台服务器上配置。此解决方式最适合小型系统使用。 基于软件的技术,每台主机仅需要通过应用软件查询是否有存储单元可用,而软件将主机需求重定向至存储单元。因为基于软件的应用通过同样的链路写入块数据与控制信息(metadata),所以可能存有潜在瓶颈,影响主机数据传输的速度。为了降低延迟,应用程序通常需要维护用于读取与写入操作的缓存,这也增加了其应用的价格。服务器虚拟化存储创新:自动化精简配置与重复数据删除 存储技术的两个创新,自动化精简配置与重复数据删除,同样是减少服务器虚拟化环境对存储容量需求的解决方案。这两项革新可以与存储虚拟化结合,以提供牢固可靠的存储容量控制保障。 自动精简配置让存储“走的更远”,可减少已分配但没有使用的容量。其功能在于对数据块按需分配,而不是对所有容量需求进行预先分配。此方法可以减少几乎所有空白空间,帮助避免利用率低下的情况出现,通常可以降低10%的磁盘开销,避免出现分配大量存储空间给某些独立服务器,却一直没有使用的情况。 在许多服务器部署需求中,精简配置可通过普通存储资源池提供应用所需的存储空间。在这样的条件下,精简配置可以与存储虚拟化综合应用。 重复数据删除从整体上检测与删除位于存储介质或文件系统中的重复数据。检测重复数据可在文件、字节或块级别进行。重复数据删除技术通过确定相同的数据段,并通过一份简单的拷贝替代那些重复数据。例如,文件系统中有一份相同的文档,在50个文件夹(文件)中,可以通过一份单独的拷贝与49个链接来替代原文件。 重复数据删除可以应用与服务器虚拟化环境中以减少存储需求。每个虚拟服务器包含在一个文件中,有时文件会变得很大。虚拟服务器的一个功能便是,系统管理员可以在某些时候停下虚拟机,复制并备份。其可以在之后重启,恢复上线。这些备份文件存储于文件服务器的某处,通常在文件中会有重复数据。没有重复数据删除技术支持,很容易使得备份所需的存储空间急剧增长。改变购买存储设备的观念 即使通过存储虚拟化,重复数据删除与精简配置可以缓解存储数容量增长的速度,组织也可能需要改变其存储解决方案购买标准。例如,如果你购买的存储支持重复数据删除,你可能不再需要配置原先规划中那么多的存储容量。支持自动化精简配置,存储容量利用率可以自动提高并接近100%,而不需要管理员费心操作维护。 传统存储购买之前,需要评估满足负载所需的存储能力基线、三年时间存储潜在增长率、存储扩展能力与解决存储配置文件,还有拟定相关的采购合同。以存储虚拟化与云计算的优势,购买更大容量的传统存储将越来越不实际,尤其在预算仍是购买存储最大的限制的情况下。以下是一些简单的存储购买指导: 除非设计中明确说明,不要购买仅能解决单一问题的存储方案。这样的做法将导致购买的存储架构无法与其他系统共享使用。 ·关注那些支持多协议并提供更高灵活性的存储解决方案。 ·考虑存储解决方案所能支持的应用/负载范围。 ·了解能够解决存储问题的技术与方案,例如重复数据删除与自动化精简配置等。 ·了解可以降低系统管理成本的存储管理软件与自动化工具。 许多组织都已经在内部环境中多少实施了服务器虚拟化,并考虑如何在现有存储硬件与服务器上实现私有云。存储预算应用于购买合适的硬件或软件,这点十分重要。不要将仅将注意力集中在低价格上。相反,以业务问题为出发点,提供解决问题最有价值的存储解决方案才是王道。
B. 存储虚拟化的存储技术
存储系统必须在能力和性能上直线升级,将问题推给硬件系统并不是解决办法。存储虚拟化需要全新的软件方式来平衡扩容体系架构来实现数以千兆的数据传输和存储。
相关的存储技术主要有以下几点:
基于主机的存储虚拟化依赖于代理或管理软件,它们安装在一个或多个主机上,实现存储虚拟化的控制和管理。由于控制软件是运行在主机上,这就会占用主机的处理时间。
因此,这种方法的可扩充性较差,实际运行的性能不是很好。基于主机的方法也有可能影响到系统的稳定性和安全性,因为有可能导致不经意间越权访问到受保护的数据。
这种方法要求在主机上安装适当的控制软件,因此一个主机的故障可能影响整个SAN系统中数据的完整性。软件控制的存储虚拟化还可能由于不同存储厂商软硬件的差异而带来不必要的互操作性开销,所以这种方法的灵活性也比较差。
但是,因为不需要任何附加硬件,基于主机的虚拟化方法最容易实现,其设备成本最低。使用这种方法的供应商趋向于成为存储管理领域的软件厂商,而且目前已经有成熟的软件产品。
这些软件可以提供便于使用的图形接口,方便地用于SAN的管理和虚拟化,在主机和小型SAN结构中有着良好的负载平衡机制。从这个意义上看,基于主机的存储虚拟化是一种性价比不错的方法。
基于存储设备的存储虚拟化方法依赖于提供相关功能的存储模块。如果没有第三方的虚拟软件,基于存储的虚拟化经常只能提供一种不完全的存储虚拟化解决方案。对于包含多厂商存储设备的SAN存储系统,这种方法的运行效果并不是很好。
依赖于存储供应商的功能模块将会在系统中排斥JBODS(Just a Bunch of Disks,简单的硬盘组)和简单存储设备的使用,因为这些设备并没有提供存储虚拟化的功能。当然,利用这种方法意味着最终将锁定某一家单独的存储供应商。
基于存储的虚拟化方法也有一些优势:在存储系统中这种方法较容易实现,容易和某个特定存储供应商的设备相协调,所以更容易管理,同时它对用户或管理人员都是透明的。但是,我们必须注意到,因为缺乏足够的软件进行支持,这就使得解决方案更难以客户化(customzing)和监控。
一般而言,存储虚拟化的实现方式的另外一种分类方法是将其分为三种:交换架构虚拟化,磁盘阵列虚拟化,以及整合到应用设备内的虚拟化。对于三种不同的虚拟化方式,存储供应商都有各自的独门兵器。飞康的IPStor/NSS 存储虚拟化产品在2001年就已经出现在市场上 ,截止2014年已经正式发布了其第七代存储虚拟化产品,技术成熟度和广泛的应用范围都具备良好的可参考性。飞康 NSS 在接管底层存储子系统的磁盘卷时,可以采用两种方式来实现接入:一种是将底层磁盘卷直接虚拟化为Virtual Disk(虚拟磁盘)以供NSS管理和分配;另一种可将磁盘卷转换为SED(Service-Enabled Devices)磁盘设备以供NSS管理和分配。当转换为SED设备时,磁盘卷原有数据不会被修改,可以快速通过NSS分配给主机系统,整个接入过程非常简单,不需要数据迁移,停机时间很少,当然也可以实现快速回退,磁盘重新分配给原主机系统,可以被正确识别和使用IBM自两年前推出SVC(SAN卷控制器)(IBM SAN Volume Controller 对于存储虚拟化,IBM SAN Volume Controller(SVC)能够将多个磁盘系统的容量整合为一个单一的“容量池”。SVC 可帮助节省空间和能源,并能通过合并来简化存储资产的管理,这将极大地提高现有存储器的利用率,并减少额外的存储需求。)产品后,在这一领域独占鳌头。去年,HDS(日立数据系统有限公司)紧随其后发布了TagmaStore通用存储平台(USP),这是基于磁盘阵列的解决方案。近几个月,EMC公司新发布的Invista网络存储虚拟解决方案则是基于存储交换的解决方案。
C. 虚拟存储系统的虚拟存储的分类
目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下: 图1对称式虚拟存储解决方案的示意图
在图1所示的对称式虚拟存储结构图中,存储控制设备 High Speed Traffic Directors(HSTD)与存储池子系统Storage Pool集成在一起,组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(指定某一个LUN能被哪些端口所见),主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时,用户只需要将数据写入位置指定为自己映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点:
(1)采用大容量高速缓存,显着提高数据传输速度。
缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把多次调用的数据保留在缓存中;当主机读数据时,在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速),因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时,先把数据写入缓存中,待主机端写入动作停止,再从缓存中将数据写入硬盘,同样高于直接写入硬盘的速度
(2)多端口并行技术,消除了I/O瓶颈。
传统的FC存储设备中控制端口与逻辑盘之间是固定关系,访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN;在光纤通道100MB/带宽的大前提下,并行工作的端口数量越多,数据带宽就越高。
(3)逻辑存储单元提供了高速的磁盘访问速度。
在视频应用环境中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为主机提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如大块的I/O block会真正被存储系统所接受,有效提高数据传输速度;并且由于没有带区集的处理过程,主机CPU可以解除很大负担,提高了主机的性能。
(4)成对的HSTD系统的容错性能。
在对称式虚拟存储系统中,HSTD是数据I/O的必经之地,存储池是数据存放地。由于存储池中的数据具有容错机制保障安全,因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样,在成熟的对称式虚拟存储系统中,HSTD是成对配制的,每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。
(5)在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。
因为系统保持了标准的SAN结构,为系统的扩展和互连提供了技术保障,所以在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。 在非对称式虚拟存储系统结构图中,网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列,其中主机的数据路径通过FC交换设备到达磁盘阵列;虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作,将各存储阵列中的LUN虚拟为逻辑带区集(Strip),并对网络上的每一台主机指定对每一个Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时,首先要访问虚拟存储设备,读取Strip信息和访问权限,然后再通过交换设备访问实际的Strip中的数据。在此过程中,主机只会识别到逻辑的Strip,而不会直接识别到物理硬盘。这种方案具有如下特点:
(1)将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽。
(2)在交换机端口数量足够的情况下,可在一个网络内安装两台虚拟存储设备,实现Strip信息和访问权限的冗余。
但是该方案存在如下一些不足:
(1)该方案本质上是带区集——磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失。
(2)由于该方案的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。
(3)由于各种品牌、型号的磁盘阵列其性能不完全相同,如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同,这就意味着原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。 以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同,实际从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。
数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。
虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。
D. 如何解决服务器虚拟化中遇到的存储问题
但也因为虚拟化的特性,为承载环境中不断增长的虚拟机,需要扩容存储以满足性能与容量的使用需求。IT经理们已经发现,那些因服务器虚拟化所节省的资金都逐渐投入存储购买的方案上了。 服务器虚拟化因虚拟机蔓延、虚拟机中用于备份与灾难恢复软件配置的问题,让许多组织彻底改变了原有的数据备份与灾难恢复策略。一些厂商致力于服务器虚拟化存储问题,提供包括存储虚拟化、重复数据删除与自动化精简配置等解决方案。 服务器虚拟化存储问题出现在数据中心虚拟化环境中传统的物理存储技术。导致虚拟服务器蔓延的部分原因,在于虚拟服务器可能比物理服务器多消耗约30%左右的磁盘空间。还可能存在虚拟机“I/O 搅拌机”问题:传统存储架构无法有效管虚拟机产生的混杂模式随机I/O。虚拟化环境下的虚拟存储管理远比传统环境复杂——管理虚拟机就意味着管理存储空间。 解决服务器虚拟化存储问题 作为一名IT经理,你拥有解决此类服务器虚拟化存储问题的几个选项,我们从一些实用性较低的方案开始介绍。其中一项便是以更慢的速度部署虚拟机。你可以在每台宿主上运行更少的虚拟机,降低“I/O混合器”问题出现的可能性。另外一个方法则是提供额外存储,但价格不菲。 一个更好的选择是在采购存储设备时,选择更智能的型号并引入诸如存储虚拟化,重复数据删除与自动化精简配置技术。采用这一战略意味着新技术的应用,建立与新产商的合作关系。 将存储虚拟化作为解决方案 许多分析师与存储提供商推荐存储虚拟化,作为服务器虚拟化存储问题的解决方案。即使没有出现问题,存储虚拟化也可以减少数据中心开支,提高商业灵活性并成为任何私有云的重要组件之一。 概念上来说,存储虚拟化类似服务器虚拟化。将物理存储系统抽象,隐藏复杂的物理存储设备。存储虚拟化将来自于多个网络存储设备的资源整合为资源池,对外部来说,相当于单个存储设备,连同虚拟化的磁盘、块、磁带系统与文件系统。存储虚拟化的一个优势便是该技术可以帮助存储管理员管理存储设备,提高执行诸如备份/恢复与归档任务的效率。 存储虚拟化架构维护着一份虚拟磁盘与其他物理存储的映射表。虚拟存储软件层(逻辑抽象层)介于物理存储系统与运行的虚拟服务器之间。当虚拟服务器需要访问数据时,虚拟存储抽象层提供虚拟磁盘与物理存储设备之间的映射,并在主机与物理存储间传输数据。 只要理解了服务器虚拟化技术,存储虚拟化的区别仅在于采用怎样的技术来实现。容易混淆的主要还是在于存储提供商用于实现存储虚拟化的不同方式,可能直接通过存储控制器也可能通过SAN应用程序。
E. 虚拟存储技术的虚拟存储的分类
目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下: 图1对称式虚拟存储解决方案的示意图
在图1所示的对称式虚拟存储结构图中,存储控制设备 High Speed Traffic Directors(HSTD)与存储池子系统Storage Pool集成在一起,组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(指定某一个LUN能被哪些端口所见),主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时,用户只需要将数据写入位置指定为自己映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点:
(1)采用大容量高速缓存,显着提高数据传输速度。
缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把多次调用的数据保留在缓存中;当主机读数据时,在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速),因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时,先把数据写入缓存中,待主机端写入动作停止,再从缓存中将数据写入硬盘,同样高于直接写入硬盘的速度
(2)多端口并行技术,消除了I/O瓶颈。
传统的FC存储设备中控制端口与逻辑盘之间是固定关系,访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN;在光纤通道100MB/带宽的大前提下,并行工作的端口数量越多,数据带宽就越高。
(3)逻辑存储单元提供了高速的磁盘访问速度。
在视频应用环境中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为主机提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如大块的I/O block会真正被存储系统所接受,有效提高数据传输速度;并且由于没有带区集的处理过程,主机CPU可以解除很大负担,提高了主机的性能。
(4)成对的HSTD系统的容错性能。
在对称式虚拟存储系统中,HSTD是数据I/O的必经之地,存储池是数据存放地。由于存储池中的数据具有容错机制保障安全,因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样,在成熟的对称式虚拟存储系统中,HSTD是成对配制的,每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。
(5)在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。
因为系统保持了标准的SAN结构,为系统的扩展和互连提供了技术保障,所以在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。 图2非对称式虚拟存储系统示意图
在图2所示的非对称式虚拟存储系统结构图中,网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列,其中主机的数据路径通过FC交换设备到达磁盘阵列;虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作,将各存储阵列中的LUN虚拟为逻辑带区集(Strip),并对网络上的每一台主机指定对每一个Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时,首先要访问虚拟存储设备,读取Strip信息和访问权限,然后再通过交换设备访问实际的Strip中的数据。在此过程中,主机只会识别到逻辑的Strip,而不会直接识别到物理硬盘。这种方案具有如下特点:
(1)将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽。
(2)在交换机端口数量足够的情况下,可在一个网络内安装两台虚拟存储设备,实现Strip信息和访问权限的冗余。
但是该方案存在如下一些不足:
(1)该方案本质上是带区集——磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失。
(2)由于该方案的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。
(3)由于各种品牌、型号的磁盘阵列其性能不完全相同,如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同,这就意味着原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。
3.数据块虚拟与虚拟文件系统
以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同,实际从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。
数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。
虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。
F. 什么是虚拟基础架构
利用虚拟基础架构,可以在整个基础架构范围内共享多台计算机的物理资源。利用虚拟机可以在多台虚拟机之间共享单台物理机的资源以实现最高效率。资源在多个虚拟机和应用程序之间进行共享。业务需要是将基础架构的物理资源动态映射到应用程序的 驱动力,即便在这些需要发生变化时也是如此。可将 x86 服务器与网络和存储器聚合成一个统一的 IT 资源池,供应用程序根据需要随时使用。这种资源优化方式有助于组织实现更高的灵活性,使资金成本和运营成本得以降低。 虚拟基础架构包括以下组件:裸机管理程序 ,可使每台 x86 计算机实现全面虚拟化。 虚拟基础架构服务(如资源管理和整合备份),可在虚拟机之间使可用资源达到最优配置 自动化解决方案,用于通过提供特殊功能来优化特定 IT 流程,如部署或灾难恢复。 将您的软件环境与其底层硬件基础架构分离,以便您可以将多个服务器、存储基础架构和网络聚合成共享资源池。然后,根据需 要安全可靠地向应用程序动态提供这些资源。借助这种具有开创意义的方法,我们的客户可以使用价格低廉的行业标准服务器以构造块的形式构建自我优化的数据中 心,并实现高水平的利用率、可用性、自动化和灵活性。 虚拟基础架构的优点 通过领先的 VMware 虚拟化平台构建虚拟基础架构,可在 IT 生产环境中享受 虚拟化带来的好处 。VMware Infrastructure 3 可以将分散的硬件资源统一起来以创建共享动态平台,同时实现应用程序的内置可用性、安全性和可扩展性。它支持多种操作系统和 应用程序环境 ,以及网络和存储基础架构。我们设计的解决方案可独立于硬件和操作系统运行,因此您有广泛的平台选择空间。我们的解决方案提供了关键集成点,使硬件和基础架构管理供应商及合作伙伴能够提供可统一应用于所有应用程序和操作系统环境、具备独特价值的产品。 更充分地利用现有硬件 我们的客户纷纷反映,他们采用我们的虚拟基础架构解决方案后成效显着,其中包括: x86 服务器的利用率提高到 60-80%(在非虚拟化的 PC 中为 5-15%) 每项虚拟化的工作负载每年节省的成本达 3,000 美元以上 新应用程序的部署工作只需几分钟(而不是数天或数个星期)即可完成 从计划外停机中恢复的时间缩短了 85%通过阅读VMware Infrastructure 3 采用趋势
G. 如何设计虚拟机存储架构以规避虚拟存储瓶颈
通过深入了解虚拟机的存储需求,存储管理员可以控制虚拟环境的规模,跟上需求变化的步伐。尽管虚拟环境中存在一些独特的需求,但大部分的需求还是可以参照物理机中同类的存储最佳实践予以解决。用户在设计虚拟机的存储架构时,最重要的是对性能指标进行衡量,还要认真考虑虚拟机对存储空间的需求。在虚拟化环境中,存储管理员通常只关注CPU和内存的限制,存储性能往往是容易被忽略的一个问题。从某些方面来说,虚拟机的管理与物理机的管理差不多,每台虚拟机同样也运行自己的操作系统、应用程序和服务。但是,在设计存储架构时,用户必须要考虑其他一些因素。在深入了解虚拟机的独特需求后,存储管理员才能构建一个稳定的可扩展的数据中心架构,以便保持虚拟机的正常运行。分析磁盘的性能需求对于大多数应用来说,存储架构的设计首先要考虑的就是平均每秒的I/O操作(IOPS)指标。IOPS指的是每秒磁盘读写操作的次数。但是,这个统计指标并不能体现出存储需求的全部特性,还需要考虑其他的存储性能需求,如磁盘I/O活动的类型等。在网络磁盘阵列中,那些虚拟磁盘必须支持虚拟机操作系统。而在一般情况下,其I/O需求常常是频繁的随机读写。内存页面调度也会给那些内存有限的宿主机带来很大的I/O压力。此外,用户还要考虑负载的情况,比如在设计存储架构时,往往要考虑读操作与写操作的比例。这个信息对于进行RAID配置非常有用。将上述这些指标乘以单一存储设备上的虚拟机数量后,用户面对的将是严重的I/O阻塞问题。为解决这个问题,用户必须优化现有的存储解决方案,以支持小规模、非连续的I/O操作。更为重要的是,用户要根据虚拟机对磁盘利用的级别和类型,合理地分布它们。基于网络的存储方法很多IT架构中混合使用了NAS、SAN和iSCSI存储,以支持所有的物理服务器。这些存储方式同样可以用于管理虚拟机。大多数的虚拟化平台也都支持上述这些网络存储技术。例如,在物理主服务器上挂接了基于SAN或iSCSI的存储卷,可以用来存储虚拟机配置文件、虚拟磁盘和相关数据。存储设备一般只是和宿主机连接,而不是客户端虚拟机。存储管理员需要持续跟踪并掌握每台虚拟机驻留在哪些物理卷上,以便进行后续的备份和管理。除了在宿主机级别上进行存储外,客户机操作系统也可以利用基于NAS和iSCSI的存储设备。通过这种方法,虚拟机可以直接与网络存储连接。然而,该方法也有一些缺点,比如客户机操作系统对延迟非常敏感,即使非常微小的延迟都可能导致客户机操作系统的崩溃或文件系统的瘫痪。存储功能的平衡虚拟化技术允许企业将多个关键任务负载放在同一组服务器中。企业通过使用存储功能来提高系统的可靠性、可用性和性能。应用基于RAID的跨磁盘条带技术,可以显着提高性能。磁盘阵列中存储块的大小应该与最常见的I/O操作规模相匹配。不过,磁盘用得越多,意味着系统失败的几率越大。因此,应该同时采用多个具有奇偶校验位的磁盘和热备磁盘。在存储连接中,容错功能可通过应用多路径技术来实现。对NAS和iSCSI存储解决方案来说,存储管理员应该考虑采用多个物理网络进行连接,并且使用网络适配器组的负载平衡特性。对宿主机来说,与磁盘阵列之间采用专用网络进行连接是一个好办法。如果宿主机经常要与低效应用分享连接,虚拟机上的负载问题可能会很严重,而且会增加延迟。备份的规划存储管理员可能需要对很多虚拟机进行备份。用户有必要开发一个处理独占式的虚拟磁盘文件,主要有两种方式。第一种方式是在客户机中进行备份。通常情况下,用户需要在虚拟机中安装备份代理,定义备份源和备份目标,然后再进行处理工作。这种方式的好处是,仅有重要数据被备份下来,从而减少了所需的存储空间。但是,此种备份方案必须支持所有的不同版本的客户机操作系统。更麻烦的是,如果系统出现问题,在进行恢复处理时可能涉及许多步骤,包括重新安装和配置客户机操作系统等。第二种方式是在宿主机中进行备份。通常情况下,备份中包括虚拟机配置文件和虚拟磁盘。用户可以轻松地将这些文件复制到另一个地方,比如先关闭或暂停虚拟机,复制必需的文件,然后再重新启动虚拟机。许多解决方案都支持虚拟机的热插拔备份,目的是消除服务中断。即使不采用热插拔备份,恢复一个失败的或遗失的虚拟机也非常容易,比如把必要的文件简单地恢复到同一个或其他的宿主机上,就可以继续工作了。在宿主机中进行备份的最大缺点是需要庞大的存储空间。用户不仅要分配大量的存储空间给客户机操作系统,还要给需要备份的应用和数据分配大量的存储空间。
H. 存储虚拟化的SAN系统组成
SAN是计算机工作者们为了优化DAS而提出的另一种设计思想,它并没有试图在功能上将应用服务和存储服务完全解耦,而是希望服务器与存储设备之间通过专用光纤网络实现高速互连。如图1所示,一个SAN系统通常包括服务器连接器件、存储网络连接器件、存储设备和管理软件四部分组成,其中存储网络连接器件又可以细分为光纤通道集线器、光纤通道交换机和存储路由器等设备。
图1 SAN系统组成
从设计角度来看,只要购买一个NAS服务器通过标准网络协议加入网络,就可以享受文件级的存储服务了;但是如果打算采用SAN设计存储网络的话,不仅需要购买服务器连接器件、存储网络连接器件、存储设备和管理软件,还需要事先规划设计好存储网络的拓扑结构。从使用上来看,SAN采用专用的光纤网络实现数据存取,能够获得高性能;而NAS服务器与应用服务器共用一套网络,性能比拼上明显无法占据上风。
可以看出,NAS和SAN各有所长,各有所短,实际使用中应该根据实际情况选择合适自己的技术。近些年来,随着主流NAS厂商开始向其NAS设备增加类似SAN的光纤通道和iSCSI功能,NAS和SAN之间的界限已经越来越模糊,也许不久的将来两者将会迎来越来越多的重叠。
那么到底是哪种技术,哪家厂商的方案是最佳的呢?哪种方案会成为存储虚拟化大赛中的最终胜者呢?现在更多的专家认为,这场竞赛没有最后的赢家,越来越多人认为这三种技术应当结合使用。
如果我们把厂商和各自的虚拟化技术对号入座,那么三个虚拟化阵营都各自有一些代表厂商。虚拟化应用阵营的代表有SVC、StorAge、NetworkAppliance设备以及NSS SED (Service-Enabled Devices)飞康。而在磁盘阵列和光纤通道阵营里,HDS、Sun、hp以及Acopia提供了多样化的体系结构。交换机阵营则包括Invista、McData、Brocade、QLogic以及Cisco公司。
在虚拟化应用阵营中比较有代表性的厂商是飞康,飞康 NSS 是一款灵活的存储虚拟化解决方案,能够对整个企业内的存储资源进行高效、经济的供给和集中管理。飞康 NSS有助于最大化存储利用率,降低总存储成本和提高员工生产力。企业可以继续利用现有的存储投资,从而降低购置总成本 (TCO)。飞康 NSS 使 IT 管理员能够根据业务应用程序服务级别协议 (SLA) 定义适当的业务持续性策略,从而实现更加面向服务的应用程序方法和数据可用性。
对于另外两个阵营来说,由于McData,Brocade,Cisco等其他一些公司已经针对基于光纤通道虚拟化进行了一系列公司收购与合作,似乎不同类别方案之间的分界线已经变得模糊起来。其他两个阵营中的厂商中有些也正在慢慢跨越自身的领域,即使目前来说并没有真正完全的横跨界限。
由于虚拟化性能、应用程序灵活性以及虚拟化引擎等诸多方面的问题,早期的存储交换虚拟化和磁盘阵列虚拟化两个阵营的提倡者广受业界的质疑。最初执行虚拟存储的厂商依赖那些基于现有组件的分布式解决方案或是基于端口的处理引擎来提供所需功能,应用设备虚拟化方案被认为是最易于配置的,但其往往有应用限制。因此一些厂商更倾向于存储交换虚拟化,认为智能SAN虚拟化处理组件是下一代虚拟存储的典范。
同样,HDS针对应用虚拟化方案和网络交换虚拟化方案也作出了类似的批评。HDS认为他们的通用存储平台(USP)是把虚拟化部署在存储网络边缘的存储控制器,而不是部署在主机或是网络核心的交换机或应用设备,他们认为从性能和安全因素上说这是最佳位置。
而应用设备虚拟化的坚定支持者NetApp则认为通过应用设备在存储网络上实现虚拟化是最好方案。NetApp公司发言人解释:在选择磁盘阵列方案后,存储网络能给客户提供最大的灵活性,不至于像TagmaStore通用存储平台那样把客户锁定在磁盘阵列的解决方案,既不需要那么复杂,也不需要基于主机的虚拟化解决方案中客户代码带来的成本。在存储网络之内,应用设备可以灵活放置。
一个好的虚拟解决方案不要求对磁盘或存储网络基础架构进行任何改变。因此,需要和您的供应商进行讨论来决定进行哪些改变才能够测试和运行它们的虚拟解决方案。但是需要警惕的是一些解决方案要求企业购买新一代SAN交换机或新一代存储控制器,而这样做的目的仅仅是为了实现存储虚拟。
I. 什么事虚拟存储器.其实现方式有哪些
指将多个不同类型、独立存在的物理存储体,通过软、硬件技术,集成转化为一个逻辑上的虚拟的存储单元,集中管理供用户统一使用。这个虚拟逻辑存储单元的存储容量是它所集中管理的各物理存储体的存储量的总和,而它具有的访问带宽则在一定程度上接近各个物理存储体的访问带宽之和。
从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。
(9)虚拟块存储管理组件架构扩展阅读
虚拟存储器地址变换基本上有3种形虚拟存储器工作过程式:全联想变换、直接变换和组联想变换。任何逻辑空间页面能够变换到物理空间任何页面位置的方式称为全联想变换。每个逻辑空间页面只能变换到物理空间一个特定页面的方式称为直接变换。
组联想变换是指各组之间是直接变换,而组内各页间则是全联想变换。替换规则用来确定替换主存中哪一部分,以便腾空部分主存,存放来自辅存要调入的那部分内容。常见的替换算法有4种。
1、随机算法:用软件或硬件随机数产生器确定替换的页面。
2、先进先出:先调入主存的页面先替换。
3、近期最少使用算法(LRU,Least Recently Used):替换最长时间不用的页面。
4、最优算法:替换最长时间以后才使用的页面。这是理想化的算法,只能作为衡量其他各种算法优劣的标准。