1. 全球网络存储工业协会的基本简介
作为一家非盈利的行业组织,拥有420多家来自世界各地的公司成员以及7,100多位个人成员,遍及整个存储行业。它的成员包括不同的厂商和用户,有投票权的核心成员有Dell、IBM、NetApp、EMC、Intel、Oracle、FUJITSU、JUNIPER、QLOGIC、HP、LSI、SYMANTEC、HITACHI、Microsoft、VMware、Huawei-Symantec十五家,其他成员有近百以上,从成员的组成可以看出,核心成员来自核心的存储厂商,所以SNIA就是存储行业的领导组织。在全球范围SNIA已经拥有七家分支机构:欧洲、加拿大、日本、中国、南亚、印度以及澳洲&新西兰。其中,SNIA-CHINA是其全球范围内的第三家地域性分支机构。
针对云计算迅速发展SNIA成立了云计算工作组,并在2010年4月正式发布CDMI 1.0(Cloud Data Management Interface),目的是推广存储即服务的云规范,统一云存储的接口,实现面向资源的数据存储访问,扩充不同协议和物理介质。值得一提的是,该标准从概念到提出只用了不到一年的时间。
2. 如何在Solaris下进行SAN存储配置
Oracle Solaris 10 和 Oracle Solaris 11 自带了一个光纤通道发起方系统,您可以对它进行配置以便将 Sun ZFS
存储设备提供的光纤通道 (FC) LUN 集成到 Oracle Solaris 环境中。本文介绍如何配置 Oracle Solaris 光纤通道系统以及如何配置
Sun ZFS 存储设备来配置供 Oracle Solaris 服务器访问的 FC LUN。可以使用浏览器用户界面 (BUI) 完成这些配置。
本文做出以下假设:
已知 Sun ZFS 存储设备的 root 帐户口令。
已知 Sun ZFS 存储设备的 IP 地址或主机名。
已配置好 Sun ZFS 存储设备使用的网络。
Sun ZFS 存储设备已配置有具有足够可用空闲空间的存储资源池。
已知 Oracle Solaris 服务器的 root 帐户口令。
Sun ZFS 存储设备已经连接到光纤通道交换机。
已在 FC 交换机上配置了相应的区域,允许 Oracle Solaris 主机访问 Sun ZFS 存储设备。
配置 Oracle Solaris FC 系统
为了让 Sun ZFS 存储设备和 Oracle Solaris 服务器彼此标识,每个设备的 FC 全球编号 (WWN)
必须在另一个设备中注册。您必须确定在 FC 交换机上实现的某些形式 FC 区域的 WWN。
主机的 FC WWN 用于向 Sun ZFS 存储设备标识主机,并且需要它来完成本文中的配置过程。
WWN 来自在 Oracle Solaris 主机和 Sun ZFS 存储设备中安装的 FC 主机总线适配器 (HBA)。
为了配置 Oracle Solaris FC 系统,您需要知道 Sun ZFS 存储设备的 WWN。在传统的双结构存储区域网络 (SAN) 中,Sun
ZFS 存储设备至少有一个 FC 端口连接到每个结构。因此,您必须至少确定两个 FC WWN。
标识 Sun ZFS 存储设备 FC WWN
首先,您需要建立一个到 Sun ZFS 存储设备的管理会话。
在 Web 浏览器的地址栏中输入一个包含 Sun ZFS 存储设备的 IP 地址或主机名的地址,如以下 URL 所示:
https://<ip-address or host name>:215
将显示登录对话框。
输入用户名和口令,然后单击 LOGIN。
成功登录到 BUI 之后,您可以通过 Configuration 选项卡标识 WWN。
单击 Configuration > SAN > Fibre Channel
Ports。
将显示安装在 Sun ZFS 存储设备中的 FC 端口。由于每个 HBA 通道只有一个已发现的端口,因此这必须是 HBA 通道本身。
在前面的示例中,端口 1 具有 WWN 21:00:00:e0:8b:92:a1:cf,端口 2 具有 WWN
21:01:00:e0:8b:b2:a1:cf。
在每个 FC 端口框右侧的列表框中,应该将 FC 通道端口设置为 Target。如果情况并非如此,则 FC
端口可能用于其他用途。在调查原因之前,请不要更改设置。(一种可能的原因是可能用于了 NDMP 备份。)
标识 Oracle Solaris 主机 HBA WWN
如果 Oracle Solaris 主机已经通过相应的电缆连接到 FC 交换机,则使用以下命令来标识 WWN。
要获得主机的 WWN,输入以下命令:
root@solaris:~# cfgadm -al -o show_FCP_dev
root@solaris:~#
在该输出中,您需要的控制器号为 c8 和 c9。当端口类型为
fc-fabric 时,您还可以看到两个端口都连接到一台 FC 交换机。接下来,查询这些控制器来确定发现的 WWN。
如果 HBA 端口未用于访问任何其他连接 FC 的设备,则可使用以下命令来确定 WWN。
root@solaris:~# prtconf -vp | grep port-wwn
port-wwn: 210000e0.8b89bf8e
port-wwn: 210100e0.8ba9bf8e
root@solaris:~#
如果正在访问 FC 设备,则以下命令将显示 FC HBA WWN。
root@solaris:~# luxadm -e mp_map /dev/cfg/c8
root@solaris:~#
显示为类型 0x1f 的最后一个条目 (Unknown type, Host Bus Adapter)
在端口 WWN 条目下提供了相应的 WWN。重复此命令,使用在第 1 步中标识的其他控制器替换
/dev/cfg/c8。
从输出中,您可以看到 c8 具有 WWN
21:00:00:00:e0:8b:89:bf:8e,c9 具有 WWN
21:01:00:e0:8b:a9:bf:8e。
然后,可以使用 Sun ZFS 存储设备 HBA 和 Oracle Solaris 主机 HBA WWN 来配置任何 FC 交换机区域。
完成此操作之后,您可以运行以下命令来验证正确的区域:
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
现在,您可以看到可由 Oracle Solaris 主机访问的 Sun ZFS 存储设备提供的 WWN。
使用浏览器用户界面配置 Sun ZFS 存储设备
作为一个统一的存储平台,Sun ZFS 存储设备既支持通过 iSCSI 协议访问数据块协议
LUN,又支持通过光纤通道协议进行同样的访问。这一节讲述如何使用 Sun ZFS 存储设备 BUI 来配置 Sun ZFS 存储设备,使其能够识别 Oracle
Solaris 主机并向该主机提供 FC LUN。
定义 FC 目标组
在 Sun ZFS 存储设备上创建目标组,以便定义 Oracle Solaris 服务器可通过哪个端口和协议访问提供给它的 LUN。对于此示例,创建 FC
目标组。
执行以下步骤在 Sun ZFS 存储设备上定义 FC 目标组:
单击 Configuration > SAN 显示 Storage Area Network (SAN)
屏幕
单击右侧的 Targets 选项卡,然后选择左侧面板顶部的 Fibre Channel
Ports
将鼠标放置在 Fibre Channel Ports 框中,将在最左侧出现一个 Move 图标()
单击 Move 图标并将此框拖到 Fibre Channel Target
Groups 框,如图 4 所示。
拖动橙色框中的条目来创建新的目标组。将创建组,并将其自动命名为 targets-n,其中
n 是一个整数。
将光标移到新目标组条目上。在 Fibre Channel Target Groups 框右侧会出现两个图标
要重命名新的目标组 targets-0,单击 Edit 图标()显示对话框
在 Name 域中,将默认名称替换为新 FC 目标组的首选名称,单击
OK。本例中用名称 FC-PortGroup 替换
targets-0。在此窗口中,您还可以通过单击所选 WWN 左侧的框来添加第二个 FC 目标端口。第二个端口标识为 PCIe 1:Port 2。
单击 OK 保存更改。
单击 APPLY。 Fibre Channel Target Groups
面板中显示了如上的更改。
定义 FC 发起方
定义 FC 发起方以便允许从一台或多台服务器访问特定卷。应该配置对卷的访问权限,以便允许最少数量的 FC
发起方访问特定卷。如果多个主机可以同时写入一个指定卷并且使用非共享文件系统,则各主机上的文件系统缓存可能出现不一致,最终可能导致磁盘上的映像损坏。一般对于一个卷,只会赋予一个发起方对该卷的访问权限,除非使用的是一种特殊的集群文件系统。
FC 发起方用于从 Sun ZFS 存储设备的角度出发来定义“主机”。在传统的双结构 SAN 中,主机将至少由两个 FC 发起方来定义。FC
发起方定义包含主机 WWN。为了向 Sun ZFS 存储设备标识 Oracle Solaris 服务器,必须在存储设备中注册 Oracle Solaris FC
发起方 WWN,为此要执行以下步骤。
单击 Configuration > SAN 显示 Storage Area Network (SAN)
屏幕
单击右侧的 Initiators 选项卡,然后选择左侧面板顶部的 Fibre Channel
Initiators
单击 Fibre Channel Initiators 左侧的 图标显示 New Fibre Channel Initiator 对话框
如果已在 FC 交换机上配置了区域,则应显示 Oracle Solaris 主机的 WWN(假设没有为它们指定别名)。
在对话框底部单击一个 WWN(如果显示)预填充全球名称,或者在 World Wide Name 框中键入相应的
WWN。
在 Alias 框中输入一个更有意义的符号名称。
单击 OK。
对于其他涉及 Oracle Solaris 主机的 WWN,重复前面的步骤。
定义 FC 发起方组
将一些相关 FC 发起方组成逻辑组,这样可以对多个 FC 发起方执行同一个命令,例如,可以使用一个命令对一个组中的所有 FC 发起方分配 LUN
访问权限。对于下面的示例,FC 发起方组将包含两个发起方。注意,在集群中,多个服务器被视作一个逻辑实体,因此发起方组可以包含更多发起方。
执行以下步骤创建一个 FC 发起方组:
选择 Configuration > SAN 显示 Storage Area Network (SAN)
屏幕。
选择右侧的 Initiators 选项卡,然后单击左侧面板顶部的 Fibre Channel
Initiators。
将光标放置在上一节中创建的一个 FC 发起方条目上。此时,在该条目左侧会出现一个 Move 图标()
单击 Move 图标并将其拖到右侧的 Fibre Channel Initiator
Groups 面板中。此时,在 Fibre Channel Initiators Groups 面板底部出现了一个新的条目(黄色亮显)
将光标移到新的条目框上,然后释放鼠标键。此时会创建一个新的 FC 发起方组,其组名称为
initiators-n,其中 n 是一个整数,如图 13
所示。
将光标移到新发起方组条目上。在目标发起方组框右侧会出现几个图标
单击 Edit 图标()显示对话框
在 Name 域中,将新发起方组的默认名称替换为选定名称,单击 OK。本例使用
sol-server 作为该发起方组名称。
在此对话框中,您可以通过单击 WWN 左侧的复选框向组中添加其他 FC 发起方。
在 SAN 配置屏幕中单击 APPLY 确认所有修改,如图 15 所示。
定义 Sun ZFS 存储设备项目
为了对相关卷进行分组,您可以在 Sun ZFS 存储设备中定义一个项目。通过使用项目,可以继承项目所提供文件系统和 LUN
的属性。还可以应用限额和保留。
执行以下步骤创建一个项目:
选择 Shares > Projects 显示 Projects 屏幕
单击左侧面板顶部的 Projects 左侧的 图标显示
Create Project 对话框
要创建一个新项目,输入项目名称,单击 APPLY。在左侧面板的 Projects 列表中出现了一个新项目。
选择这个新项目查看其所含组件
定义 Sun ZFS 存储设备 LUN
接下来,您将从一个现有存储资源池中创建一个 LUN,供 Oracle Solaris 服务器访问。在下面的示例中,将创建一个名为
DocArchive1 的精简供应 64 GB LUN。
我们将使用定义 FC 目标组一节中创建的 FC 目标组
FC-PortGroup 来确保可以通过 FC 协议访问该 LUN。将使用定义 FC
发起方组一节中定义的发起方组 sol-server 来确保只有在 sol-server
组中定义的服务器才可以访问该 LUN。(在本例中,该发起方组只包含一个服务器。)
执行以下步骤创建一个 LUN:
选择 Shares > Projects 显示 Projects 屏幕。
在左侧 Projects 面板中,选择该项目。然后选择右侧面板顶部的 LUNs
单击 LUNs 左侧的 图标显示 Create LUN
对话框,如图 20 所示。
输入合适的值以配置该 LUN。对于本例,将 Name 设置为
DocArchive1,Volume size 设置为 64 G,并且选中
Thin provisioned 复选框。将 Target Group 设置为 FC 目标组
FC-PortGroup,将 Initiator Group 设置为
sol-server。将 Volume block size 设置为
32k,因为该卷将保存 Oracle Solaris ZFS 文件系统。
单击 APPLY 创建该 LUN 使其供 Oracle Solaris 服务器使用。
配置 LUN 以供 Oracle Solaris 服务器使用
现在我们已准备好了 LUN,可以通过 FC 发起方组使用它了。接着必须执行以下步骤,配置 LUN 以供 Oracle Solaris 服务器使用:
发起一个连接 Sun ZFS 存储设备的 Oracle Solaris FC 会话,如清单 1 所示。由于在发起该 FC 会话前已创建了 LUN,该
LUN 将会自动启用。
清单 1. 发起 Oracle Solaris FC 会话
root@solaris:~# cfgadm -al c8 c9
root@solaris:~# cfgadm -c configure c8::210100e08bb2a1cf
root@solaris:~# cfgadm -c configure c9::210000e08b92a1cf
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
验证对 FC LUN 的访问,如清单 2 所示。
清单 2. 验证对 FC LUN 的访问
root@solaris:~# devfsadm -c ssd
root@solaris:~# tail /var/adm/messages
[...]
[...]
在本例中,多路径状态最初显示为 degraded,因为此时只识别了一个路径。进一步,多路径状态更改为
optimal,因为存在多个到达卷的路径。
磁盘设备现在同样可供内部服务器磁盘使用。
格式化 LUN,如清单 3 所示。
清单 3. 格式化 LUN 格式
root@solaris:~# format
Searching for disks...done
: configured with capacity of 63.93GB
AVAILABLE DISK SELECTIONS:
[...]
Specify disk (enter its number): 4
selecting
[disk formatted]
Disk not labeled. Label it now? y
FORMAT MENU:
disk - select a disk
type - select (define) a disk type
partition - select (define) a partition table
current - describe the current disk
format - format and analyze the disk
repair - repair a defective sector
label - write label to the disk
analyze - surface analysis
defect - defect list management
backup - search for backup labels
verify - read and display labels
save - save new disk/partition definitions
inquiry - show vendor, proct and revision
volname - set 8-character volume name
!<cmd> - execute <cmd>, then return
quit
format> q
在准备好的 LUN 上构建 Oracle Solaris ZFS 文件系统,为此创建一个新的 ZFS 池、将此设备添加到 ZFS 池中,并创建 ZFS
文件系统,如清单 4 的示例所示。
清单 4. 构建 Oracle Solaris ZFS 文件系统
root@solaris:~# zfs createzpool create docarchive1 \
root@solaris:~# zfs list
[...]
root@solaris:~# zfs create docarchive1/index
root@solaris:~# zfs create docarchive1/data
root@solaris:~# zfs create docarchive1/logs
root@solaris:~# zfs list
[...]
df(1) 命令的最后两行输出表明,现在大约有 64 GB 新空间可供使用。转载仅供参考,版权属于原作者。祝你愉快,满意请采纳哦
FC、IP网络的安全性
不论是光纤通道还是IP网络,主要的潜在威胁来自非授权访问,特别是管理接口。例如,一旦获得和存储区域网络(SAN)相连接服务器管理员的权限,欺诈进入就可以得逞。这样入侵者可以访问任何一个和SAN连接的系统。因此,无论使用的是哪一种存储网络,应该认识到应用充分的权限控制、授权访问、签名认证的策略对防止出现安全漏洞是至关重要的。
测错攻击在IP网络中也比在光纤通道的SAN中易于实现。针对这类攻击,一般是采用更为复杂的加密算法。
尽管DoS似乎很少发生,但是这并不意味着不可能。然而如果要在光纤通道SAN上实现DoS攻击,则不是一般的黑客软件所能实现的,因为它往往需要更为专业的安全知识。
实现SAN数据安全方法
保证SAN数据安全的两个基本安全机制是分区制zoning和逻辑单元值(Logical Unit Number)掩码。
分区制是一种分区方法。通过该方法,一定的存储资源只对于那些通过授权的用户和部门是可见的。一个分区可以由多个服务器、存储设备、子系统、交换机、HBA和其它计算机组成。只有处于同一个分区的成员才可以互相通讯。
分区制往往在交换级来实现。根据实现方式,可以分为两种模式,一为硬分区,一为软分区。硬分区是指根据交换端口来制定分区策略。所有试图通过未授权端口进行的通讯均是被禁止的。由于硬分区是在系统电路里来实现,并在系统路由表中执行,因此,较之软分区,具有更好的安全性。
在光纤通道网络中,软分区是基于广域命名机制的(WWN)的。WWN是分配给网络中光纤设备的唯一识别码。由于软分区是通过软件来保证在不同的分区中不会出现相同的WWNs,因此,软分区技术比硬分区具有更好的灵活性,特别是在网络配置经常变化的应用中具有很好的可管理性。
有些交换机具有端口绑定功能,从而可以限制网络设备只能和通过预定义的交换端口进行通讯。利用这种技术,可以实现对存储池的访问限制,从而保护SAN免受非授权用户的访问。
另一种被广泛采用的技术是LUN掩码。一个LUN就是对目标设备(如磁带和磁盘阵列)内逻辑单元的SCSI识别标志。在光纤通道领域,LUN是基于系统的WWN实现的。
LUN掩码技术是将LUN分配给主机服务器,这些服务器只能看到分配给它们的LUN。如果有许多服务器试图访问特定的设备,那么网络管理者可以设定特定的LUN或LUN组可以访问,从而可以拒绝其它服务器的访问,起到保护数据安全的目的。不仅在主机上,而且在HBA、存储控制器、磁盘阵列、交换机上也可以实现各种形式的LUN屏蔽技术。
如果能够将分区制和LUN技术与其它的安全机制共同运用到网络及其设备上的话,对网络安全数据安全将是非常有效的。
业界对存储安全的做法
尽管目前对于在哪一级设备应用存储安全控制是最优的还没有一个明确的结论,例如,IPSec能够在ASIC、VPN设备、家电和软件上实现,但目前已有很多商家在他们的数据存储产品中实现了加密和安全认证功能。
IPSec对于其它基于IP协议的安全问题,比如互联网小型计算机接口(iSCSI)、IP上的光纤通道 (FCIP)和互联网上的光线通道 (IFCP)等,也能起到一定的的作用。
通常使用的安全认证、授权访问和加密机制包括轻量级的路径访问协议Lightweight Directory Access Protocol (LDAP)、远程认证拨入用户服务(RADIUS), 增强的终端访问控制器访问控制系统(TACACS+)、Kerberos、 Triple DES、高级加密标准(AES)、安全套接层 (SSL)和安全Shell(SSH)。
尽管SAN和NAS的安全机制有诸多相似之处,其实它们之间也是有区别的。很多NAS系统不仅支持SSH、SSL、Kerberos、RADIUS和LDAP安全机制,同时也支持访问控制列表(ACL)以及多级许可。这里面有一个很重要的因素是文件锁定,有很多产品商家和系统通过不同的方式来实现这一技术。例如,微软采用的为硬锁定,而基于 Unix的系统采用的是相对较为松弛的建议级锁定。由此可以看到,如果在Windows-Unix混合环境下,将会带来一定的问题。
呼唤存储安全标准化
SAN安全的实现基础在交换机这一层。因此,存储交换机的标准对网络产品制造商的技术提供方式的影响是至关重要的。
存储安全标准化进程目前还处于萌芽阶段。ANSI成立了T11光纤通信安全协议(FC-SP)工作组来设计存储网络基础设施安全标准的框架。目前已经提交了多个协议草案,包括FCSec协议,它实现了IPSec和光纤通讯的一体化;同时提交的还有针对光纤通讯的挑战握手认证协议(CHAP)的一个版本;交换联结认证协议(SLAP)使用了数字认证使得多个交换机能够互相认证;光纤通信认证协议(FCAP)是SLAP的一个扩展协议。IEEE的存储安全工作组正在准备制定一个有关将加密算法和方法标准化的议案。
存储网络工业协会(SNIA)于2002年建立了存储安全工业论坛(SSIF),但是由于不同的产品商支持不同的协议,因此实现协议间的互操作性还有很长一段路要走。
关注存储交换安全
大家都已经注意到了为了保证存储安全,应该在存储交换机和企业网络中的其它交换机上应用相同的安全预警机制,因此,对于存储交换机也应有一些特殊的要求。
存储交换安全最重要的一个方面是保护光纤管理接口,如果管理控制台没有很好的安全措施,则一个非授权用户有可能有意或无意地入侵系统或改变系统配置。有一种分布锁管理器可以防止这类事情发生。用户需要输入ID和加密密码才能够访问交换机光纤的管理界面。为了将SAN设备的管理端口通过安全认证机制保护起来,最好是将SAN配置管理工作集中化,并且对管理控制台和交换机之间的通讯进行加密。另外一个方面,在将交换机接入到光纤网络之前,也应该通过ACL和 PKI机制实现授权访问和安全认证。因此,交换机间链接应当建立在严密的安全防范措施下。
3. 软件定义存储和存储虚拟化的区别联系
搞清楚这个问题之前,首先要了解什么是软件定义存储和存储虚拟化。
什么是软件定义存储
SDS 的全称是 Software Defined Storage ,字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会(Storage Networking Instry Association,SNIA),SINA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。
SINA 对软件定义存储(SDS) 的定义是:一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能,并可通过服务管理接口定义存储池的数据服务特征。另外 SINA 还提出 软件定义存储(SDS) 应该具备以下特性:
自动化程度高 – 通过简化管理,降低存储基础架构的运维开销
标准接口 – 支持 API 管理、发布和运维存储设备和服务
虚拟化数据路径 – 支持多种标准协议,允许应用通过块存储,文件存储或者对象存储接口写入数据
扩展性 – 存储架构具备无缝扩展规模的能力,扩展过程不影响可用性以及不会导致性能下降
透明度 – 存储应为用户提供管理和监控存储的可用资源与开销
什么是存储虚拟化
SNIA认为,存储虚拟化通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。对存储服务和设备进行虚拟化,能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现。
SNIA提供的存储虚拟化模型(如下图),包括三部分:
软件定义存储和存储虚拟化的区别与联系
存储虚拟化的概念更大一些,软件定义存储只是存储虚拟化的一种形式,除此之外,从广义来看,其实拿物理盘做RAID,然后在其之上划LUN,呈现给OS,这也是一种存储虚拟化。
4. 软件定义存储就是存储虚拟化吗
很多厂商产品说明书将两个概念混用,但神州云科的产品经理告诉我们,软件定义存储并不单单是存储虚拟化。
可以说软件定义是基于存储虚拟化的。存储虚拟化将存储容量从硬件资源中隔离出来,交于虚拟化软件去统一管理,消除异构存储的差异;而软件定义存储包含了存储虚拟化的功能,同时添加了诸多其它功能,比如:精简配置、去重压缩、镜像、容灾、双活等,相信更多的功能以后会逐步添加到SDS中。
5. 什么是对象存储
什么是对象存储?
存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。
对象存储的发展历史:
1999年成立的全球网络存储工业协会(SNIA)的对象存储设备(Object Storage Device)工作组发布了ANSI的X3T10标准。
对象存储的优点:
总体上来讲,对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。
SAN(Storage Area Network)结构
采用SCSI 块I/O的命令集,通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率,它具有高带宽、低延迟的优势,在高性能计算中占有一席之地,如SGI的CXFS文件系统就是基于SAN实现高性能文件存储的,但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。
6. 快照是什么意思
快照目录
影像快照
内存快照
网页快照网页快照的定义
网页快照功能
影响快照的因素
存储快照影像快照
内存快照
网页快照 网页快照的定义
网页快照功能
影响快照的因素
存储快照
展开 编辑本段影像快照
指照相馆的一种冲洗过程短的照片.如:证件快照.
编辑本段内存快照
基于硬件编程技术的一种,针对内存进行的快速读取技术,常用于硬件开发。
编辑本段网页快照
网页快照的定义
网页快照就是展示在搜索结果列表中,为了方便用户在站点出现异常时可以访问页面,使用的缓存技术,从而使得用户体验受影响的程度降到最低。网页快照也是网络网站最具魅力和实用价值的好东西,搜索引擎都有快照,快照同时也是搜索引擎收录页面的一种信号。
网页快照功能
如果无法打开某个搜索结果,或者打开速度特别慢,该怎么办?“快照”能帮您解决问题。每个被收录的网页,在搜索引擎上都存有一个纯文本的备份,称为“快照”。快照速度较快,您可以通过“快照”快速浏览页面内容。 不过,快照只保留文本内容,所以,那些图片、音乐等非文本信息,快照页面还是直接从原网页调用。如果您无法连接原网页,那么快照上的图片等非文本内容,会无法显示。如:网络快照、谷歌快照、雅虎快照、搜狐快照等等。
影响快照的因素
1、网站内容质量; 文章的标题,首尾段必须要做些修改,否则你就算发上去了却不被网络收录有什么用? 2、网站的内容更新频率以及更新的时间段; 快照的更新速度与这个关系是很大的。如果想让网站在网络的快照更新加快就也应该增加网站内容的更新频率。而且应该保持有规律的定时更新,内容至少也要是伪原创。 3、网站的内部结构; 4、网站的权重,内容的权威性。 5、友情链接; 6、外部链接; 外部链接是网站吸引蜘蛛的一个重要手段,经常逛逛论坛,写个博客,只要被搜索引擎收录了,不仅仅得到一个反向链接,而且还有机会吸引到蜘蛛光临,这也是增近网络快照的一个手段。
编辑本段存储快照
存储快照技术SNIA(StorageNetworking Instry Association)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。 快照的作用主要是能够进行在线数据备份与恢复。当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复,将数据恢复某个可用的时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。 快照的实现方式:当前实现快照有主要有两种技术,一种是第一次写时复制(Copy OnFirst Write,COFW),有时简称为写时复制(CopyOn Write,COW)。即在数据第一次写入到某个存储位置时,首先将原有的内容读取出来,写到另一位置处(为快照保留的存储空间,此文中我们称为快照空间),然后再将数据写入到存储设备中。而下次针对这一位置的写操作将不再执行写时复制操作。这种技术常在计算机相关的技术中经常初使用,其基本原理大同小异,只是面向的对象不同,适用的场合不一样。从COW 的执行过程我们可以知道,这种实现方式在第一次写入某个存储位置时需要完成一个读操作(读原位置的数据),两个写操作(写原位置与写快照空间),如果写入频繁,那么这种方式将非常消耗IO时间。因此可推断,如果预计某个卷上的I/O多数以读操作为主,写操作较少,这种方式的快照实现技术是一个较理想的选择,因为快照的完成需要较少的时间。除此之外,如果一个应用易出现写入热点,即只针对某个有限范围内的数据进行写操作,那么COW的快照实现方式也是较较理想的选择。因为其数据更改都局限在一个范围内,对同一份数据的多次写操作只会出现一次写时复制操作。下图是写时复制的示意图:但是这种方式的缺点也是非常明显的。如果写操作过于分散且频繁,那么 COW造成的开销则是不可忽略的,有时甚至是无法接受的。因此在应用时,则需要综合评估应用系统的使用场景,以判断这种方式的快照是否适用。快照实现技术中的另一种技术是 I/O 重定向(I/O Redirect)。即将读写操作重新定向到另一个存储空间中。在一个快照生成期间,所有的写操作将被重定向到另一个介质,而读操作是否需要读重定向,则需要根据读取的位置是否有过自上次快照以来的写重定向,必须对有过写重定向的位置进行读重定向,否则不需要进行读定向。当要创建一个快照时,则将自上次快照以来所有的重定向写数据所对应在源介质中的数据复制出来生成这个时间点的快照,然后再将这些重定向写数据写回到源介质中的相应位置上,从而完成一个快照生成过程。下图中显示了IO重定向的执行过程。 从上面的过程来看,关键的性能影响在于快照生成时的四次I/O操作(一次读源介质,一次写快照数据,一次读快照介质,一次写源介质),另一个则是重定向的计算工作。这种方式虽然看起来最后生成快照时的I/O操作较多,但是考虑到这个操作是在生成快照时才会发生,特别是快照生成时可以对I/O操作进行排序,可以使得对介质的读写得到较好的优化,因此使影响很小。而对于重定向的计算操作对于当下的计算能力来说,不会成为一个性能的瓶颈问题。因此这种快照实现方式在非快照执行期间的影响甚小。因此这种方式比较适合Write-Intensive(写密集)类型的存储系统。下图是快照生成过程的示意图:SNIA 将快照的实现方式表述为:镜像分离(split mirror)、改变块(changed block)、并发(concurrent)三大类。后两种在实现时其实质就是写时复制及I/O重定向。对于 split mirror的方式,由于其灵活性以及开销问题,在实际的存储系统中,并不实用。快照的实现层次计算机的存储结构是一个类似于 TCP/IP 一样的栈结构。栈中包括硬件与软件部分。栈中不同层为上层提供服务,同时利用下层的接口(如下图)。因此在实现上,快照可以在不同的栈层上实现。但是不同的层其效果及特点是不一样的。一般来说,在应用层不太合适实现快照功能。因为不同的应用是千差万别的,因此需要针对不同的应用实现快照功能,这个代价也太高了。但在应用层实现快照也并不是说一无用处,如在应用层实现快照的一个典型的例子就是 vmWare 虚拟化软件中的快照功能。只是这种快照功能应用在存储系统中不现实。其次在文件系统层实现快照与应用也是具有同样的缺点,就是需要针对不同的文件系统实现快照功能,这样的代价也很大。实现的快照的功能的文件系统基本上都是一些专用系统为者专为某个特定功能实现的文件系统。在这个层级上实现快照,缺乏灵活性和可扩展性。这个比较典型的例子就是ZFS。而较为适宜实现快照功能的层应该为卷管理层以及物理层。在这两个层中都不与特定的应用及文件系统相关。这里比较典型的例子有Linux 的LVM。而在硬件层次上实现快照又通常有许多种,在这个层次上实现的快照一般为专用系统,好处是性能是各个方式中最好的。但是在这个层次上实现的快照也有一个不可避免的缺点,那就是由于不与特定的应用及文件系统关联,因此其就无法理解上层的应用逻辑,也就无法保证每个快照都处于数据一致性状态的。但是这个缺点是可以通过其他的方式减少或者解决的,比如在生成快照之前先对数据进行刷新操作,或者在恢复快照时对文件系统进行一致性检查等。结束语计算技术不断在进步,存储技术同样也在进行着日新月异的变化。不同的应用在不断地更新着对存储的需求。同时对于数据重要性的体现,各种容灾技术也给用户的数据加上了防护安全帽。
7. 软件定义存储和存储虚拟化的区别
搞清楚这个问题之前,首先要了解什么是软件定义存储和存储虚拟化。
什么是软件定义存储
SDS 的全称是 Software Defined Storage ,字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会(Storage Networking Instry Association,SNIA),SINA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。
SINA 对软件定义存储(SDS) 的定义是:一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能,并可通过服务管理接口定义存储池的数据服务特征。另外 SINA 还提出 软件定义存储(SDS) 应该具备以下特性:
自动化程度高 – 通过简化管理,降低存储基础架构的运维开销
标准接口 – 支持 API 管理、发布和运维存储设备和服务
虚拟化数据路径 – 支持多种标准协议,允许应用通过块存储,文件存储或者对象存储接口写入数据
扩展性 – 存储架构具备无缝扩展规模的能力,扩展过程不影响可用性以及不会导致性能下降
透明度 – 存储应为用户提供管理和监控存储的可用资源与开销
什么是存储虚拟化
SNIA认为,存储虚拟化通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。对存储服务和设备进行虚拟化,能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现。
SNIA提供的存储虚拟化模型(如下图),包括三部分:
SNIA提供的存储虚拟化模型
软件定义存储和存储虚拟化的区别与联系
由以上定义可以看出,存储虚拟化和软件定义不是一个维度的概念但是有很强的相关性。SDS是存储虚拟化实现的一种实现形式,但是类似RAID、虚拟化网管、磁盘分区等其实都是属于存储虚拟化的一种实现形式,另外,存储虚拟化并不一定是软件定义的,硬RAID卡就是典型的拿硬件实现存储虚拟化。
8. 软件定义存储和存储虚拟化的区别与联系
搞清楚这个问题之前,首先要了解什么是软件定义存储和存储虚拟化。
什么是软件定义存储
SDS 的全称是 Software Defined Storage ,字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会(Storage Networking Instry Association,SNIA),SINA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。
SINA 对软件定义存储(SDS) 的定义是:一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能,并可通过服务管理接口定义存储池的数据服务特征。另外 SINA 还提出 软件定义存储(SDS) 应该具备以下特性:
自动化程度高 – 通过简化管理,降低存储基础架构的运维开销
标准接口 – 支持 API 管理、发布和运维存储设备和服务
虚拟化数据路径 – 支持多种标准协议,允许应用通过块存储,文件存储或者对象存储接口写入数据
扩展性 – 存储架构具备无缝扩展规模的能力,扩展过程不影响可用性以及不会导致性能下降
透明度 – 存储应为用户提供管理和监控存储的可用资源与开销
什么是存储虚拟化
SNIA认为,存储虚拟化通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。对存储服务和设备进行虚拟化,能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现。
SNIA提供的存储虚拟化模型(如下图),包括三部分:
软件定义存储和存储虚拟化的区别与联系
由以上定义可以看出,存储虚拟化和软件定义不是一个维度的概念但是有很强的相关性。SDS是存储虚拟化实现的一种实现形式,但是类似RAID、虚拟化网管、磁盘分区等其实都是属于存储虚拟化的一种实现形式,另外,存储虚拟化并不一定是软件定义的,硬RAID卡就是典型的拿硬件实现存储虚拟化。
9. 选择软件定义存储/分布式存储还是超融合一体机
肯定选择分布式存储,非常强调数据安全性,可以规避很多硬盘、服务器损坏、静默数据损毁等常见数据丢失风险。如果是普通的中小企业,主要部署一些静态网站,存储需求量不大,对数据安全性要求不高,能够容忍一定的数据丢失风险的,可以用超融合一体机。我们司负责IT的就10来个人,采用的VMware虚拟机加元核云分布式统一存储的方案