无单点故障的存储架构

‘壹’ 蓝鲸集群文件系统(BWFS)的功能特点

1.异构平台文件级数据共享--采用全局命名空间，支持Windows/Linux/Mac操作系统平台间的文件级数据共享。
2.卓越的性能优势--采用直接数据存取模式和带外（out-of-band）数据传输架构，最大限度发挥SAN环境的带宽和性能优势，这一优势在配合高端存储系统和大规模存储环境下表现得更加淋漓尽致。
3.系统支持多文件系统、多存储策略，从而能更灵活支持用户不同类型应用的不同存储需求。
4.强大的可扩展能力--支持高达ZB级的系统存储容量和2PB的巨型文件，支持上亿规模的目录和文件数量。通过增加存储设备，系统可以在线扩展存储容量、IO带宽和负载能力。
5.企业级的数据可靠性--拥有多项专利技术的SAN文件系统BWFS，通过文件系统日志和快速FSCK以及独特的文件级故障隔离技术和多文件系统支持，为用户提供最大程度的数据可靠性保证。通过历经上百个大型数据应用项目的长期稳定运行和经验积累，现已成为BWFS数据可靠性的信心来源。
6.系统高可用能力--采用冗余架构设计的MDC，配合全冗余的SAN架构，支持FC和iSCSI环境下的Multipath配置，从而实现存储系统无单点故障，确保存储系统整体连续运行。
7.系统具有客户端和元数据控制器端智能故障检测与性能计数器功能，既可以帮助用户定位多种故障原因，又可以定位和分析IO特征，从而进行性能分析和优化。系统内置的抗碎片分配算法和在线碎片整理工具，让用户不必担心系统长期运行碎片化的问题。
8.支持配额(quota)、ACL、快照、数据迁移接口等丰富的数据管理功能，也能配合第三方产品形成持续数据保护，数据归档等解决方案。
9.灵活的存储方案配置：支持第三方盘阵，并且在多盘阵的环境中，既可以通过存储虚拟化将所有存储空间（LUN）虚拟成单一存储空间使用，也可以通过多文件系统支持，将不同的LUN独立成不同的文件系统使用，方便用户根据需求配置灵活的解决方案。内置原生多路径支持，不必依赖盘阵多路径软件就可以实现多路径功能，使得用户在盘阵和操作系统平台选择上更加灵活。
.支持4Gb/s或2Gb/s的高性能硬盘和高容量SATA硬盘混用，满足了分层存储和ILM解决方案的需求。

‘贰’ 运用哪几种方法可以解决存储过程的数据安全问题

在这个信息爆炸的年代，现代人每天不论于公于私， 都面临必须经手大量数字信息、 而在数据安全问题上会出现各种麻烦；另一方面， 随着数据量的增加，人们对存储认识程度也日益加深， 特别是企业对于存储过程中数据安全问题尤为关注。一个稳定、 安全、可靠的存储基础架构对企业来说是必不可少的。 企业的信息系统不可避免地受到来自外界的安全危胁， 包括自然灾害、网络、硬件、软件等方面，也包括人员的操作失误。 数据存储的任何失误都可能给企业带来巨大的经济损失。 随着数据价值不断提升，以及存储网络化不断发展， 数据遭受的安全威胁日益增多，若无存储安全防范措施， 一旦攻击者成功渗透到数据存储系统中， 其负面影响将是无法估计的。这要求企业在特定存储系统结构下， 从存储安全性综合考虑。 而企业在业务运作的过程中最常面临的存储安全问题， 主要是由自然灾害，网络、硬件，人员的操作失误这几方面引起的。 自然灾害导致数据存储安全 首先，这个不是一个人为的行为， 大量的数据存储在企业的服务器存储系统中， 业务在运营中由于停电或是数据传输过程中的线路突然短路导致的数 据的丢失情况，对于企业是一个不小的损失，在这种状态下， 由于自然灾害原因导致企业数据的丢失可以说对于一个企业的数据信 息是一个很大的安全威胁，系统的正常运行，数据库的合理优化， 操作人员的完善的操作程序都确保数据的稳定安全，而突发的停电、 火灾以及后备电源的不到位对于中小企业是时常面临的问题， 同时数据的存储安全成为面对该情况时必须要解决的问题， 也是企业及时需要应对的措施，保证数据的安全， 但如何面对该情况应对企业数据的存储安全呢？ 网络硬件 其次， 企业数据的硬件环境方面的问题也会导致存储过程中数据安全， 众所周知信息化快速发展的今天，硬件的更新换代速度之快， 从而使得企业的传统的存储环境已经难以应对如今海量的数据需求， 企业也要升级换代才可以适应现在数据存储的环境要求。 硬件环境的老化导致传输速率的降低， 同时网络的优化也需要良好的硬件环境作为基础， 在传输数据的过程中如果数据量过于庞大， 而企业的硬件环境没有改善那么网络的延迟导致系统的崩溃， 从而丢失数据会造成巨大的经济损失，而对于这些方面， 就需要企业根据业务发展的需要有针对性地升级存储服务器的配置， 提高网络的良性环境，保证存储过程数据安全。 人员的操作失误 “金无足赤，人无完人” 是对于当今任何企业在数据管理人员方面的一句良言， 每个人在工作的过程中不可避免的犯错误或者在操作上失误， 特别是对于从事数据库管理工作的人员，数据量之大， 系统运行之繁琐，都会给工作中带来不必要的失误， 从而对于企业的数据上的安全和完整性存在危胁， 同时中小企业的数据管理人员还肩负存储系统的运维工作， 这就对其数据存储过程中的安全性提出了更高的要求， 面对着企业存储过程数据安全问题，应该如何的解决， 采取什么样的措施保证数据的安全是摆在每个企业面前的主要问题， 数据是企业运营的核心， 强大的数据的支持保障企业在市场中能够乘风破浪， 如何解决存储过程数据安全问题， 下面针对以上的问题给以简单的建议。 一般而言，解决存储过程中的数据安全问题， 企业有很多可以采用的方案： 异地备份可以避免发生自然灾害时的数据损失；采用RAID( 独立磁盘冗余阵列)可以减少磁盘部件的损坏；采用镜像技术 可以减少存储设备损坏；快照可以迅速恢复遭破坏的数据， 减少宕机损失。 而这些技术采用可以很好的应对企业面临的自然灾害，网络、硬件， 人员的操作失误这几方面引起的数据的安全问题。 异地备份 异地备份是保护数据的最安全的方式，无论发生什么情况自然灾害， 那怕是火灾、地震，当其他保护数据的手段都不起作用时， 异地容灾的优势就体现出来了，异地备份问题在于速度和成本， 这要求拥有足够带宽的网络连接和优秀的数据复制管理软件。 通常状态下主要三方面实现异地备份，一是基于磁盘阵列， 通过软件的复制模块，实现磁盘阵列之间的数据复制， 这种方式适用于在复制的两端具有相同的磁盘阵列。 二是基于主机方式，这种方式与磁盘阵列无关。 三是基于存储管理平台，它与主机和磁盘阵列均无关。 RAID RAID系统使用许多小容量磁盘驱动器来存储大量数据， 并且使可靠性和冗余度得到增强。对计算机来说， 这样一种阵列就如同由多个磁盘驱动器构成的一个逻辑单元。 所有的RAID系统共同的特点是“热交换”能力： 用户可以取出一个存在缺陷的驱动器，并插入一个新的予以更换。 对大多数类型的RAID来说，不必中断服务器或系统， 就可以自动重建某个出现故障的磁盘上的数据。 镜像 这个技术是针对如果故障发生在异地分公司，可以使用镜像技术， 进行不同卷的镜像或异地卷的远程镜像， 或采用双机容错技术自动接管单点故障机， 保证无单点故障和本地设备遇到不可恢复的硬件毁坏时， 仍可以启动异地与此相同环境和内容的镜像设备， 以保证服务不间断。当然，这样做必然会提升对设备的投资力度。 快照 在数据保护技术中，快照技术(snapshot) 是极为基础和热门的技术之一，应用在很多存储过程中， 比如数据复制和备份都在使用这种技术。 IBM的FlashCopy、IBM NAS的PSM软件以及VERITAS的FlashSnap软件 都是快照技术的代表。快照可以迅速恢复遭破坏的数据， 减少宕机损失， 可以针对与数据库管理人员在操作中的失误进行数据恢复。 综述： 对于企业在存储过程中的数据安全问题，还有很多解决的方案， 存储安全固然十分重要， 但是存储安全只是数据中心整个安全解决方案的一个组成部分。 安全是一个内涵很广泛的话题， 存储在业务流程中扮演的并非是主角，但确实是关键角色， 因为存储包含了公司绝大部分记录，如果没有存储， 很多业务流程将没法继续。因此， 对于面对存储过程数据安全问题每个企业应该注视起来， 投入更多的精力，数据是一个企业的核心竞争力， 安全强大的数据是企业腾飞的保证，存储技术的发展， 硬件环境的完善相信会给企业数据安全无疑提供强有力的支持。

‘叁’ 分布式存储技术有哪些

中央存储技术现已发展非常成熟。但是同时，新的问题也出现了，中心化的网络很容易拥挤，数据很容易被滥用。传统的数据传输方式是由客户端向云服务器传输，由服务器向客户端下载。而分布式存储系统QKFile是从客户端传送到 N个节点，然后从这些节点就近下载到客户端内部，因此传输速度非常快。对比中心协议的特点是上传、下载速度快，能够有效地聚集空闲存储资源，并能大大降低存储成本。

在节点数量不断增加的情况下，QKFile市场趋势开始突出，未来用户数量将呈指数增长。分布式存储在未来会有很多应用场景，如数据存储，文件传输，网络视频，社会媒体和去中心化交易等。因特网的控制权越来越集中在少数几个大型技术公司的手中，它的网络被去中心化，就像分布式存储一样，总是以社区为中心，面向用户，而分布式存储就是实现信息技术和未来因特网功能的远景。有了分布式存储，我们可以创造出更加自由、创新和民主的网络体验。是时候把因特网推向新阶段了。

作为今年非常受欢迎的明星项目，关于QKFile的未来发展会推动互联网的进步，给整个市场带来巨大好处。分布式存储是基于因特网的基础结构产生的，区块链分布式存储与人工智能、大数据等有叠加作用。对今天的中心存储是一个巨大的补充，分布式时代的到来并不是要取代现在的中心互联网，而是要使未来的数据存储发展得更好，给整个市场生态带来不可想象的活力。先看共识，后看应用，QKFile创建了一个基础设施平台，就像阿里云，阿里云上面是做游戏的做电商的视频网站，这就叫应用层，现阶段，在性能上，坦白说，与传统的云存储相比，没有什么竞争力。不过另一方面来说，一个新型的去中心化存储的信任环境式非常重要的，在此环境下，自然可以衍生出许多相关应用，市场潜力非常大。

虽然QKFile离真正的商用还有很大的距离，首先QKFile的经济模型还没有定论，其次QKFile需要集中精力发展分布式存储、商业逻辑和 web3.0，只有打通分布式存储赛道，才有实力引领整个行业发展，人们认识到了中心化存储的弊端，还有许多企业开始接受分布式存储模式，即分布式存储 DAPP应用触达用户。所以QKFile将来肯定会有更多的商业应用。创建超本地高效存储方式的能力。当用户希望将数据存储在QKFile网络上时，他们就可以摆脱巨大的集中存储和地理位置的限制，用户可以看到在线存储的矿工及其市场价格，矿工之间相互竞争以赢得存储合约。使用者挑选有竞争力的矿工，交易完成，用户发送数据，然后矿工存储数据，矿工必须证明数据的正确存储才能得到QKFile奖励。在网络中，通过密码证明来验证数据的存储安全性。采矿者通过新区块链向网络提交其储存证明。通过网络发布的新区块链验证，只有正确的区块链才能被接受，经过一段时间，矿工们就可以获得交易存储费用，并有机会得到区块链奖励。数据就在更需要它的地方传播了，旋转数据就在地球范围内流动了，数据的获取就不断优化了，从小的矿机到大的数据中心，所有人都可以通过共同努力，为人类信息社会的建设奠定新的基础，并从中获益。

‘肆’ Redis 和 Memcached 各有什么优缺点，主要的应用场景是什么样的

Redis的作者Salvatore Sanfilippo曾经对这两种基于内存的数据存储系统进行过比较：

1、Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样高效。所以，如果需要缓存能够支持更复杂的结构和操作，那么Redis会是不错的选择。

2、内存使用效率对比：使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。

3、性能对比：由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起Memcached，还是稍有逊色。

具体为什么会出现上面的结论，以下为收集到的资料：

1、数据类型支持不同

与Memcached仅支持简单的key-value结构的数据记录不同，Redis支持的数据类型要丰富得多。最为常用的数据类型主要由五种：String、Hash、List、Set和Sorted Set。Redis内部使用一个redisObject对象来表示所有的key和value。redisObject最主要的信息如图所示：

type代表一个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=string代表value存储的是一个普通字符串，那么对应的encoding可以是raw或者是int，如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的，当然前提是这个字符串本身可以用数值表示，比如:”123″ “456”这样的字符串。只有打开了Redis的虚拟内存功能，vm字段字段才会真正的分配内存，该功能默认是关闭状态的。

1）String

• 常用命令：set/get/decr/incr/mget等；

• 应用场景：String是最常用的一种数据类型，普通的key/value存储都可以归为此类；

• 实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr、decr等操作时会转成数值型进行计算，此时redisObject的encoding字段为int。

2）Hash

• 常用命令：hget/hset/hgetall等

• 应用场景：我们要存储一个用户信息对象数据，其中包括用户ID、用户姓名、年龄和生日，通过用户ID我们希望获取该用户的姓名或者年龄或者生日；

• 实现方式：Redis的Hash实际是内部存储的Value为一个HashMap，并提供了直接存取这个Map成员的接口。如图所示，Key是用户ID, value是一个Map。这个Map的key是成员的属性名，value是属性值。这样对数据的修改和存取都可以直接通过其内部Map的Key(Redis里称内部Map的key为field), 也就是通过 key(用户ID) + field(属性标签) 就可以操作对应属性数据。当前HashMap的实现有两种方式：当HashMap的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储，而不会采用真正的HashMap结构，这时对应的value的redisObject的encoding为zipmap，当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。

3）List

• 常用命令：lpush/rpush/lpop/rpop/lrange等；

• 应用场景：Redis list的应用场景非常多，也是Redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用Redis的list结构来实现；

• 实现方式：Redis list的实现为一个双向链表，即可以支持反向查找和遍历，更方便操作，不过带来了部分额外的内存开销，Redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。

4）Set

• 常用命令：sadd/spop/smembers/sunion等；

• 应用场景：Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的；

• 实现方式：set 的内部实现是一个 value永远为null的HashMap，实际就是通过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在集合内的原因。

5）Sorted Set

• 常用命令：zadd/zrange/zrem/zcard等；

• 应用场景：Redis sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted set可以通过用户额外提供一个优先级(score)的参数来为成员排序，并且是插入有序的，即自动排序。当你需要一个有序的并且不重复的集合列表，那么可以选择sorted set数据结构，比如twitter 的public timeline可以以发表时间作为score来存储，这样获取时就是自动按时间排好序的。

• 实现方式：Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序，HashMap里放的是成员到score的映射，而跳跃表里存放的是所有的成员，排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率，并且在实现上比较简单。

2、内存管理机制不同

在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别。当物理内存用完时，Redis可以将一些很久没用到的value交换到磁盘。Redis只会缓存所有的key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的操作，Redis根据“swappability = age*log(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的key，毕竟这些数据是不会进行swap操作的。同时由于Redis将内存中的数据swap到磁盘中的时候，提供服务的主线程和进行swap操作的子线程会共享这部分内存，所以如果更新需要swap的数据，Redis将阻塞这个操作，直到子线程完成swap操作后才可以进行修改。当从Redis中读取数据的时候，如果读取的key对应的value不在内存中，那么Redis就需要从swap文件中加载相应数据，然后再返回给请求方。 这里就存在一个I/O线程池的问题。在默认的情况下，Redis会出现阻塞，即完成所有的swap文件加载后才会相应。这种策略在客户端的数量较小，进行批量操作的时候比较合适。但是如果将Redis应用在一个大型的网站应用程序中，这显然是无法满足大并发的情况的。所以Redis运行我们设置I/O线程池的大小，对需要从swap文件中加载相应数据的读取请求进行并发操作，减少阻塞的时间。

对于像Redis和Memcached这种基于内存的数据库系统来说，内存管理的效率高低是影响系统性能的关键因素。传统C语言中的malloc/free函数是最常用的分配和释放内存的方法，但是这种方法存在着很大的缺陷：首先，对于开发人员来说不匹配的malloc和free容易造成内存泄露；其次频繁调用会造成大量内存碎片无法回收重新利用，降低内存利用率；最后作为系统调用，其系统开销远远大于一般函数调用。所以，为了提高内存的管理效率，高效的内存管理方案都不会直接使用malloc/free调用。Redis和Memcached均使用了自身设计的内存管理机制，但是实现方法存在很大的差异，下面将会对两者的内存管理机制分别进行介绍。

Memcached默认使用Slab Allocation机制管理内存，其主要思想是按照预先规定的大小，将分配的内存分割成特定长度的块以存储相应长度的key-value数据记录，以完全解决内存碎片问题。Slab Allocation机制只为存储外部数据而设计，也就是说所有的key-value数据都存储在Slab Allocation系统里，而Memcached的其它内存请求则通过普通的malloc/free来申请，因为这些请求的数量和频率决定了它们不会对整个系统的性能造成影响Slab Allocation的原理相当简单。 如图所示，它首先从操作系统申请一大块内存，并将其分割成各种尺寸的块Chunk，并把尺寸相同的块分成组Slab Class。其中，Chunk就是用来存储key-value数据的最小单位。每个Slab Class的大小，可以在Memcached启动的时候通过制定Growth Factor来控制。假定图中Growth Factor的取值为1.25，如果第一组Chunk的大小为88个字节，第二组Chunk的大小就为112个字节，依此类推。

当Memcached接收到客户端发送过来的数据时首先会根据收到数据的大小选择一个最合适的Slab Class，然后通过查询Memcached保存着的该Slab Class内空闲Chunk的列表就可以找到一个可用于存储数据的Chunk。当一条数据库过期或者丢弃时，该记录所占用的Chunk就可以回收，重新添加到空闲列表中。从以上过程我们可以看出Memcached的内存管理制效率高，而且不会造成内存碎片，但是它最大的缺点就是会导致空间浪费。因为每个Chunk都分配了特定长度的内存空间，所以变长数据无法充分利用这些空间。如图 所示，将100个字节的数据缓存到128个字节的Chunk中，剩余的28个字节就浪费掉了。

Redis的内存管理主要通过源码中zmalloc.h和zmalloc.c两个文件来实现的。Redis为了方便内存的管理，在分配一块内存之后，会将这块内存的大小存入内存块的头部。如图所示，real_ptr是redis调用malloc后返回的指针。redis将内存块的大小size存入头部，size所占据的内存大小是已知的，为size_t类型的长度，然后返回ret_ptr。当需要释放内存的时候，ret_ptr被传给内存管理程序。通过ret_ptr，程序可以很容易的算出real_ptr的值，然后将real_ptr传给free释放内存。

Redis通过定义一个数组来记录所有的内存分配情况，这个数组的长度为ZMALLOC_MAX_ALLOC_STAT。数组的每一个元素代表当前程序所分配的内存块的个数，且内存块的大小为该元素的下标。在源码中，这个数组为zmalloc_allocations。zmalloc_allocations[16]代表已经分配的长度为16bytes的内存块的个数。zmalloc.c中有一个静态变量used_memory用来记录当前分配的内存总大小。所以，总的来看，Redis采用的是包装的mallc/free，相较于Memcached的内存管理方法来说，要简单很多。

3、数据持久化支持

Redis虽然是基于内存的存储系统，但是它本身是支持内存数据的持久化的，而且提供两种主要的持久化策略：RDB快照和AOF日志。而memcached是不支持数据持久化操作的。

1）RDB快照

Redis支持将当前数据的快照存成一个数据文件的持久化机制，即RDB快照。但是一个持续写入的数据库如何生成快照呢？Redis借助了fork命令的 on write机制。在生成快照时，将当前进程fork出一个子进程，然后在子进程中循环所有的数据，将数据写成为RDB文件。我们可以通过Redis的save指令来配置RDB快照生成的时机，比如配置10分钟就生成快照，也可以配置有1000次写入就生成快照，也可以多个规则一起实施。这些规则的定义就在Redis的配置文件中，你也可以通过Redis的CONFIG SET命令在Redis运行时设置规则，不需要重启Redis。

Redis的RDB文件不会坏掉，因为其写操作是在一个新进程中进行的，当生成一个新的RDB文件时，Redis生成的子进程会先将数据写到一个临时文件中，然后通过原子性rename系统调用将临时文件重命名为RDB文件，这样在任何时候出现故障，Redis的RDB文件都总是可用的。同时，Redis的RDB文件也是Redis主从同步内部实现中的一环。RDB有他的不足，就是一旦数据库出现问题，那么我们的RDB文件中保存的数据并不是全新的，从上次RDB文件生成到Redis停机这段时间的数据全部丢掉了。在某些业务下，这是可以忍受的。

2）AOF日志

AOF日志的全称是append only file，它是一个追加写入的日志文件。与一般数据库的binlog不同的是，AOF文件是可识别的纯文本，它的内容就是一个个的Redis标准命令。只有那些会导致数据发生修改的命令才会追加到AOF文件。每一条修改数据的命令都生成一条日志，AOF文件会越来越大，所以Redis又提供了一个功能，叫做AOF rewrite。其功能就是重新生成一份AOF文件，新的AOF文件中一条记录的操作只会有一次，而不像一份老文件那样，可能记录了对同一个值的多次操作。其生成过程和RDB类似，也是fork一个进程，直接遍历数据，写入新的AOF临时文件。在写入新文件的过程中，所有的写操作日志还是会写到原来老的AOF文件中，同时还会记录在内存缓冲区中。当重完操作完成后，会将所有缓冲区中的日志一次性写入到临时文件中。然后调用原子性的rename命令用新的AOF文件取代老的AOF文件。

AOF是一个写文件操作，其目的是将操作日志写到磁盘上，所以它也同样会遇到我们上面说的写操作的流程。在Redis中对AOF调用write写入后，通过appendfsync选项来控制调用fsync将其写到磁盘上的时间，下面appendfsync的三个设置项，安全强度逐渐变强。

• appendfsync no 当设置appendfsync为no的时候，Redis不会主动调用fsync去将AOF日志内容同步到磁盘，所以这一切就完全依赖于操作系统的调试了。对大多数Linux操作系统，是每30秒进行一次fsync，将缓冲区中的数据写到磁盘上。

• appendfsync everysec 当设置appendfsync为everysec的时候，Redis会默认每隔一秒进行一次fsync调用，将缓冲区中的数据写到磁盘。但是当这一次的fsync调用时长超过1秒时。Redis会采取延迟fsync的策略，再等一秒钟。也就是在两秒后再进行fsync，这一次的fsync就不管会执行多长时间都会进行。这时候由于在fsync时文件描述符会被阻塞，所以当前的写操作就会阻塞。所以结论就是，在绝大多数情况下，Redis会每隔一秒进行一次fsync。在最坏的情况下，两秒钟会进行一次fsync操作。这一操作在大多数数据库系统中被称为group commit，就是组合多次写操作的数据，一次性将日志写到磁盘。

• appednfsync always 当设置appendfsync为always时，每一次写操作都会调用一次fsync，这时数据是最安全的，当然，由于每次都会执行fsync，所以其性能也会受到影响。

对于一般性的业务需求，建议使用RDB的方式进行持久化，原因是RDB的开销并相比AOF日志要低很多，对于那些无法忍数据丢失的应用，建议使用AOF日志。

4、集群管理的不同

Memcached是全内存的数据缓冲系统，Redis虽然支持数据的持久化，但是全内存毕竟才是其高性能的本质。作为基于内存的存储系统来说，机器物理内存的大小就是系统能够容纳的最大数据量。如果需要处理的数据量超过了单台机器的物理内存大小，就需要构建分布式集群来扩展存储能力。

Memcached本身并不支持分布式，因此只能在客户端通过像一致性哈希这样的分布式算法来实现Memcached的分布式存储。下图给出了Memcached的分布式存储实现架构。当客户端向Memcached集群发送数据之前，首先会通过内置的分布式算法计算出该条数据的目标节点，然后数据会直接发送到该节点上存储。但客户端查询数据时，同样要计算出查询数据所在的节点，然后直接向该节点发送查询请求以获取数据。

相较于Memcached只能采用客户端实现分布式存储，Redis更偏向于在服务器端构建分布式存储。最新版本的Redis已经支持了分布式存储功能。Redis Cluster是一个实现了分布式且允许单点故障的Redis高级版本，它没有中心节点，具有线性可伸缩的功能。下图给出Redis Cluster的分布式存储架构，其中节点与节点之间通过二进制协议进行通信，节点与客户端之间通过ascii协议进行通信。在数据的放置策略上，Redis Cluster将整个key的数值域分成4096个哈希槽，每个节点上可以存储一个或多个哈希槽，也就是说当前Redis Cluster支持的最大节点数就是4096。Redis Cluster使用的分布式算法也很简单：crc16( key ) % HASH_SLOTS_NUMBER。

为了保证单点故障下的数据可用性，Redis Cluster引入了Master节点和Slave节点。在Redis Cluster中，每个Master节点都会有对应的两个用于冗余的Slave节点。这样在整个集群中，任意两个节点的宕机都不会导致数据的不可用。当Master节点退出后，集群会自动选择一个Slave节点成为新的Master节点。

‘伍’ 18、以下哪些拓扑结构不会产生单点故障（ ） A）总线型 B）环型 C）网状结构 D）星形

首先要理解什么是单点故障，单点故障（英语：single point of failure，缩写SPOF）是指系统中一点失效，就会让整个系统或者大部分系统无法运作的部件，换句话说，单点故障即会整体或大部分故障。
再从网络结构上来分析，总线型 ：总线是属于整个系统的一部分，如果总线段了是会影响到所有节点都不能正常使用的。

环型网络（早期的）环形拓扑结构是由多个首尾相连接的中继器组成，每一个中继器连接一个工作站，中继器从一端发送数据从另一端接受数据，环中是单向传输数据的（注意是单向划重点）。所以一个数据从本节点A发送会经过所有节点最终从本节点的B端接收。如果任意一个系统一部分故障都会导致整个网络故障。
星型网络：有一个中心节点，中心节点属于整个系统的一部分，那中心节点故障了整个网络就出现故障，其他部分故障不影响整个网络。
网状结构：具有较高的可靠性，某一线路或节点有故障，不会影响整个网络工作。应为每个节点和其他节点都有连线，也称全网状。
故本题选择 C

‘陆’ 超融合基础架构（HCI）和传统基础架构相比，有什么优势

一、架构和资源管理模式对比
如下以SmartX 超融合产品为例，分别给出了下超融合架构和传统架构的部署区别和资源管理模式区别。

‘柒’ 云计算储存跟传统的储存有什么区别

云计算储存跟传统的储存区别有:
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

由于用户数量众多，存储系统需要存储的文件将呈指数级增长态势，这就要求存储系统的容量扩展能够跟得上数据量的增长，做到无限扩容，同时在扩展过程中最好还要做到简便易行，不能影响到数据中心的整体运行，如果容量的扩展需要复杂的操作，甚至停机，这无疑会极大地降低数据中心的运营效率。
云时代的存储系统需要的不仅仅是容量的提升，对于性能的要求同样迫切，与以往只面向有限的用户不同，在云时代，存储系统将面向更为广阔的用户群体，用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升，只有这样才能对请求作出快速的反应，这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能，这显然是传统的存储架构无法达成的目标。
传统的存储系统由于没有采用分布式的文件系统，无法将所有访问压力平均分配到多个存储节点，因而在存储系统与计算系统之间存在着明显的传输瓶颈，由此而带来单点故障等多种后续问题，而集群存储正是解决这一问题，满足新时代要求的一剂良药。
云存储技术与传统存储技术
性能问题。由于数据量的激增，数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据，在索引时往往需要花上几分钟的时间。
传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理，所有的数据集成到单一的存储体系之中，以满足业务持续性需求。但是在面临大数据时就显得捉襟见肘：
成本激增。在大型项目中，前端图像信息采集点过多，单台服务器承载量有限，就造成需要配置几十台，甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加;
磁盘碎片问题。由于视频监控系统往往采用回滚写入方式，这种无序的频繁读写操作，导致了磁盘碎片的大量产生。随着使用时间的增加，将严重的影响整体存储系统的读写性能，甚至导致存储系统被锁定为只读，而无法写入新的视频数据;
与传统存储相比，云存储则具有以下几点突出的优势：
量身定制。这个主要是针对于私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案，或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务，而且还能在一定程度上降低安全风险;
成本低。就目前来说，企业在数据存储上所付出的成本是相当大的，而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力，许多企业将大部分数据转移到云存储上，让云存储服务提供商来为他们解决数据存储的问题。这样就能花很少的价钱获得最优的数据存储服务;
管理方便。其实这一项也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后，所有的升级维护任务都是由云存储服务提供商来完成，节约了企业存储系统管理员上的成本压力。还有就是云存储服务强大的可扩展性，当企业用户发展壮大后，突然发现自己先前的存储空间不足，就必须要考虑增加存储服务器来满足现有的存储需求。而云存储服务则可以很方便的在原有基础上扩展服务空间，满足需求。;
要知道，传统的存储模式已经不再适应当代数据暴增的现实问题，如何让新兴的云存储发挥它应有的能力，在解决安全、兼容等问题上，我们还需要不断的努力，而目前，云计算是一个很好的选择，作为其核心的云存储必将成为未来存储技术的必然趋势。

‘捌’ 选择软件定义存储/分布式存储还是超融合一体机

肯定选择分布式存储，非常强调数据安全性，可以规避很多硬盘、服务器损坏、静默数据损毁等常见数据丢失风险。如果是普通的中小企业，主要部署一些静态网站，存储需求量不大，对数据安全性要求不高，能够容忍一定的数据丢失风险的，可以用超融合一体机。我们司负责IT的就10来个人，采用的VMware虚拟机加元核云分布式统一存储的方案

‘玖’ 国内一流的分布式存储厂商有哪些

杉岩数据是其中之一。

作为一款国产分布式存储软件产品，技术架构上采用业内领先的全分布式高可用设计，全平台无单点故障，并且可以提供文件存储、块存储和对象存储三种不同类型的存储模块。

这些存储模块可以灵活的组合搭配，提供快速简便的访问方式，满足新一代应用的敏捷开发需求，能够根据应用的发展进行灵活的弹性扩展。

提供了全语义、跨协议数据访问，帮助企业打通数据孤岛、实现传统应用间的数据共享，一体化极简架构与分钟级扩容、秒级数据检索，加速企业上云转型。在数据安全和价值发掘领域，采用全国密算法，确保数据绝对的安全。

(9)无单点故障的存储架构扩展阅读：

杉岩数据优势

1、多种数据冗余模式

杉岩数据提供多副本和纠删码两种数据冗余策略，多副本策略以数据镜像的方式提供数据冗余，确保冗余数据的完整性，同时也缩短了数据读取路径。

2、完善的容灾体系

存储系统支持多站点容灾机制、数据跨地域存放、延展集群、异步灾备，保证数据的安全性和最高空间利用率，极大的降低RPO和RTO。

3、数据脱敏

USP采用数据脱敏技术，帮助企业提高安全性和保密等级，防止数据被滥用。同时帮助企业符合安全性规范要求，以及由管理/审计机关所要求的隐私标准。

‘拾’ 数据库-架构和数据库-管理指的是什么

数据库架构：

下面是基于SQLserver数据库来谈的。
SQLServer经过这些年的发展，其实已经有很多很好的技术可以使用，如Replication、SSB、Cluster、Mirroring等（可以参考我在SQLServer DBA 三十问和SQLServer 高可用、高性能和高保护延伸 中的一些技术方面的知识），而且这些技术在可靠性方面已经通过了市场的认可，有很多公司在为提高其程序的可靠性、安全性和高效性等方面或多或少的采用了其中的某些技术，以下就我接触过的这些技术方面的应用，主要针对网站这种流量很大，读多写少的应用，就数据库架构方面做些探讨，希望对各位有所帮助，如有不对的地方，欢迎大家指正和交流。

数据库架构需要考虑的问题：
数据可靠和一致性；
数据容灾；
当数据量和访问压力变大时，方便扩充；
高度可用，出问题时能及时恢复，无单点故障；
不应因为某一台机器出现问题，导致整网性能的急剧下降；
方便维护。

数据库管理：

数据库管理(Database Manager)是有关建立、存储、修改和存取数据库中信息的技术，是指为保证数据库系统的正常运行和服务质量，有关人员须进行的技术管理工作。负责这些技术管理工作的个人或集体称为数据库管理员(DBA)。数据库管理的主要内容有：数据库的调优、数据库的重组、数据库的重构、数据库的安全管控、报错问题的分析和汇总和处理、数据库数据的日常备份. 数据库的建立：数据库的设计只是提供了数据的类型、逻辑结构、联系、约束和存储结构等有关数据的描述。这些描述称为数据模式。