分布式存储网关设计

A. 如何在分布式系统里实现大矩阵的存储

在一个视频监控系统中，选择什么样的存储解决方案直接决定了整个系统的系统架构以及系统的性能和稳定程度。
一种是在摄像监控前端采用有一定存储容量（如1.2T）的DVR设备，所有需要的数据均保存在前端DVR的存储设备中，比较好的方案中，后台软件可以管理和维护多台的DVR设备，包括这些DVR设备的存储数据，如录像的转存、删除和回放等功能。这种方案中所有数据主要保存在DVR中，后台主要负责维护和必要的存储。
另一种是在摄像监控前端采用DVR或者网络视频服务器，而存储主要在远端通过后台的PC或者服务器软件来将数据保存在后台的存储设备上。
上述两种存储方案均有很多弊端，尤其当监控点很多，需要的存储量又很大的情况下，这些可能的弊端包括：由于存储分散导致难以维护；由于存储的专业程度不高导致存储的可靠性不高，进而导致整个系统的可靠性不高；存储的利用率不高；存储的扩展性不好。
为了克服这些弊端，并推荐使用基于分布式存储、集中管理思路的、以及基于iSCSI技术的IPSAN来作为视频监控的存储解决方案，这个方案的主要特点包括：
1、分布式存储，集中管理；
2、基于iSCSI技术的IPSAN（STorageAreaNetwork）；
3、流媒体网关可以作为存储解决方案的核心设备。

B. 超融合产品和分布式文件系统的区别是什么

超融合和分布式文件系统，其实两者无论在应用场景，还是在架构设计，都不在同一个层次上。
首先，超融合的出现是为了提高效率、降低运营成本。推动客户选择超融合的主要原因是：
- 敏捷性：在数据中心内具有公共云速度、效率和经济性。
- 可扩展性：从小规模开始，可轻松纵向或横向扩展，同时保持性能水平。
- 简单性：用软件驱动的自动化和生命周期管理来简化运营。
超融合系统不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。超融合基础架构还提供了具有高效可扩展性的虚拟化就绪环境。此外，由于简化了采购和部署并降低了管理成本和复杂性，它还可能实现资本和运营支出的减少。
通常超融合系统采用分布式存储架构，通过增加节点的方式横向扩容，但是不一定是分布式文件系统，比如杉岩的超融合一体机。
而分布式文件系统，通常也通过增加节点的方式横向扩容，提供分布式块存储、分布式文件存储、分布式对象存储等存储服务。但分布式文件系统与超融合并不是同一个层次上的东西。

C. 分布式文件系统 ipfs性能怎么样

这个是IPFS应用生态图。各行业各都在布局IPFS了。

• IPFS是协议 定义了基于内容寻址的文件传输协议，并结合了来自Kademlia、BitTorrent、 Git等想法来协调内容传输。在这个网络协议下，访问文件或数据的依据，是一 串串与文件匹配的唯一的哈希值。

• IPFS是文件系统 有文件夹、文件和基于FUSE的可挂载文件系统。虽然在此协议下检索文件是依 据哈希值而非IP，但具体文件依然存储在以树状层级文件夹系统为基础的文件 系统。

• IPFS是互联网 文件可以通过HTTP网关来访问，例如https://ipfs.io； 浏览器通过扩展插件或直接使用区块链浏览器来使用ipfs://域； 哈希寻址保证了内容的真实性。

• IPFS是P2P（点对点通讯） 支持世界范围点对点文件传输，具有完全分散的架构，没有中心点故障。掠过 所有中间节点的端对端直达传输。

• IPFS是CDN 在本地库中添加一个文件，立即对世界可用，并拥有对缓存友好的内容哈希地 址和BitTorrent一样的带宽分发。访问此网络下的文件就像访问本地文件一样迅 速方便。

• IPFS是云服务 基于分布式存储结构，集合全节点存储能力，以供存储检索需求。

D. 存储双活的必要性

存储双活的必要性：

随着云计算的发展，越来越多的生产服务转化成IT应用部署到数据中心。业务连续性的重要性也得到越来越多的关注，而且人们的关注点也不再仅仅集中于前端主机的高可用，而是开始意识到作为数据服务基石——存储层业务连续性的重要性。

存储是数据服务的基础，近几年人们对存储层的高可用越来越重视。只是前端主机实现应用双活，存储不实现双活无法建立真正的双活数据中心。存储双活的这个“双”代表两份数据（或两台存储），“活”代表这两份数据（或两台存储）都可以被读写访问，类似于主机A-A模式的集群。

设计双活存储高可用，防止仲裁防脑裂的方法：

AA模式的双活存储，在某些特定的多重故障下，仲裁机制会优先保证数据的一致性，可能会将双活存储上的所有LUN都停止主机访问。所以，在设计仲裁模式的时候，建议建立第三方站点作为仲裁机，但也不能完全避免上述情况。

所以，还要考虑强制启动，而强制启动端的存储作为同步源端，会在链路恢复后同步增量差异数据。

E. 什么是分布式存储

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

(5)分布式存储网关设计扩展阅读：

分布式存储，集中管理，在这个方案中，共有三级：

1、上级监控中心：上级监控中心通常只有一个，主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心：本地监控中心可以有多个，可依据地理位置设置，或者依据行政隶属关系设立，主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成；音视频的数据均主要保存在本地监控中心，这就是分布式存储的概念。

3、监控前端：主要由摄像头、网络视频服务器组成，其中VE4000系列的网络视频服务器可以带硬盘，该硬盘主要是用于网络不畅时，暂时对音视频数据进行保存，或者需要在前端保存一些重要数据的情况。

F. 什么叫网关干什么的有什么用

网关是将两个使用不同传输协议的网络端连接在一起的设备，网关一般用作网络的入口和出口点，因为所有数据必须在路由之前通过或与网关通信。在大多数基于IP的网络中，唯一不通过至少一个网关的流量是在同一局域网（LAN）段上的节点之间流动的流量。

在个人或企业场景中使用网关的主要优点是将互联网连接简化为一个设备。在企业中，网关节点还可以充当代理服务器和防火墙。

网关如何工作

所有网络都有一个边界，限制与直接连接到它的设备的通信。因此，如果网络想要与该边界之外的设备，节点或网络通信，则它们需要网关的功能。网关通常被表征为路由器和调制解调器的组合。

网关在网络边缘实现，并管理从该网络内部或外部定向的所有数据。当一个网络想要与另一个网络通信时，数据包将传递到网关，然后通过最有效的路径路由到目的地。除路由数据外，网关还将存储有关主机网络内部路径的信息以及遇到的任何其他网络的路径。

网关基本上是协议转换器，促进两个协议之间的兼容性，并在开放系统互连（OSI）模型的任何层上操作。

网关的一个用途是在物联网环境和云之间创建通信链路。

网关类型

网关可以采用多种形式并执行各种任务。这方面的例子包括：

Web应用程序防火墙： 此类型过滤来自Web服务器的流量并查看应用程序层数据。

云存储网关：此类型使用各种云存储服务API调用转换存储请求。它允许组织将存储从私有云集成到应用程序中，而无需迁移到公共云。

API、OA或 XML 网关：此类型管理流入和流出服务，面向微服务的体系结构或基于XML的Web服务的流量。

物联网网关：此类型聚合来自物联网环境中设备的传感器数据，在传感器协议之间进行转换，并在向前发送之前处理传感器数据。

媒体网关 ：此类型将数据从一种网络所需的格式转换为另一种网络所需的格式。

电子邮件安全网关：此类型可防止传输违反公司政策或将以恶意目的传输信息的电子邮件。

VoIP中继网关：这种类型便于使用普通老式电话服务设备，如固定电话和传真机，以及IP语音（VoIP）网络。

此外，服务提供商可以开发网关，供客户使用。

网关和路由器的相似之处在于它们都可用于调节两个或多个独立网络之间的流量。但是，路由器用于连接两个相似类型的网络，网关用于连接两个不同的网络。由于这种逻辑，路由器可能被视为网关，但网关并不总是被视为路由器。路由器是最常用的网关，用于将家庭或企业网络连接到互联网。

G. Ceph分布式存储是怎么防止脑裂的

解决脑裂问题，通常采用隔离(Fencing)机制，包括三个方面：

共享存储fencing：确保只有一个Master往共享存储中写数据。

客户端fencing：确保只有一个Master可以响应客户端的请求。

Slave fencing：确保只有一个Master可以向Slave下发命令。

Hadoop公共库中对外提供了两种fenching实现，分别是sshfence和shellfence（缺省实现），其中sshfence是指通过ssh登陆目标Master节点上，使用命令fuser将进程杀死（通过tcp端口号定位进程pid，该方法比jps命令更准确），shellfence是指执行一个用户事先定义的shell命令（脚本）完成隔离。

切换对外透明：为了保证整个切换是对外透明的，Hadoop应保证所有客户端和Slave能自动重定向到新的active master上，这通常是通过若干次尝试连接旧master不成功后，再重新尝试链接新master完成的，整个过程有一定延迟。在新版本的Hadoop RPC中，用户可自行设置RPC客户端尝试机制、尝试次数和尝试超时时间等参数。

在“双机热备”高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障，2个节点上的HA软件像“裂脑人”一样，“本能”地争抢“共享资源”、争起“应用服务”，就会发生严重后果：或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。
运行于备用主机上的Heartbeat可以通过以太网连接检测主服务器的运行状态，一旦其无法检测到主服务器的“心跳”则自动接管主服务器的资源。通常情况下，主、备服务器间的心跳连接是一个独立的物理连接，这个连接可以是串行线缆、一个由“交叉线”实现的以太网连接。Heartbeat甚至可同时通过多个物理连接检测主服务器的工作状态，而其只要能通过其中一个连接收到主服务器处于活动状态的信息，就会认为主服务器处于正常状态。从实践经验的角度来说，建议为Heartbeat配置多条独立的物理连接，以避免Heartbeat通信线路本身存在单点故障。
1、串行电缆：被认为是比以太网连接安全性稍好些的连接方式，因为hacker无法通过串行连接运行诸如telnet、ssh或rsh类的程序，从而可以降低其通过已劫持的服务器再次侵入备份服务器的几率。但串行线缆受限于可用长度，因此主、备服务器的距离必须非常短。
2、以太网连接：使用此方式可以消除串行线缆的在长度方面限制，并且可以通过此连接在主备服务器间同步文件系统，从而减少了从正常通信连接带宽的占用。
基于冗余的角度考虑，应该在主、备服务器使用两个物理连接传输heartbeat的控制信息；这样可以避免在一个网络或线缆故障时导致两个节点同时认为自已是唯一处于活动状态的服务器从而出现争用资源的情况，这种争用资源的场景即是所谓的“脑裂”（split-brain）或“partitioned cluster”。在两个节点共享同一个物理设备资源的情况下，脑裂会产生相当可怕的后果。
为了避免出现脑裂，可采用下面的预防措施：
添加冗余的心跳线，例如双线条线。尽量减少“裂脑”发生机会。
启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即，正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下 参考IP，不通则表明断点就出在本端，不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。

H. 腾讯云储存产品是什么/腾讯云储存储存空间是多大/腾讯云储存怎么上传文件

腾讯云存储产品
云硬盘（Cloud Block Storage）是腾讯云提供的用于CVM实例的持久性数据块级存储。每个云硬盘在其可用区内自动复制，云硬盘中的数据在可用区内以多副本冗余方式存储，避免数据的单点故障风险。云硬盘为您提供处理工作所需的稳定可靠低延迟存储，通过云硬盘，您可在几分钟内调整存储容量，且所有这些您只需为配置的资源量支付低廉的价格。
归档存储（Cloud Archive Storage）是面向企业和个人开发者提供的高可靠、低成本的云端离线存储服务。您可以将任意数量和形式的非结构化数据放 入CAS，实现数据的容灾和备份。
文件存储（Cloud File Storage）提供了可扩展的共享文件存储服务，可与腾讯云的 CVM 等服务搭配使用。CFS 提供了标准的 NFS 文件系统访问协议，为多个 CVM 实例提供共享的数据源，支持无限容量和性能的扩展，现有应用无需修改即可挂载使用，是一种高可用、高可靠的分布式文件系统，适合于大数据分析、媒体处理和内容管理等场景。
对象存储（Cloud Object Storage）是面向企业和个人开发者提供的高可用，高稳定，强安全的云端存储服务。您可以将任意数量和形式的非结构化数据放入COS，并在其中实现数据的管理和处理。COS支持标准的Restful API接口，您可以快速上手使用，按实际使用量计费，无最低使用限制。
存储网关（Cloud Storage Gateway）是一种混合云存储方案，旨在帮助企业或个人实现本地存储与公有云存储的无缝衔接。您无需关心多协议本地存储设备与云存储的兼容性，只需要在本地安装云存储网关即可实现混合云部署，并拥有媲美本地性能的海量云端存储。 n腾讯云私有云存储 CSP（Cloud Storage on Private）是面向企业提供可扩展、高可靠、强安全、低成本的 PB 级海量数据存储能力。提供客户机房私有部署、腾讯云机房专区部署两种方式，满足客户多种场景需求，并保障客户对系统 100% 可控。
云数据迁移（Cloud Data Migration）是腾讯云提供的 TB ~ PB 级别的数据迁移上云服务。本服务提供了多种线下离线迁移的专用设备，满足本地办公网络或数据中心的大规模数据迁移上云的需求，解决大量数据通过网络传输时间长、成本高、安全性低的问题。 n日志服务（Cloud Log Service）提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题，五分钟快速便捷接入，即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。帮助您轻松解决业务问题定位，指标监控、安全审计等日志问题。大大降低日志运维门槛。

I. 什么是分布式存储系统

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

(9)分布式存储网关设计扩展阅读：

分布式存储，集中管理，在这个方案中，共有三级：

1、上级监控中心：上级监控中心通常只有一个，主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心：本地监控中心可以有多个，可依据地理位置设置，或者依据行政隶属关系设立，主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成；音视频的数据均主要保存在本地监控中心，这就是分布式存储的概念。

3、监控前端：主要由摄像头、网络视频服务器组成，其中VE4000系列的网络视频服务器可以带硬盘，该硬盘主要是用于网络不畅时，暂时对音视频数据进行保存，或者需要在前端保存一些重要数据的情况。

J. 云计算分为IaaS、PaaS、SaaS，分别是什么

云计算的服务模式分为IaaS、PaaS、SaaS。这三种模式分别代表三种不同的层级。
SaaS面向企业或个人终端用户，通过网络租用的形式提供软件，包括：管理类应用、业务类应用、行业类应用等Saas可以调用Paas层能力，也可以使用laas层资源独立开发。
PaaS面向开发者，提供软件运行的平合环境或以API、sDK的形式被客户应用调用，包括：数据分析、人工智能Docker；推送、通信、语音识别、图像识别、统计、广告等。
面向企业或开发者，提供基础资源支持，包括：计算、存储、网络等。
如果想找性价比高、安全性好的云服务商，我推荐你去看看时速云，他们是一家全栈云原生技术服务提供商，提供云原生应用及数据平台产品，其中涵盖容器云PaaS、DevOps、微服务治理、服务网格、API网关等。大家可以去体验一下。
希望能给您提供帮助，可以给个大大的赞不。