分布式存儲網關設計

A. 如何在分布式系統里實現大矩陣的存儲

在一個視頻監控系統中，選擇什麼樣的存儲解決方案直接決定了整個系統的系統架構以及系統的性能和穩定程度。
一種是在攝像監控前端採用有一定存儲容量（如1.2T）的DVR設備，所有需要的數據均保存在前端DVR的存儲設備中，比較好的方案中，後台軟體可以管理和維護多台的DVR設備，包括這些DVR設備的存儲數據，如錄像的轉存、刪除和回放等功能。這種方案中所有數據主要保存在DVR中，後台主要負責維護和必要的存儲。
另一種是在攝像監控前端採用DVR或者網路視頻伺服器，而存儲主要在遠端通過後台的PC或者伺服器軟體來將數據保存在後台的存儲設備上。
上述兩種存儲方案均有很多弊端，尤其當監控點很多，需要的存儲量又很大的情況下，這些可能的弊端包括：由於存儲分散導致難以維護；由於存儲的專業程度不高導致存儲的可靠性不高，進而導致整個系統的可靠性不高；存儲的利用率不高；存儲的擴展性不好。
為了克服這些弊端，並推薦使用基於分布式存儲、集中管理思路的、以及基於iSCSI技術的IPSAN來作為視頻監控的存儲解決方案，這個方案的主要特點包括：
1、分布式存儲，集中管理；
2、基於iSCSI技術的IPSAN（STorageAreaNetwork）；
3、流媒體網關可以作為存儲解決方案的核心設備。

B. 超融合產品和分布式文件系統的區別是什麼

超融合和分布式文件系統，其實兩者無論在應用場景，還是在架構設計，都不在同一個層次上。
首先，超融合的出現是為了提高效率、降低運營成本。推動客戶選擇超融合的主要原因是：
- 敏捷性：在數據中心內具有公共雲速度、效率和經濟性。
- 可擴展性：從小規模開始，可輕松縱向或橫向擴展，同時保持性能水平。
- 簡單性：用軟體驅動的自動化和生命周期管理來簡化運營。
超融合系統不僅僅具備計算、網路、存儲和伺服器虛擬化等資源和技術，而且還包括緩存加速、重復數據刪除、在線數據壓縮、備份軟體、快照技術等元素，而多節點可以通過網路聚合起來，實現模塊化的無縫橫向擴展（scale-out），形成統一的資源池。超融合基礎架構還提供了具有高效可擴展性的虛擬化就緒環境。此外，由於簡化了采購和部署並降低了管理成本和復雜性，它還可能實現資本和運營支出的減少。
通常超融合系統採用分布式存儲架構，通過增加節點的方式橫向擴容，但是不一定是分布式文件系統，比如杉岩的超融合一體機。
而分布式文件系統，通常也通過增加節點的方式橫向擴容，提供分布式塊存儲、分布式文件存儲、分布式對象存儲等存儲服務。但分布式文件系統與超融合並不是同一個層次上的東西。

C. 分布式文件系統 ipfs性能怎麼樣

這個是IPFS應用生態圖。各行業各都在布局IPFS了。

• IPFS是協議 定義了基於內容定址的文件傳輸協議，並結合了來自Kademlia、BitTorrent、 Git等想法來協調內容傳輸。在這個網路協議下，訪問文件或數據的依據，是一 串串與文件匹配的唯一的哈希值。

• IPFS是文件系統 有文件夾、文件和基於FUSE的可掛載文件系統。雖然在此協議下檢索文件是依 據哈希值而非IP，但具體文件依然存儲在以樹狀層級文件夾系統為基礎的文件 系統。

• IPFS是互聯網 文件可以通過HTTP網關來訪問，例如https://ipfs.io； 瀏覽器通過擴展插件或直接使用區塊鏈瀏覽器來使用ipfs://域； 哈希定址保證了內容的真實性。

• IPFS是P2P（點對點通訊） 支持世界范圍點對點文件傳輸，具有完全分散的架構，沒有中心點故障。掠過 所有中間節點的端對端直達傳輸。

• IPFS是CDN 在本地庫中添加一個文件，立即對世界可用，並擁有對緩存友好的內容哈希地 址和BitTorrent一樣的帶寬分發。訪問此網路下的文件就像訪問本地文件一樣迅 速方便。

• IPFS是雲服務 基於分布式存儲結構，集合全節點存儲能力，以供存儲檢索需求。

D. 存儲雙活的必要性

存儲雙活的必要性：

隨著雲計算的發展，越來越多的生產服務轉化成IT應用部署到數據中心。業務連續性的重要性也得到越來越多的關注，而且人們的關注點也不再僅僅集中於前端主機的高可用，而是開始意識到作為數據服務基石——存儲層業務連續性的重要性。

存儲是數據服務的基礎，近幾年人們對存儲層的高可用越來越重視。只是前端主機實現應用雙活，存儲不實現雙活無法建立真正的雙活數據中心。存儲雙活的這個「雙」代表兩份數據（或兩台存儲），「活」代表這兩份數據（或兩台存儲）都可以被讀寫訪問，類似於主機A-A模式的集群。

設計雙活存儲高可用，防止仲裁防腦裂的方法：

AA模式的雙活存儲，在某些特定的多重故障下，仲裁機制會優先保證數據的一致性，可能會將雙活存儲上的所有LUN都停止主機訪問。所以，在設計仲裁模式的時候，建議建立第三方站點作為仲裁機，但也不能完全避免上述情況。

所以，還要考慮強制啟動，而強制啟動端的存儲作為同步源端，會在鏈路恢復後同步增量差異數據。

E. 什麼是分布式存儲

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(5)分布式存儲網關設計擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

F. 什麼叫網關干什麼的有什麼用

網關是將兩個使用不同傳輸協議的網路端連接在一起的設備，網關一般用作網路的入口和出口點，因為所有數據必須在路由之前通過或與網關通信。在大多數基於IP的網路中，唯一不通過至少一個網關的流量是在同一區域網（LAN）段上的節點之間流動的流量。

在個人或企業場景中使用網關的主要優點是將互聯網連接簡化為一個設備。在企業中，網關節點還可以充當代理伺服器和防火牆。

網關如何工作

所有網路都有一個邊界，限制與直接連接到它的設備的通信。因此，如果網路想要與該邊界之外的設備，節點或網路通信，則它們需要網關的功能。網關通常被表徵為路由器和數據機的組合。

網關在網路邊緣實現，並管理從該網路內部或外部定向的所有數據。當一個網路想要與另一個網路通信時，數據包將傳遞到網關，然後通過最有效的路徑路由到目的地。除路由數據外，網關還將存儲有關主機網路內部路徑的信息以及遇到的任何其他網路的路徑。

網關基本上是協議轉換器，促進兩個協議之間的兼容性，並在開放系統互連（OSI）模型的任何層上操作。

網關的一個用途是在物聯網環境和雲之間創建通信鏈路。

網關類型

網關可以採用多種形式並執行各種任務。這方面的例子包括：

Web應用程序防火牆： 此類型過濾來自Web伺服器的流量並查看應用程序層數據。

雲存儲網關：此類型使用各種雲存儲服務API調用轉換存儲請求。它允許組織將存儲從私有雲集成到應用程序中，而無需遷移到公共雲。

API、OA或 XML 網關：此類型管理流入和流出服務，面向微服務的體系結構或基於XML的Web服務的流量。

物聯網網關：此類型聚合來自物聯網環境中設備的感測器數據，在感測器協議之間進行轉換，並在向前發送之前處理感測器數據。

媒體網關 ：此類型將數據從一種網路所需的格式轉換為另一種網路所需的格式。

電子郵件安全網關：此類型可防止傳輸違反公司政策或將以惡意目的傳輸信息的電子郵件。

VoIP中繼網關：這種類型便於使用普通老式電話服務設備，如固定電話和傳真機，以及IP語音（VoIP）網路。

此外，服務提供商可以開發網關，供客戶使用。

網關和路由器的相似之處在於它們都可用於調節兩個或多個獨立網路之間的流量。但是，路由器用於連接兩個相似類型的網路，網關用於連接兩個不同的網路。由於這種邏輯，路由器可能被視為網關，但網關並不總是被視為路由器。路由器是最常用的網關，用於將家庭或企業網路連接到互聯網。

G. Ceph分布式存儲是怎麼防止腦裂的

解決腦裂問題，通常採用隔離(Fencing)機制，包括三個方面：

共享存儲fencing：確保只有一個Master往共享存儲中寫數據。

客戶端fencing：確保只有一個Master可以響應客戶端的請求。

Slave fencing：確保只有一個Master可以向Slave下發命令。

Hadoop公共庫中對外提供了兩種fenching實現，分別是sshfence和shellfence（預設實現），其中sshfence是指通過ssh登陸目標Master節點上，使用命令fuser將進程殺死（通過tcp埠號定位進程pid，該方法比jps命令更准確），shellfence是指執行一個用戶事先定義的shell命令（腳本）完成隔離。

切換對外透明：為了保證整個切換是對外透明的，Hadoop應保證所有客戶端和Slave能自動重定向到新的active master上，這通常是通過若干次嘗試連接舊master不成功後，再重新嘗試鏈接新master完成的，整個過程有一定延遲。在新版本的Hadoop RPC中，用戶可自行設置RPC客戶端嘗試機制、嘗試次數和嘗試超時時間等參數。

在「雙機熱備」高可用（HA）系統中，當聯系2個節點的「心跳線」斷開時，本來為一整體、動作協調的HA系統，就分裂成為2個獨立的個體。由於相互失去了聯系，都以為是對方出了故障，2個節點上的HA軟體像「裂腦人」一樣，「本能」地爭搶「共享資源」、爭起「應用服務」，就會發生嚴重後果：或者共享資源被瓜分、2邊「服務」都起不來了；或者2邊「服務」都起來了，但同時讀寫「共享存儲」，導致數據損壞（常見如資料庫輪詢著的聯機日誌出錯）。
運行於備用主機上的Heartbeat可以通過乙太網連接檢測主伺服器的運行狀態，一旦其無法檢測到主伺服器的「心跳」則自動接管主伺服器的資源。通常情況下，主、備伺服器間的心跳連接是一個獨立的物理連接，這個連接可以是串列線纜、一個由「交叉線」實現的乙太網連接。Heartbeat甚至可同時通過多個物理連接檢測主伺服器的工作狀態，而其只要能通過其中一個連接收到主伺服器處於活動狀態的信息，就會認為主伺服器處於正常狀態。從實踐經驗的角度來說，建議為Heartbeat配置多條獨立的物理連接，以避免Heartbeat通信線路本身存在單點故障。
1、串列電纜：被認為是比乙太網連接安全性稍好些的連接方式，因為hacker無法通過串列連接運行諸如telnet、ssh或rsh類的程序，從而可以降低其通過已劫持的伺服器再次侵入備份伺服器的幾率。但串列線纜受限於可用長度，因此主、備伺服器的距離必須非常短。
2、乙太網連接：使用此方式可以消除串列線纜的在長度方面限制，並且可以通過此連接在主備伺服器間同步文件系統，從而減少了從正常通信連接帶寬的佔用。
基於冗餘的角度考慮，應該在主、備伺服器使用兩個物理連接傳輸heartbeat的控制信息；這樣可以避免在一個網路或線纜故障時導致兩個節點同時認為自已是唯一處於活動狀態的伺服器從而出現爭用資源的情況，這種爭用資源的場景即是所謂的「腦裂」（split-brain）或「partitioned cluster」。在兩個節點共享同一個物理設備資源的情況下，腦裂會產生相當可怕的後果。
為了避免出現腦裂，可採用下面的預防措施：
添加冗餘的心跳線，例如雙線條線。盡量減少「裂腦」發生機會。
啟用磁碟鎖。正在服務一方鎖住共享磁碟，「裂腦」發生時，讓對方完全「搶不走」共享磁碟資源。但使用鎖磁碟也會有一個不小的問題，如果佔用共享盤的一方不主動「解鎖」，另一方就永遠得不到共享磁碟。現實中假如服務節點突然死機或崩潰，就不可能執行解鎖命令。後備節點也就接管不了共享資源和應用服務。於是有人在HA中設計了「智能」鎖。即，正在服務的一方只在發現心跳線全部斷開（察覺不到對端）時才啟用磁碟鎖。平時就不上鎖了。
設置仲裁機制。例如設置參考IP（如網關IP），當心跳線完全斷開時，2個節點都各自ping一下 參考IP，不通則表明斷點就出在本端，不僅「心跳」、還兼對外「服務」的本端網路鏈路斷了，即使啟動（或繼續）應用服務也沒有用了，那就主動放棄競爭，讓能夠ping通參考IP的一端去起服務。更保險一些，ping不通參考IP的一方乾脆就自我重啟，以徹底釋放有可能還佔用著的那些共享資源。

H. 騰訊雲儲存產品是什麼/騰訊雲儲存儲存空間是多大/騰訊雲儲存怎麼上傳文件

騰訊雲存儲產品
雲硬碟（Cloud Block Storage）是騰訊雲提供的用於CVM實例的持久性數據塊級存儲。每個雲硬碟在其可用區內自動復制，雲硬碟中的數據在可用區內以多副本冗餘方式存儲，避免數據的單點故障風險。雲硬碟為您提供處理工作所需的穩定可靠低延遲存儲，通過雲硬碟，您可在幾分鍾內調整存儲容量，且所有這些您只需為配置的資源量支付低廉的價格。
歸檔存儲（Cloud Archive Storage）是面向企業和個人開發者提供的高可靠、低成本的雲端離線存儲服務。您可以將任意數量和形式的非結構化數據放 入CAS，實現數據的容災和備份。
文件存儲（Cloud File Storage）提供了可擴展的共享文件存儲服務，可與騰訊雲的 CVM 等服務搭配使用。CFS 提供了標準的 NFS 文件系統訪問協議，為多個 CVM 實例提供共享的數據源，支持無限容量和性能的擴展，現有應用無需修改即可掛載使用，是一種高可用、高可靠的分布式文件系統，適合於大數據分析、媒體處理和內容管理等場景。
對象存儲（Cloud Object Storage）是面向企業和個人開發者提供的高可用，高穩定，強安全的雲端存儲服務。您可以將任意數量和形式的非結構化數據放入COS，並在其中實現數據的管理和處理。COS支持標準的Restful API介面，您可以快速上手使用，按實際使用量計費，無最低使用限制。
存儲網關（Cloud Storage Gateway）是一種混合雲存儲方案，旨在幫助企業或個人實現本地存儲與公有雲存儲的無縫銜接。您無需關心多協議本地存儲設備與雲存儲的兼容性，只需要在本地安裝雲存儲網關即可實現混合雲部署，並擁有媲美本地性能的海量雲端存儲。 n騰訊雲私有雲存儲 CSP（Cloud Storage on Private）是面向企業提供可擴展、高可靠、強安全、低成本的 PB 級海量數據存儲能力。提供客戶機房私有部署、騰訊雲機房專區部署兩種方式，滿足客戶多種場景需求，並保障客戶對系統 100% 可控。
雲數據遷移（Cloud Data Migration）是騰訊雲提供的 TB ~ PB 級別的數據遷移上雲服務。本服務提供了多種線下離線遷移的專用設備，滿足本地辦公網路或數據中心的大規模數據遷移上雲的需求，解決大量數據通過網路傳輸時間長、成本高、安全性低的問題。 n日誌服務（Cloud Log Service）提供一站式的日誌數據解決方案。您無需關注擴縮容等資源問題，五分鍾快速便捷接入，即可享受從日誌採集、日誌存儲到日誌內容搜索、統計分析等全方位穩定可靠的日誌服務。幫助您輕松解決業務問題定位，指標監控、安全審計等日誌問題。大大降低日誌運維門檻。

I. 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(9)分布式存儲網關設計擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

J. 雲計算分為IaaS、PaaS、SaaS，分別是什麼

雲計算的服務模式分為IaaS、PaaS、SaaS。這三種模式分別代表三種不同的層級。
SaaS面向企業或個人終端用戶，通過網路租用的形式提供軟體，包括：管理類應用、業務類應用、行業類應用等Saas可以調用Paas層能力，也可以使用laas層資源獨立開發。
PaaS面向開發者，提供軟體運行的平合環境或以API、sDK的形式被客戶應用調用，包括：數據分析、人工智慧Docker；推送、通信、語音識別、圖像識別、統計、廣告等。
面向企業或開發者，提供基礎資源支持，包括：計算、存儲、網路等。
如果想找性價比高、安全性好的雲服務商，我推薦你去看看時速雲，他們是一家全棧雲原生技術服務提供商，提供雲原生應用及數據平台產品，其中涵蓋容器雲PaaS、DevOps、微服務治理、服務網格、API網關等。大家可以去體驗一下。
希望能給您提供幫助，可以給個大大的贊不。