A. 分布式存儲都有哪些,基本實現原理是什麼
vCluster分布式存儲是國內性能最佳、功能最全的分布式存儲產品,比當前流行的某開源分布式軟體功能多出100餘項,功能優化30餘項。vCluster分布式存儲系列採用先進的分布式架構,將一個任務分給多個存儲節點並行處理,大大提高了存儲效率。其堆棧性和模塊化設計提高了存儲的健碩型和擴展性,完全符合企業存儲從現在到未來的IT架構發展趨勢。
B. 當前主流分布式文件系統有哪些
目前幾個主流的分布式文件系統除GPFS外,還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對PVFS的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在Carnegie Mellon University啟動,Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後,管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統,GPFS的主要優點有以下三點:
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖,第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理,這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
C. 現在使用較廣泛的分布式存儲產品有哪些
分布式存儲應用十分廣泛,在雲計算領域十分常見。因為業務特點和自身實力和資源等綜合原因,很多大型的雲計算廠商都會選擇自主開發或二次開發分布式存儲系統,這些廠商本身的產品性能也會比較穩定,在此我列舉一下這些廠商。
1. 公有雲方面:阿里雲的盤古和騰訊的PaxosStore,這兩個存儲系統分別支撐了大多數阿里雲和騰訊系產品的存儲和計算。
2. 私有雲方面:國外的有VMware的vSAN,谷歌的Google Megastore等;國內的有新華三的ONEStor、華為的FusionStorage、雲宏的WinStore等。
在這里特別提一下雲宏的WinStore存儲,他們的產品在金融領域應用非常廣泛,除了自主研發的虛擬化平台,他們也特別提到這個存儲技術,WinStore是他們自主研發的分布式存儲系統,使得他們的產品在數據存儲安全性和容災性能上有優勢。
D. IPFS是分布式存儲嗎,2019國內有哪些好的分布式存儲項目
IPFS是基於區塊鏈的,永久的、去中心化保存和共享文件的方法,是一種點對點的分布式協議。可關注杉岩數據,主要做金融、新能源、醫療、大數據等行業的數據存儲,提供整體解決方案!
E. 在大數量級的數據存儲上,比較靠譜的分布式文件存儲有哪些
一、 Ceph
Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表,並隨後貢獻給開源社區。經過多年的發展之後,已得到眾多雲計算和存儲廠商的支持,成為應用最廣泛的開源分布式存儲平台。
二、 GFS
GFS是google的分布式文件存儲系統,是專為存儲海量搜索數據而設計的,2003年提出,是閉源的分布式文件系統。適用於大量的順序讀取和順序追加,如大文件的讀寫。注重大文件的持續穩定帶寬,而不是單次讀寫的延遲。
三、 HDFS
HDFS(Hadoop Distributed File System),是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統,是Hadoop的核心子項目,是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS),是GFS的一個簡化和開源版本。
F. 分布式存儲排名前十名有哪些
一、 Ceph
Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表,並隨後貢獻給開源社區。經過多年的發展之後,已得到眾多雲計算和存儲廠商的支持,成為應用最廣泛的開源分布式存儲平台。
二、 GFS
GFS是google的分布式文件存儲系統,是專為存儲海量搜索數據而設計的,2003年提出,是閉源的分布式文件系統。適用於大量的順序讀取和順序追加,如大文件的讀寫。注重大文件的持續穩定帶寬,而不是單次讀寫的延遲。
三、 HDFS
HDFS(Hadoop Distributed File System),是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統,是Hadoop的核心子項目,是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS),是GFS的一個簡化和開源版本。
G. 當前主流分布式文件系統有哪些各有什麼優缺點
目前幾個主流的分布式文件系統除GPFS外,還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對PVFS的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在Carnegie Mellon University啟動,Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後,管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統,GPFS的主要優點有以下三點:
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖,第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理,這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
H. 什麼是分布式存儲
分布式存儲簡單的來說,就是將數據分散存儲到多個存儲伺服器上,並將這些分散的存儲資源構成一個虛擬的存儲設備,實際上數據分散的存儲在企業的各個角落。
還可以這樣理解:
利用分布式技術將標准X86伺服器的本地HDD、SSD等存儲介質組織成一個大規模存儲資源池,同時,對上層的應用和虛擬機提供工業界標準的SCSI、iSCSI和對象訪問介面,進而打造一個虛擬的分布式統一存儲產品。
I. 現在主流開源分布式系統架構都有哪些
您好,很高興為您解答。1:MapRece(MR),最為general和流行的一個分布式計算框架,其開源實現Hadoop已經得到了極為廣泛的運用(Facebook,Yahoo!等等),同時在Hadoop基礎上發展起來的項目也有很多(Hive是發展最好的),另外像Cloudera,Hortonworks,MapR這樣的在Hadoop基礎上發展起來的公司也有很多。2:Pregel,和MR一樣也是Google發明的,其優勢是在完成一些適合於抽象為圖演算法的應用的計算時可以更為高效,Giraph可以算是一個比較好的發展中的開源實現。3:Storm,Twitter的項目,號稱Hadoop的實時計算平台,對於一些需要realtimeperformance的job可以擁有比MR更高的效率。4:Spark,UCBerkeleyAMPLab的項目,其很好地利用了JVM中的heap,對於中間計算結果可以有更好的緩存支持,因此其在performance上要比MR高出很多。Shark是其基礎上類似於Hive的一個項目。5:Dryad和Scope,都是MR(MicrosoftResearch)的項目,從paper上來看Dryad是一個更為generalpurpose的計算框架,在vertices里實現計算,通過channels實現communication,兩者組成一個graphworkflow;而Scope有點類似於Hive和Shark,都是將某種類似於SQL的scriptlanguage編譯成可以在底層分布式平台上計算的job。但是這兩個項目因為不開源,所以資料不多,也沒有開源項目那樣的community。當然還有其他很多,比如Google的Dremel,Yale的HadoopDB(現在已經商業化叫做Hadapt)。如若滿意,請點擊右側【採納答案】,如若還有問題,請點擊【追問】希望我的回答對您有所幫助,望採納!~O(∩_∩)O~
J. 當前主流的分布式文件系統有哪些
目前幾個主流的分布式文件系統除gpfs外,還有pvfs、lustre、panfs、googlefs等。
1.pvfs(parallel
virtual
file
system)項目是clemson大學為了運行linux集群而創建的一個開源項目,目前pvfs還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一i/o節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對pvfs的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在carnegie
mellon
university啟動,lustre也是一個開源項目。它只有兩個元數據管理節點,同pvfs類似,當系統達到一定的規模之後,管理節點會成為lustre系統中的瓶頸。
3.panfs(panasas
file
system)是panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.googlefs(google
file
system)是google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統,gpfs的主要優點有以下三點:
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖,第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理,這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.