當前位置:首頁 » 服務存儲 » 有哪些分布式存儲系統開發
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

有哪些分布式存儲系統開發

發布時間: 2022-05-02 05:47:38

① 當前主流的分布式文件系統有哪些

目前幾個主流的分布式文件系統除gpfs外,還有pvfs、lustre、panfs、googlefs等。
1.pvfs(parallel
virtual
file
system)項目是clemson大學為了運行linux集群而創建的一個開源項目,目前pvfs還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一i/o節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對pvfs的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在carnegie
mellon
university啟動,lustre也是一個開源項目。它只有兩個元數據管理節點,同pvfs類似,當系統達到一定的規模之後,管理節點會成為lustre系統中的瓶頸。
3.panfs(panasas
file
system)是panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.googlefs(google
file
system)是google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統,gpfs的主要優點有以下三點:
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖,第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理,這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.

② 分布式存儲排名前十名有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表,並隨後貢獻給開源社區。經過多年的發展之後,已得到眾多雲計算和存儲廠商的支持,成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統,是專為存儲海量搜索數據而設計的,2003年提出,是閉源的分布式文件系統。適用於大量的順序讀取和順序追加,如大文件的讀寫。注重大文件的持續穩定帶寬,而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System),是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統,是Hadoop的核心子項目,是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS),是GFS的一個簡化和開源版本。

③ 國內做分布式存儲研發的公司有哪些

做過一些集成項目,國內集群NAS(分布式文件系統)這塊了解一些,隨便說說,僅限於通用集群NAS。宣傳自研集群NAS的公司不少,OEM居多,做研發的不多,完全自研就更少了。列一些接觸過,完全自研,產品化程度相對高一些的吧。大一點的,華為 (oceanstor 9000),曙光(parastor)。市場上見的比較多了。小一點的,龍存,這個算是老牌子了。聚存,這個知道的人不多。基於ceph的公司這幾年不少,用過其中一家的東西,塊這塊還行,文件這塊還需要時間。分布式存儲其實是一個比較大的領域。有分布式資料庫、分布式文件系統、分布式塊(ServerSAN)、分布式對象存儲之類。做的公司挺多,不過真正都自己的代碼的挺少,很多都是開源改的。分布式數據來說一般互聯網公司用的多,像阿里,騰訊、網路都有自己分布式資料庫。國內做分布式文件系統來說,數中科院的一幫人做的最早。從中科院出來人基本的分為三家,曙光,龍存,達沃。這三家基本都屬於自研並且應用時間都在國內來說時間最久了。也有像華為、淘寶、網路、騰訊的文件系統。

④ 知名分布式存儲系統包含哪些

ceph相關的有元核雲、華為的oceanstor9000、UDS等。

⑤ 中國分布式存儲十大排行榜

摘要 你好時空雲,星際無限,天茹,先河等在分布式存儲行業內都屬於老牌公司了,在業內也相對擁有一定的名氣與粉絲,IPFS星際無限是國內頂尖的區塊鏈科技公司,致力於IPFS的生態建設讓每一個分布式存儲的愛好者都能了解IPFS!目前已經為30+家大型礦商提供獨家技術,同時也做到了在IPFS前20排名里占據了8個節點的好成績。

⑥ 各位使用的分布式文件存儲,有哪些產品使用體驗更好一些

我覺得XSKY星辰天合的XGFS文件存儲軟體不錯,這個軟體只需要三個全快閃記憶體元數據高可用節點,就可以高效保存和處理 100 億文件規模的數據。可以靈活擴展,滿足公司不斷增長的業務對性能和容量的需求。

⑦ 國內一流的分布式存儲廠商有哪些

杉岩數據是其中之一。

作為一款國產分布式存儲軟體產品,技術架構上採用業內領先的全分布式高可用設計,全平台無單點故障,並且可以提供文件存儲、塊存儲和對象存儲三種不同類型的存儲模塊。

這些存儲模塊可以靈活的組合搭配,提供快速簡便的訪問方式,滿足新一代應用的敏捷開發需求,能夠根據應用的發展進行靈活的彈性擴展。

提供了全語義、跨協議數據訪問,幫助企業打通數據孤島、實現傳統應用間的數據共享,一體化極簡架構與分鍾級擴容、秒級數據檢索,加速企業上雲轉型。在數據安全和價值發掘領域,採用全國密演算法,確保數據絕對的安全。

(7)有哪些分布式存儲系統開發擴展閱讀:

杉岩數據優勢

1、多種數據冗餘模式

杉岩數據提供多副本和糾刪碼兩種數據冗餘策略,多副本策略以數據鏡像的方式提供數據冗餘,確保冗餘數據的完整性,同時也縮短了數據讀取路徑。

2、完善的容災體系

存儲系統支持多站點容災機制、數據跨地域存放、延展集群、非同步災備,保證數據的安全性和最高空間利用率,極大的降低RPO和RTO。

3、數據脫敏

USP採用數據脫敏技術,幫助企業提高安全性和保密等級,防止數據被濫用。同時幫助企業符合安全性規范要求,以及由管理/審計機關所要求的隱私標准。

⑧ 現在使用較廣泛的分布式存儲產品有哪些

分布式存儲應用十分廣泛,在雲計算領域十分常見。因為業務特點和自身實力和資源等綜合原因,很多大型的雲計算廠商都會選擇自主開發或二次開發分布式存儲系統,這些廠商本身的產品性能也會比較穩定,在此我列舉一下這些廠商。
1. 公有雲方面:阿里雲的盤古和騰訊的PaxosStore,這兩個存儲系統分別支撐了大多數阿里雲和騰訊系產品的存儲和計算。
2. 私有雲方面:國外的有VMware的vSAN,谷歌的Google Megastore等;國內的有新華三的ONEStor、華為的FusionStorage、雲宏的WinStore等。
在這里特別提一下雲宏的WinStore存儲,他們的產品在金融領域應用非常廣泛,除了自主研發的虛擬化平台,他們也特別提到這個存儲技術,WinStore是他們自主研發的分布式存儲系統,使得他們的產品在數據存儲安全性和容災性能上有優勢。

⑨ 國內的分布式存儲公司有哪些

瑞馳憑借自主可控、成熟、穩定的大數據及雲計算產品,提供豐富、完善、應需而變的全套解決方案。vCluster分布式存儲系列採用先進的分布式架構,將一個任務分給多個存儲節點並行處理,大大提高了存儲效率。我的答案能否幫你解決問題,如果能希望能採納下

⑩ 分布式存儲技術有哪些

中央存儲技術現已發展非常成熟。但是同時,新的問題也出現了,中心化的網路很容易擁擠,數據很容易被濫用。傳統的數據傳輸方式是由客戶端向雲伺服器傳輸,由伺服器向客戶端下載。而分布式存儲系統QKFile是從客戶端傳送到 N個節點,然後從這些節點就近下載到客戶端內部,因此傳輸速度非常快。對比中心協議的特點是上傳、下載速度快,能夠有效地聚集空閑存儲資源,並能大大降低存儲成本。

在節點數量不斷增加的情況下,QKFile市場趨勢開始突出,未來用戶數量將呈指數增長。分布式存儲在未來會有很多應用場景,如數據存儲,文件傳輸,網路視頻,社會媒體和去中心化交易等。網際網路的控制權越來越集中在少數幾個大型技術公司的手中,它的網路被去中心化,就像分布式存儲一樣,總是以社區為中心,面向用戶,而分布式存儲就是實現信息技術和未來網際網路功能的遠景。有了分布式存儲,我們可以創造出更加自由、創新和民主的網路體驗。是時候把網際網路推向新階段了。

作為今年非常受歡迎的明星項目,關於QKFile的未來發展會推動互聯網的進步,給整個市場帶來巨大好處。分布式存儲是基於網際網路的基礎結構產生的,區塊鏈分布式存儲與人工智慧、大數據等有疊加作用。對今天的中心存儲是一個巨大的補充,分布式時代的到來並不是要取代現在的中心互聯網,而是要使未來的數據存儲發展得更好,給整個市場生態帶來不可想像的活力。先看共識,後看應用,QKFile創建了一個基礎設施平台,就像阿里雲,阿里雲上面是做游戲的做電商的視頻網站,這就叫應用層,現階段,在性能上,坦白說,與傳統的雲存儲相比,沒有什麼競爭力。不過另一方面來說,一個新型的去中心化存儲的信任環境式非常重要的,在此環境下,自然可以衍生出許多相關應用,市場潛力非常大。

雖然QKFile離真正的商用還有很大的距離,首先QKFile的經濟模型還沒有定論,其次QKFile需要集中精力發展分布式存儲、商業邏輯和 web3.0,只有打通分布式存儲賽道,才有實力引領整個行業發展,人們認識到了中心化存儲的弊端,還有許多企業開始接受分布式存儲模式,即分布式存儲 DAPP應用觸達用戶。所以QKFile將來肯定會有更多的商業應用。創建超本地高效存儲方式的能力。當用戶希望將數據存儲在QKFile網路上時,他們就可以擺脫巨大的集中存儲和地理位置的限制,用戶可以看到在線存儲的礦工及其市場價格,礦工之間相互競爭以贏得存儲合約。使用者挑選有競爭力的礦工,交易完成,用戶發送數據,然後礦工存儲數據,礦工必須證明數據的正確存儲才能得到QKFile獎勵。在網路中,通過密碼證明來驗證數據的存儲安全性。采礦者通過新區塊鏈向網路提交其儲存證明。通過網路發布的新區塊鏈驗證,只有正確的區塊鏈才能被接受,經過一段時間,礦工們就可以獲得交易存儲費用,並有機會得到區塊鏈獎勵。數據就在更需要它的地方傳播了,旋轉數據就在地球范圍內流動了,數據的獲取就不斷優化了,從小的礦機到大的數據中心,所有人都可以通過共同努力,為人類信息社會的建設奠定新的基礎,並從中獲益。