1. 誰來關注下一代Linux文件系統發展趨勢
GNU/Linux在支持文件系統創新方面已經取得了極大的成功,目前已支持超過50種文件系統,毫無疑問,這一成功與Linux一向的開源策略是密不可分的。隨著數據的爆炸式增長,存儲行業已經發生了翻天覆地的變化,文件系統如何才能緊跟時代步伐,滿足越來越高要求的存儲需要呢?
硬碟的成本/容量曲線趨勢繼續遵守著名的摩爾定律,與此同時,我們也看到固態硬碟增長勢頭喜人,它因消除了機械硬碟固有的性能限製得到了廠商和消費者的重視,虛擬化也在改變存儲架構設計,應用程序也開始向基於FC的HTTP存儲協議轉移。
存儲容量幾乎每年以40%的速度遞增,現在市場上已經可以看到容量為2TB的機械硬碟,但它們的性能卻沒有按比例提高,固態硬碟的出現解決了傳統機械硬碟的許多弊病,因此未來幾年勢必會引發一場存儲革命,文件系統也需要為存儲革命做好准備,未來的文件系統必需解決擴展,並行處理和滿足新工作負載類型方面的問題。
POSIX API標准制約了創新
IDE和SCSI已經逐漸被SAS取代,終於超越了6Gbps的門檻,Infiniband和10GbE通過遠程直接內容訪問(Remote Direct Memory Access ,RDMA)和TCP卸載引擎提高了網路I/O,iSCSI大有取代FC SAN的趨勢,和傳統的使用NFS和CIFS協議應用程序不同,基於Internet的程序通常是使用HTTP/HTTPS訪問地理分散的存儲。
我們已經使用POSIX API訪問文件系統的歷史已經長達30年,它是一個標准,但它也是弱點,是它遏制了創新,應用程序開發人員需要新的API標准執行對象存儲和key-value存儲。
諸如卷管理,全局命名空間,壓縮,加密,克隆/快照,重復數據刪除,RAID和遠程站點復制技術都應該由文件系統實現,由於歷史原因,這些功能都是在文件系統之外實現的,因此效率低下,復雜程度較高。
文件系統不應局限於在內核空間實現
關於內核空間和用戶空間性能問題的爭論應該歇歇了,上下文切換不再是什麼大問題,因為堆棧和網路中的其它部分造成的延遲才是真正的限制因素。在用戶空間中實現的新興文件系統應該受到重視。原來大家都認為底層組件,如磁碟設備驅動和磁碟文件系統應該駐留在內核中,但現在是時候讓大部分代碼在用戶空間中實現了。例如,Hadoop和GlusterFS就是完全在用戶空間中實現的。有關Hadoop的使用可參考51CTO之前發布的使用Linux 和Hadoop進行分布式計算一文。
變革和創新
1、適合於直接附加存儲(Direct Attached Storag,DAS)的文件系統
Linux文件系統Ext3是迄今為止最穩定的Linux文件系統,但現在是時候考慮Ext4(內核2.6.31或更高才支持)了,因為它解決了諸如文件和目錄大小限制的局限性,基於延伸區(extent)分配機制能夠有效地存儲大文件,更快地執行fsck(文件系統檢查)和日誌校驗和檢查,但Ext4隻是一個暫時的解決方案。
Linux社區希望Linux支持ZFS和Btrfs(B-tree文件系統),Btrfs將類似ZFS的功能引入到Linux內核中,Btrfs不僅僅是一個磁碟文件系統,它還具有軟RAID管理,卷管理,克隆/快照和壓縮功能,它支持跨多塊磁碟動態增大或收縮卷。
Btrfs RAID可以從一個故障陣列快速重構,其速度比硬體RAID控制器還快,因為它只重新條帶化使用了的數據塊,執行快照需要的空間和時間也更少,Btrfs的目標是取代Linux默認文件系統Ext4,來自Oracle的Chris Mason是該項目的主要貢獻者。
2、網路文件系統(NFS)
NFS於1995年推出,NFS v3是目前應用最廣泛的NAS協議,所有伺服器操作系統(除微軟Windows外)和存儲廠商都支持它,2000年發布的NFS v4在許多方面都做了改進,但沒有取得廣泛應用。NFS v4.1(pNFS)應該會出現轉機,因為它帶來了人們迫切需要的並行I/O架構,並為低延遲高帶寬I/O增加了RDMA支持。
這是NFS的一個重大進步,允許用戶轉移到可橫向擴展的架構,但它的設計是基於一個統一的元數據伺服器,這可能會限制擴展能力,並且存在一個潛在的單點故障,因此要想成為主流應用尚需時日,這期間需要解決NFS v3/4的擴展性問題,通過在集群文件系統上集成NFS,利用虛擬IP和循環DNS技術,可以構建一個可擴展的NAS解決方案。
3、集群/分布式文件系統
集群或分布式文件系統允許跨多個存儲伺服器使用一個全局命名空間,並實現了智能分散I/O和數據,以克服NFS(和CIFS)的擴展性限制,每個廠商都有他們自己的內部協議,但對於應用程序是透明的,因為共享存儲是通過標準的POSIX介面訪問的。
這樣的文件系統有Oracle Lustre,IBM GPFS和GlusterFS,它們之間的主要區別是處理元數據的方式有所不同,Lustre使用的是中央控制元數據伺服器,GPFS使用的是分布式元數據伺服器模型,GlusterFS使用的是無元數據模型。在選擇集群文件系統時,關鍵就是要了解元數據的處理方式。
另一個不同點是Lustre和GPFS是在內核中實現的,GlusterFS是在用戶空間實現的,這些集群文件系統都實現了前面談到的關鍵存儲堆棧功能,它們都可以擴展到PB級存儲容量。
4、分布式對象存儲/key-value存儲
許多現代應用程序需要簡單對象API訪問諸如get/put,get/put屬性和lock/unlock這樣成對出現的數據,對象訪問允許將內存和磁碟看作是通過序列化的信息持久化塊。
大多數數據處理功能(如XML解析,哈希表,全文檢索等)都開始轉向更高級的應用程序庫,對象存儲API也適合構建NoSQL規模的資料庫。很多Web 2.0應用正在逐漸轉向Cassendra等NoSQL式存儲,比如前日的Digg和Twitter。
目前對象存儲還沒有標准化,雖然WebDAV,Hadoop,Apache Cassandra和Amazon S3都遵循這個模型,如果是構建一個新應用程序,它們也是很好的選擇,但在未標准化之前,POSIX API將是必需的。(參考閱讀:詳解NoSQL資料庫Apache Cassandra的配置)
小結
2. 區塊鏈技術的分布式存儲是什麼
區塊鏈技術的分布式存儲就是數據不放在同一台主機上,它分散放在不同的主機上,而且這個數據不可更改。
3. 分布式存儲網路Filecoin是什麼
Filecoion項目可以理解為是運行在IPFS網路里的激勵制度。FIL是Filecoin項目基於Filecoin公鏈發行的Token,全稱是Filecoin,中文名叫文件幣,符號是FIL。
打開網路APP看高清圖片
Filecoin是由美國協議實驗室及其首席執行官胡安.貝奈特發起的一個項目,面向大眾的加密貨幣和數字支付系統,是基於IPFS系統開發的去中心化存儲項目。IPFS是什麼?
Filecoin由區塊鏈,檢索節點,存儲節點和本機令牌(filecoin)組成。存儲節點是礦工,所有儲存礦工必須通過承諾存儲,提交抵押品並遵守時空證明(PoSt)來參與Filecoin采礦協議。PoST允許網路的任何成員驗證存儲提供商是否履行其職責:在約定的時間段內存儲外包數據。 為了防止不良行為者試圖存儲的數據副本少於存儲的數據副本,filecoin還具有復制證明(PoRep)機制,要求礦工證明他們正在存儲他們所說的數據。
系統設計允許用戶使用網路的本機加密貨幣Filcoin在可用設備上租用存儲。客戶花費文件幣來共享和檢索數據,反之,礦工通過存儲和提供數據來獲得Filecoin。為了激勵礦工投資存儲而不是計算能力,網路選擇礦工創建新塊的概率與當前使用的與網路其餘部分相關的存儲成比例。
Filecoin 可以為 IPFS 在全球范圍內提供大量節點,同時自身還擁有一個巨大的分布式存儲空間,解決了 IPFS 的存儲問題。
Filecoin通過預售和初始硬幣發行(ICO)銷售的2億個Filecion獲得資金,分別為5200萬美元和2.058億美元。
在2017年8月的初始硬幣發行(ICO)期間,該項目通過CoinList銷售SAFT(未來令牌的簡單協議),作為項目上線後未來對filecoin令牌的要求。ICO持續了一個月,當時是迄今為止最大的募集資金ICO,投資額為2.57億美元,約20億人民幣。
4. 現階段的區塊鏈技術中的分布式儲存與傳統的相比的差異是什麼
一是區塊鏈每個節點都按照塊鏈式結構存儲完整的數據,傳統分布式存儲一般是將數據按照一定的規則分成多份進行存儲。
二是區塊鏈每個節點存儲都是獨立的、地位等同的,依靠共識機制保證存儲的一致性,而傳統分布式存儲一般是通過中心節點往其他備份節點同步數據。
數據節點可以是不同的物理機器,也可以是雲端不同的實例。
以上就是金窩窩網路分析的區塊鏈技術中與傳統的分布式儲存的差異化,可供參考。
5. IPFS和Filecoin是什麼關系
盡管IPFS被熱炒了三四年,卻依舊有很多人沒有理清楚IPFS和Filecoin的概念以及互相之間的關系,很多人把IPFS和Filecoin混為一談,「IPFS挖礦」、「IPFS礦機」就是典型的錯誤說法。
Protoco Lbas,又叫做協議實驗室,成立於 2014 年 5 月的美國舊金山灣區,由斯坦福大學畢業的胡安·貝內特 Juan Benet 創立。胡安·貝內特 Juan Benet,美國加州人,畢業於世界名校斯坦福大學計算機專業,碩士學位。他曾和合夥人聯合創立了一家手機 AR 游戲公司(Loki Studios),後來被雅虎收購。隨後他入駐 StartX,這是斯坦福大學的一個非營利性的創業公司加速器,從這里開啟創業生涯。在 2014 年,他創立 IPFS 項目,並獲得母校投資。2015 年 1 月,IPFS 項目正式版發布。
IPFS和Filecoin都是由協議實驗室打造的項目。IPFS是一種點對點、版本化、內容定址的超媒體傳輸協議,對標的是傳統互聯網協議HTTP,其所要構建的是一個分布式的web 3.0。但IPFS只是一個開源的互聯網底層通信協議,大家都可以免費的使用它。目前所有IPFS節點都提供存儲空間同時也需要其他節點幫助自己存儲資源。
從本質上來說IPFS將原來P2P軟體的按需下載轉變為資源的長期存儲,長期存儲就需要有服務質量保證,否則沒有用戶願意將自己有價值數據或者需要服務質量保證的資源內容存儲到IPFS中。那麼對於一個鬆散的IPFS網路,用戶的隨意退出、網路質量的不確定性、存儲地理位置的不確定性、硬體資源性能參差不齊,硬體資源的性能抖動,這些問題都使得IPFS沒有辦法去存儲對服務質量有強需求的資源存儲,換句話說就是,沒有辦法在商業領域中使用。
所以,IPFS使用Filecoin的激勵機制來吸引一批專業的存儲服務商來提供更專業、安全和穩定的存儲服務。Filecoin是一個基於IPFS的去中心化存儲網路,是IPFS上唯一的激勵層,是一個基於區塊鏈技術發行的通證。在FIlecoin網路中的礦工可以通過為客戶提供存儲和檢索服務來獲取FIL,相反,客戶可以通過花費FIL僱傭礦工來存儲或分發數據。Filecoin通過經濟激勵的機制來促進IPFS的發展,同時Filecoin網路也需要IPFS為其市場的發展提供生態支持。IPFS網路使用的越多,對Filecoin的需求就越大;Filecoin的礦工越多,對IPFS網路的也就支持越大。所以IPFS和Filecoin形成了共生關系。Filecoin的誕生是為了支持IPFS的發展,IPFS也需要Filecoin為其豐富生態。IPFS使用的越多,Filecoin的需求更大;Filecoin的礦工越多,對IPFS的支持越大。
鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑,推進專業學位研究生產學研結合培養模式改革,構建應用型、復合型人才培養體系。
6. linux下常用的分布式文件系統有哪些
Lustre是HP,Intel,Cluster File System公司聯合美國能源部開發的Linux集群並行文件系統,名稱來源於Linux和Clusters。同時Lustre也是一個遵循GPL許可協議的開源軟體,Lustre也被稱為平行分布式文件系統,常用於大型計算機集群和超級電腦中。
Lustre的主要組建包括:元數據伺服器(Metadataservers, MDSs)、對象存儲伺服器(objectstorage servers, OSSs)和客戶端。其中MDSs提供元數據服務,MGS管理伺服器提供Lustre文件系統配置信息,OSS對象存儲伺服器expose塊設備提供數據。
Lustre文件系統針對大文件讀寫進行了優化,能夠提高性能的IO能力;在源數據獨立存儲、服務和網路失效的快速恢復、基於意圖的分布式鎖管理和系統可快速配置方面優異。
分布式存儲的關鍵技術主要包括:全局名字空間、緩存一致性、安全性、可用性和可擴展性。從數據形態來劃分,主要有:結構化數據、非機構化數據和半結構化數據。
Linux是一套免費使用和自由傳播的類Unix操作系統,是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。它能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想,是一個性能穩定的多用戶網路操作系統。
Linux操作系統誕生於1991 年10 月5 日(這是第一次正式向外公布時間)。Linux存在著許多不同的Linux版本,但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中,比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。
7. 軟體定義存儲和分布式存儲是什麼關系
什麼是分布式存儲
關於分布式存儲實際上並沒有一個明確的定義,甚至名稱上也沒有一個統一的說法,大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。
其中維基網路中給 Distributed data store 的定義是:分布式存儲是一種計算機網路,它通常以數據復制的方式將信息存儲在多個節點中。
在網路中給出的定義是:分布式存儲系統,是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
盡管各方對分布式存儲的定義並不完全相同,但有一點是統一的,就是分布式存儲將數據分散放置在多個節點中,節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。
什麼是軟體定義存儲
SDS 的全稱是 Software Defined Storage ,字面意思直譯就是軟體定義存儲。關於 SDS 的定義可以參考全球網路存儲工業協會(Storage Networking Instry Association,SNIA),SINA 在 2013 正式把 軟體定義存儲(SDS) 列入研究對象。
SINA 對軟體定義存儲(SDS) 的定義是:一種具備服務管理介面的虛擬化存儲。 SDS 包括存儲池化的功能,並可通過服務管理介面定義存儲池的數據服務特徵。另外 SINA 還提出 軟體定義存儲(SDS) 應該具備以下特性:
自動化程度高 – 通過簡化管理,降低存儲基礎架構的運維開銷
標准介面 – 支持 API 管理、發布和運維存儲設備和服務
虛擬化數據路徑 – 支持多種標准協議,允許應用通過塊存儲,文件存儲或者對象存儲介面寫入數據
擴展性 – 存儲架構具備無縫擴展規模的能力,擴展過程不影響可用性以及不會導致性能下降
透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷
分布式存儲與軟體定義存儲的區別與聯系
軟體定義存儲(SDS) 的著重點在於存儲資源虛擬化和軟體定義,首先在形態上,軟體定義存儲(SDS)區別於傳統的「硬體定義」存儲,它不依賴專屬的硬體,可以讓存儲軟體運行在通用伺服器上,可避免硬體綁定以及有效降低硬體采購成本;擁有標准 API 介面和自動化工具,有效降低運維難度。存儲資源虛擬化,支持多種存儲協議,可整合企業存儲資源,提升存儲資源利用率。但從定義上來說,但 軟體定義存儲(SDS) 從部署形式上來看,並不一定是分布式或者是集中式的,也就是說 SDS 不一定是分布式存儲(雖然常見的 軟體定義存儲(SDS) 更多的是分布式的),SDS 存儲內部有可能是單機運行的,不通過網路分散存放數據的,這種形式的軟體定義存儲(SDS) 的擴展性就可能有比較大的局限。
分布式存儲,它的最大特點是多節點部署, 數據通過網路分散放置。分布式存儲的特點是擴展性強,通過多節點平衡負載,提高存儲系統的可靠性與可用性。與 軟體定義存儲(SDS)相反,分布式存儲不一定是軟體定義的,有可能是綁定硬體的,例如 IBM XIV 存儲,它本質上是一個分布式存儲,但實際是通過專用硬體進行交付的。那麼就依然存在硬體綁定,擁有成本較高的問題。
8. IPFS是分布式存儲嗎,2019國內有哪些好的分布式存儲項目
IPFS的其中一個特點包含分布式存儲,通過網路使用企業中的每台機器上的磁碟空間,並將這些分散的存儲資源構成一個虛擬的存儲設備,數據分散的存儲在企業的各個角落。除了IPFS,還有一個項目叫颶風生態還不錯。
9. 分布式存儲是什麼
中央存儲技術現已發展非常成熟。但是同時,新的問題也出現了,中心化的網路很容易擁擠,數據很容易被濫用。傳統的數據傳輸方式是由客戶端向雲伺服器傳輸,由伺服器向客戶端下載。而分布式存儲系統QKFile是從客戶端傳送到 N個節點,然後從這些節點就近下載到客戶端內部,因此傳輸速度非常快。對比中心協議的特點是上傳、下載速度快,能夠有效地聚集空閑存儲資源,並能大大降低存儲成本。
在節點數量不斷增加的情況下,QKFile市場趨勢開始突出,未來用戶數量將呈指數增長。分布式存儲在未來會有很多應用場景,如數據存儲,文件傳輸,網路視頻,社會媒體和去中心化交易等。網際網路的控制權越來越集中在少數幾個大型技術公司的手中,它的網路被去中心化,就像分布式存儲一樣,總是以社區為中心,面向用戶,而分布式存儲就是實現信息技術和未來網際網路功能的遠景。有了分布式存儲,我們可以創造出更加自由、創新和民主的網路體驗。是時候把網際網路推向新階段了。
作為今年非常受歡迎的明星項目,關於QKFile的未來發展會推動互聯網的進步,給整個市場帶來巨大好處。分布式存儲是基於網際網路的基礎結構產生的,區塊鏈分布式存儲與人工智慧、大數據等有疊加作用。對今天的中心存儲是一個巨大的補充,分布式時代的到來並不是要取代現在的中心互聯網,而是要使未來的數據存儲發展得更好,給整個市場生態帶來不可想像的活力。先看共識,後看應用,QKFile創建了一個基礎設施平台,就像阿里雲,阿里雲上面是做游戲的做電商的視頻網站,這就叫應用層,現階段,在性能上,坦白說,與傳統的雲存儲相比,沒有什麼競爭力。不過另一方面來說,一個新型的去中心化存儲的信任環境式非常重要的,在此環境下,自然可以衍生出許多相關應用,市場潛力非常大。
雖然QKFile離真正的商用還有很大的距離,首先QKFile的經濟模型還沒有定論,其次QKFile需要集中精力發展分布式存儲、商業邏輯和 web3.0,只有打通分布式存儲賽道,才有實力引領整個行業發展,人們認識到了中心化存儲的弊端,還有許多企業開始接受分布式存儲模式,即分布式存儲 DAPP應用觸達用戶。所以QKFile將來肯定會有更多的商業應用。創建超本地高效存儲方式的能力。當用戶希望將數據存儲在QKFile網路上時,他們就可以擺脫巨大的集中存儲和地理位置的限制,用戶可以看到在線存儲的礦工及其市場價格,礦工之間相互競爭以贏得存儲合約。使用者挑選有競爭力的礦工,交易完成,用戶發送數據,然後礦工存儲數據,礦工必須證明數據的正確存儲才能得到QKFile獎勵。在網路中,通過密碼證明來驗證數據的存儲安全性。采礦者通過新區塊鏈向網路提交其儲存證明。通過網路發布的新區塊鏈驗證,只有正確的區塊鏈才能被接受,經過一段時間,礦工們就可以獲得交易存儲費用,並有機會得到區塊鏈獎勵。數據就在更需要它的地方傳播了,旋轉數據就在地球范圍內流動了,數據的獲取就不斷優化了,從小的礦機到大的數據中心,所有人都可以通過共同努力,為人類信息社會的建設奠定新的基礎,並從中獲益。
10. 分布式存儲一般提供哪些存儲服務區塊鏈的分布式存儲是什麼意思
摘要 區塊鏈本質是一個去中心化的資料庫 ,區塊鏈技術的數據共享是一個分布式的記賬薄, 它的本質上是一個按照時間順序串聯起來的鏈,創世塊開始的所有交易都記錄在區塊中。交易記錄等賬目信息會被打包成一個個的區塊並進行加密,同時蓋上時間戳,所有區塊按時間戳順序連接成一個總賬本。區塊鏈由多個獨立,地位等同的節點按照塊鏈式結構存儲完整的數據,通過共識機制保證存儲的一致性,一旦數據被記錄下來,在一個區塊中的數據將不可逆。