❶ hadoop hdfs能外接存儲嗎
文件是按照塊來存儲的,比如配置的每塊大小為64M,那麼5G的文件,會分成5*1024/64=80塊,每個塊會在不同節點上存多份。你上面說的依次寫入datanode,是指將每個塊依次寫入。
讀取的時候,也是一塊一塊來讀的,當然,這些都已經被HDFS的客戶端封裝好了,你看到就是在讀一個文件。
❷ HDFS能夠存儲哪幾種文件格式
hdfs可以存儲任何形式的文件啊。只要你硬碟能存儲什麼文件,它就能存儲什麼。其實文件就其本質,都是0001101001這種二進制數據。
所以什麼形式都可以的。
但是如果不是這種ascii形式的文件,你讀取他有什麼意思呢
比如一部電影,你放上去能處理嗎對吧
❸ 我要用hadoop來實現海量圖片的存儲,到底應該用raid來保證數據可靠性,還是用HDFS的冗餘機制呢
圖片這樣比較小的文件,不建議使用hadoop來做,用fastdfs之類的布置簡單,效果也比較好。raid5對於單點故障可以做到恢復,一旦多台機器同時出現問題,是沒辦法恢復的,單個圖片文件較小,一般也不能分成多塊,用raid5有點無力的感覺。當然如果你圖片經過打包司馬的,文件比較大(500MB以上),還是可以用的。
❹ 做一個網盤,後台的文件系統怎麼整,用hadoop的hdfs可以嗎
你的思路完全沒問題,其實這個基本上就是現在很多網盤(對象存儲)的基本設計原理,但是HDFS處理小文件效率非常低,而一般的網盤恰好主要是用來存儲單個的小文件(例如單張圖片)因此這個環節需要特殊設計
❺ HDFS是不是能存儲結構化數據也能存儲非結構化數據
hdfs就是個文件系統,可以存任何東西,可以理解為一塊硬碟
❻ hadoop的HDFS能否用來存放視頻文件和音頻文件
那個是文件系統,當然可以放
❼ HDFS的文件存儲過程
在正式介紹HDFS小文件存儲方案之前,我們先介紹一下當前HDFS上文件存取的基本流程。
(1) 讀文件流程
1)client端發送讀文件請求給namenode,如果文件不存在,返回錯誤信息,否則,將該文件對應的block及其所在datanode位置發送給client
2) client收到文件位置信息後,與不同datanode建立socket連接並行獲取數據。
(2) 寫文件流程
1) client端發送寫文件請求,namenode檢查文件是否存在,如果已存在,直接返回錯誤信息,否則,發送給client一些可用namenode節點
2) client將文件分塊,並行存儲到不同節點上datanode上,發送完成後,client同時發送信息給namenode和datanode
3) namenode收到的client信息後,發送確信信息給datanode
4) datanode同時收到namenode和datanode的確認信息後,提交寫操作。
❽ 海量圖片存儲用hadoop是否合適存儲在哪個節點上能否由我們自己決定
hadoop可以實現海量數據的存儲,它包含分布式文件系統HDFS,所以您說的一部分存在節點1,一部分存在節點2上肯定可行
當你需要存儲比較大的文件時,HDFS會把它分成多個小塊(塊的大小可以自己定)來進行分布式存儲,而且名位元組點會記錄存的位置,當應用程序請求計算時,會將計算移到相應的數據附近,所以用hadoop,就相信它好了,當然你也可以在它上面附加一些自己的安全管理模塊,或其它中間件等,畢竟hadoop也有不盡人意的地方,還需要改進。
目前facebook,淘寶,yahoo!等都用hadoop構建了自己的數據中心來支持海量數據的存儲
❾ hdfs為什麼能存儲不同類型數據為什麼能存儲pb級的數據
「TB是一個計算機存儲容量的單位,它等於2的40次方,或者接近一萬億個位元組(即,一千千兆位元組)。」
一提到數據量級,人們通常會聯想到美國國會圖書館(見圖)。德勤、麥肯錫、IBM、Gartner和移動廣告公司Adfonic的數據專家向TechTarget記者介紹了PB級數據究竟有多大。
麥肯錫首席分析師Michael Chui指出,美國國會圖書館「在2011年4月前已經收集了235TB的數據,而一個PB相當於它的4倍。」
TechTarget自己的網路網站Whatis有關於PB大小的定義:「PB是數據存儲容量的單位,它等於2的50次方個位元組,或者在數值上大約等於1000個TB。」
未來學家Raymond Kurzweil他的論文中對PB的定義進行延伸:人類功能記憶的容量預計在1.25個TB。這意味著,800個人類記憶才相當於1個PB。
如果這樣還不夠清楚,那麼Adfonic的CTO Wes Biggs給出了下面更直接的計算:
假設手機播放MP3的編碼速度為平均每分鍾1MB,而1首歌曲的平均時長為4分鍾,那麼1PB歌曲可以連續播放2000年。
如果智能手機相機拍攝相片的平均大小為3MB,列印照片的平均大小為8.5英寸,那麼總共1PB的照片的並排排列長度就達到48000英里——大約可以環繞地球2周。
1PB足夠存儲整個美國人口的DNA,而且還能再克隆2倍。
DVD、戰列艦和六國賽
從比特(bit)和位元組(byte)開始,德勤的分析師還將他們的思考向以下方面進一步延伸。(1個比特是1個二進制位,可能是0或1;1個位元組長8個二進制):
如果以每秒1個位的速度數一下1PB所包含的位數,那麼您需要2.85億年才能數完。
如果每秒數1個位元組,那麼您需要數357萬年。
保存1PB數據需要用掉22.3萬張DVD。
保存1PB數據,需要用掉7.46億張3.5英寸軟盤;這7.46億軟盤重13422噸。這個重量僅僅比2艘Type 45驅逐艦輕一些。
人類身體細胞數據各不相同,但是數量最多的接近100萬億個,如果用1個位來表示1個細胞,那麼1PB足夠記錄90個人的身體細胞,相當於橄欖球六國賽的全部球員。
谷歌、社交媒體和宇宙大爆炸
谷歌在2004年率先進軍數字地圖領域,並在2005年發布了谷歌地圖和谷歌地球。現在,谷歌為用戶提供了超過20PB(215億MB)的地圖影像——包括衛星圖片、航拍照片和360度街景圖片。
即使在2008年,谷歌每天處理的數據已經達到20 PB,一年就是7300 PB。
從那時起,社交媒體網站就開始生成PB級數據,它們逐漸成為所謂的「大數據」。
根據2012年2月1日Facebook向美國證券交易委員會提交的IPO文檔記錄,Facebook在1年前已經存儲了100 PB數據。
在Twitter網站上,每分鍾就有34000條微博出現。IBM非常關注於一個天文項目:「由於20個國家共同出資總計15億歐元建設的平方公里陣列(Square Kilometer Array, SKA)是一個無線電天文望遠鏡,它可以觀測宇宙大爆炸的衰弱信號。」
SKA(計劃在2024年完成)估計整個宇宙每天將生成1376 PB數據,相當於每天傳輸的全球互聯網流量的兩倍。
只能盡量減少,而不能消除,常用減少誤差的