1. 百度網盤伺服器是不是有很多塊硬碟,百度那麼多數據要用多少塊硬碟來存儲呢
簡單的理解,雲存儲就是一大堆存儲設備通過互動式應用和集群技術整合在一起,通過一個統一的界面給用戶提供存儲服務。
至於你說的那個重復文件的刪除技術,我不是太了解雲裡面是如何操作的,不過很多公司區域網已經大量使用了類似的技術。比如windows 2012裡面就有類似的功能,把一個文件分成若干大小不等的快,重復的就刪除掉,我公司的文件伺服器通過這種方式可以節約35%以上的磁碟空間。
本帖最近評分記錄
冰封心事無憂幣 +6熱心廣援2013-9-24 20:28
網路工程師高手養成記>>
灰色渡鶴影
文章來源:
http://www.hu.com/question/21591490
我想要為每個用戶提供 1G 的網路存儲空間。
如果伺服器上有一顆 1000G 的硬碟可以全部為用戶提供數據儲存,如果每個用戶分配 1G 的最大儲存空間,那麼能非配給多少個用戶使用呢?
你一定說是 1000/1=1000 個用戶。
但事實上你這么分配了,你會發現每個用戶平時根本不會上傳 1G 的東西將容量占的漫漫的,有多又少,但平均用戶平時只上傳 50M 的文件,也就是說,你將 1000G 的硬碟分給 1000個 人使用,但只有效利用了其中的 50M*1000=50G 的空間,剩餘 950G 的空間基本都完全浪費了。
那麼怎麼解決呢?
你可以變通一下,將這 1000G 的空間分配給 20000個 用戶使用,每個人的上傳上限容量還是 1G,但每人平時還是平均上傳 50M 的數據,那麼 20000*50M=1000G,這下子就把寶貴的伺服器上的存儲空間充分利用了。但你又怕這樣分配給 20000個 人後,萬一某一刻人們突然多上傳點數據,那麼用戶不是就覺察出來你分給人家的 1G 空間是假的了嗎?所以可以不分配那麼多人,只分配給 19000 人,剩下一些空間做應急之用。
突然發現一下子將可分配的用戶數量翻了 19倍啊,了不起。那還有買有辦法更加有效的利用一下呢?
如果我有 1000個 以上的伺服器,一個伺服器上有 1000G 空間,那麼我們個伺服器上都要留下 50G 的空白空間以備用戶突然上傳大數據時導致數據塞滿的情況,呢么我這 1000個伺服器上就空出了 1000台*50G=50000G 的空間被浪費了,所么可惜。所以我們發明了計存儲集群,使得一個用戶的數據可以被分配在多個伺服器上存儲,但在用戶那看起來只是一個 1G 的連續空間,那麼就沒必要在每個伺服器上預留出應急的空間了,甚至可以充分的將前一個伺服器塞滿後,在將數據往下一個伺服器中塞。這樣保證了伺服器空間的最大利用,如果某一刻管理員發現用戶都在瘋狂上傳數據(在一個大規模用戶群下,這樣的概率少之又少)導致我現有提供的空間不夠了,沒關系,只需要隨手加幾塊硬碟或者伺服器就解決了。
好吧,這下子我們的伺服器空間利用高多了,可以將一定量的空間分配給最多的用戶使用了。但有沒有更好的改進方案呢?
管理員有一天發現,即使每個用戶平局下來只存儲 50M 的東西,但這 50M 也不是一蹴而就的,是隨著1-2年的使用慢慢的達到這個數量的,也就是說,一個新的用戶剛剛注冊我的網路空間時,不會上傳東西,或者只上傳一點非常小的東西。那麼我為每一個用戶都初始分配了 50M 的空間,即使將來2年後他們會填滿這 50M ,但這期間的這空間就有很多時浪費的啊。所以聰明的工程師說:既然我們可以分布式、集群式存儲,一個用戶的數據可以分布在多個伺服器上,那麼我們就假設一開始就給一個新注冊的用戶提供 0M 的空間,將來他用多少,我就給他提供多少存儲空間,這樣就徹底的保證硬碟的利用了。但用戶的前端還是要顯示 1G 的。
工程師的這個點子,使得我在建立網盤初期能用 1台 1000G 的伺服器提供了大約 1000000 人來注冊和使用,隨著注冊的人多了,我也有錢了,也可以不斷增加伺服器以提供他們後期的存貯了。同時因為一部分伺服器完了一年多購買,我的購買成本也下來了。
那麼...這結束了嗎?若是郵箱提供商的話,這樣的利用率夠高了。但網盤就不一樣了。
聰明的工程師發現:不同於郵箱,大家的內容的附件絕大多數都是自創的和不同的。但網盤上大家上傳的東西很多都是重復的。
比如:張三 今天下載了一部《TOKYO HOT》上傳上傳到了自己的網盤上,李四在三天後也下載了一模一樣的《TOKYO HOT》上傳到了網路硬碟上,隨著用戶的增多,你會發現總計有 1000個人 上傳了 1000份 一模一樣的文件到你寶貴的伺服器空間上,所以工程師想出一個辦法,既然是一樣的文件,我就只存一份不久好啦,然後在用戶的前端顯示是沒人都有一份不久行啦。當某些用戶要刪除這個文件的時候,我並不真的刪除,只需要在前端顯示似乎刪除了,但後端一直保留著以供其他擁有此文件的用戶下載。直到所有使用此文件的用戶都刪除了這個文件我再真的將其刪除吧。
這樣子隨著存儲的數據越來越多,注冊的用戶越來越多,其上傳的重復數據越來越多。你發現這樣的檢測重復文件存儲的效率越來越大。這樣算下來似乎每個人上傳的不重復的文件只能平均 1M/用戶。這下子你可以提供超過 50倍 的用戶使用您這有限的空間了。
但伴隨這使用,你又發現一個規律:
張三上傳的《TOKYO HOT N0124》和李四上傳的《TH n124》是同一個文件,只不過文件名不一樣,難道我就不能識別出他們是一個文件,然後只將其分別給不同的用戶保存成不同的文件名不久行啦?確實可行,但這要利用一些識別文件相同性的演算法,例如 MD5 值等。只要兩個文件的 MD5 值一樣,文件大小一樣,我就認為它們是相同的文件,只需要保存一份文件並給不同的用戶記作不同的文件名就好了。
有一天你發現,因為每一個文件都需要計算 MD5 值,導致 CPU 負荷很大,而且本來一樣的文件非要浪費帶寬上傳回來才可以檢測一致性,能改進一下嗎?
聰明的工程師寫了個小軟體/.小插件,美其名曰「上傳控制項」,將計算 MD5 的工作利用這個軟體交給了上傳用戶的點老來完成,一旦計算出用戶要上傳的數據和伺服器上已經存儲的某個數據是一樣的,就乾脆不用上傳了,直接在用戶那裡標記上這個文件已經按照 XX 文件名上傳成功了。這個過程幾乎是瞬間搞定了,並給其起了個高富帥的名字「秒傳」!
通過以上這么多步驟,你發現本來你只能給 1000用戶 提供網路空間的,這么多改進辦法後,在用戶端顯示 1G 空間不變的情況下,近乎可以為 1000000個用戶 提供網路空間了。
這樣若是您哪天心情好,對外宣傳說:我要將每個用戶的存儲空間上限提升到 1TB。那麼每個用戶平均還是只上傳 50M 數據,只有極個別極個別的用戶上傳了突破 1G 原始空間的數據,你會發現所付出的成本近乎是微乎其微的。
2. 百度網盤或者其他網盤是用什麼做存儲的怎麼才會實現那麼多存儲容量
人家也是買的存儲設備.只是很多相同的附件他不會存儲那麼多份.它只會保留一定的冗餘數量,每個文件都可以計算出一個唯一的識別碼,如果你上傳的文件伺服器上已經有了,就可以秒傳.就不會浪費空間了
3. 請問網盤的存儲設備是什麼比如一些TB級網盤,他們所要准備的存儲空間巨大,他們怎麼做到高利用率,怎
網盤的存儲設備是伺服器端存儲設備。它給每個人劃分一定的空間。分別管理。使用網路操作系統。用戶看似能進行操作,實際上每一步必須得到系統驗證才可以。提高利用率是內部和諧,涉及到企業競爭,這不是一般人可以了解的。不懂追問我。望採納。
4. 網盤怎麼存儲這么多文件,用的什麼技術
提供網盤的公司有個伺服器,那伺服器有著很大儲存空間的硬碟,那個公司把硬碟的一小小部分提供給用戶.
說真的你感覺你的網盤放滿過東西么?
以下來自網路:網盤
原理
網盤的原理其實就是網路公司將其伺服器的硬碟或硬碟陣列中的一部分容量分給注冊用戶使用,因此網盤一般來說投資都比較大,所以免費網盤一般容量比較小,一般為300M到10G左右;另外為了防止用戶濫用網盤還往往附加單個文件最大限制,一般為100M到1G左右,因此免費網盤一般只用於存儲較小的文件。而收費網盤則具有速度快、安全性能好、容量高、允許大文件存儲等優點,適合有較高要求的用戶。
5. 115網盤的存儲設備是什麼為什麼可以存那麼多數據啊
115網盤存儲器其實就是 伺服器(伺服器類似於電腦只不過性能比電腦強)
一般大型的網路公司的伺服器里的硬碟都是陣列的(就會把許許多多的硬碟 並在一起 形成了一個超級大的空間)其實115網盤並不大的 金山T盤最大可以升級到1TB=1024GB
推選金山T盤
6. 網盤進入T時代,各大公司哪裡來的這么多存儲空間
伺服器上並不需要那麼多空間。一方面絕大多數用戶不可能用完TB級別的網盤空間,通常的網路上傳速度限制了,要佔滿1TB的空間可能需要數個月的上傳時間(4Mbps的普通ADSL網路上傳10GB到網路盤花了我大約一天)。沒有用完,那麼那個空間總數就只是一個數字,並不實際佔用伺服器空間。另一方面,用戶最佔用空間的數據可能多數是從網上下載的電影、音樂、游戲等文件。同樣的文件伺服器端只需要存儲一份,可以省去很多的空間。(比如有一萬個人都保存了「COD10.Reload.crack.iso」,文件大小16GB,伺服器只需要用去16GB空間,而不是160TB的空間)隨著用戶的增長,各大公司機房的存儲空間的擴展只要跟上了實際用去的空間即可,而不是跟著那個許諾給用戶的存儲空間增長。
採納哦
7. 網盤存的東西都在那裡,每個人1T的空間,得多少硬碟阿,網盤到底是什麼原理。
網盤的原理其實就是網路公司將其伺服器的硬碟或硬碟陣列中的一部分容量分給注冊用戶使用,因此網盤一般來說投資都比較大,所以免費網盤一般容量比較小,一般為300M到10G左右;另外為了防止用戶濫用網盤還往往附加單個文件最大限制,因此免費網盤一般只用於存儲較小的文件。而收費網盤則具有速度快、安全性能好、容量高、允許大文件存儲等優點,適合有較高要求的用戶。
最新應用的雲計算儲存技術,為網盤行業帶來了新的革命,傳統的網盤將逐步被雲存儲取代。雲存儲是構建在高速分布式存儲網路上的數據中心,它將網路中大量不同類型的存儲設備通過應用軟體集合起來協同工作,形成一個安全的數據存儲和訪問的系統,適用於各大中小型企業與個人用戶的數據資料存儲、備份、歸檔等一系列需求。雲存儲最大優勢在於將單一的存儲產品轉換為數據存儲與服務,在這個技術下,網盤行業可能像金融行業銀行一樣,在單一的存儲服務基礎衍生出更多增值的服務,只有這種改變才能使雲存儲迎來蓬勃發展的春天。
8. 百度雲網盤這么大的存儲空間免費讓我們使用,它靠什麼賺錢呢
呵呵,用網路網盤就是在為網路做貢獻。
1、在網路網盤存儲文件,為網路增加了資源,在網路都可搜到。
2、這么大的空間也是在籠絡用戶,有用戶有流量就有錢掙。
3、網路圖片、網路文庫,這些資源都放在雲盤里,內容多了,網路搜索引擎就好使了。
4、愚人之間,還望海涵。
9. 百度雲網盤為什麼能存儲這么多的東西幾乎每個用戶都有2T的空間
網路經營雲服務,為此專門買了伺服器,容量超大!做個不恰當的比較,2T就像一部原來的功能手機的內存,可能連1M都沒有,而網路的雲服務伺服器好比電腦硬碟的容量,有500G,750G,甚至1T,1G就能分給1024個人,何況有1000個1G。
10. 為什麼百度雲空間那麼大,它那裡的伺服器有那麼大的嗎
1、一種是雲空間,用多少給多少,只是顯示用戶的使用空間量和剩餘空間量,並沒有給用戶實際留著所剩的空間。
2、還有一種辦法是對許多網友的同樣的文件只在伺服器保留一份,這就節省了大量空間,通過MD5碼進行比對,如果一樣的文件,即使是名稱不一樣,也只保留一份。如果都是由伺服器進行比對確實佔用大量的CPU,因此用戶在上傳文件時卡住的那一會,就是在計算MD5值,對於MD5值一樣的就不用上傳了,並起個名字叫秒傳。
補充知識:
網路雲(Bai Cloud)是網路推出的一項雲存儲服務,首次注冊即有機會獲得2T的空間,已覆蓋主流PC和手機操作系統,包含Web版、Windows版、Mac版、Android版、iPhone版和Windows Phone版,用戶將可以輕松將自己的文件上傳到網盤上,並可跨終端隨時隨地查看和分享。