1. 百度网盘服务器是不是有很多块硬盘,百度那么多数据要用多少块硬盘来存储呢
简单的理解,云存储就是一大堆存储设备通过交互式应用和集群技术整合在一起,通过一个统一的界面给用户提供存储服务。
至于你说的那个重复文件的删除技术,我不是太了解云里面是如何操作的,不过很多公司局域网已经大量使用了类似的技术。比如windows 2012里面就有类似的功能,把一个文件分成若干大小不等的快,重复的就删除掉,我公司的文件服务器通过这种方式可以节约35%以上的磁盘空间。
本帖最近评分记录
冰封心事无忧币 +6热心广援2013-9-24 20:28
网络工程师高手养成记>>
灰色渡鹤影
文章来源:
http://www.hu.com/question/21591490
我想要为每个用户提供 1G 的网络存储空间。
如果服务器上有一颗 1000G 的硬盘可以全部为用户提供数据储存,如果每个用户分配 1G 的最大储存空间,那么能非配给多少个用户使用呢?
你一定说是 1000/1=1000 个用户。
但事实上你这么分配了,你会发现每个用户平时根本不会上传 1G 的东西将容量占的漫漫的,有多又少,但平均用户平时只上传 50M 的文件,也就是说,你将 1000G 的硬盘分给 1000个 人使用,但只有效利用了其中的 50M*1000=50G 的空间,剩余 950G 的空间基本都完全浪费了。
那么怎么解决呢?
你可以变通一下,将这 1000G 的空间分配给 20000个 用户使用,每个人的上传上限容量还是 1G,但每人平时还是平均上传 50M 的数据,那么 20000*50M=1000G,这下子就把宝贵的服务器上的存储空间充分利用了。但你又怕这样分配给 20000个 人后,万一某一刻人们突然多上传点数据,那么用户不是就觉察出来你分给人家的 1G 空间是假的了吗?所以可以不分配那么多人,只分配给 19000 人,剩下一些空间做应急之用。
突然发现一下子将可分配的用户数量翻了 19倍啊,了不起。那还有买有办法更加有效的利用一下呢?
如果我有 1000个 以上的服务器,一个服务器上有 1000G 空间,那么我们个服务器上都要留下 50G 的空白空间以备用户突然上传大数据时导致数据塞满的情况,呢么我这 1000个服务器上就空出了 1000台*50G=50000G 的空间被浪费了,所么可惜。所以我们发明了计存储集群,使得一个用户的数据可以被分配在多个服务器上存储,但在用户那看起来只是一个 1G 的连续空间,那么就没必要在每个服务器上预留出应急的空间了,甚至可以充分的将前一个服务器塞满后,在将数据往下一个服务器中塞。这样保证了服务器空间的最大利用,如果某一刻管理员发现用户都在疯狂上传数据(在一个大规模用户群下,这样的概率少之又少)导致我现有提供的空间不够了,没关系,只需要随手加几块硬盘或者服务器就解决了。
好吧,这下子我们的服务器空间利用高多了,可以将一定量的空间分配给最多的用户使用了。但有没有更好的改进方案呢?
管理员有一天发现,即使每个用户平局下来只存储 50M 的东西,但这 50M 也不是一蹴而就的,是随着1-2年的使用慢慢的达到这个数量的,也就是说,一个新的用户刚刚注册我的网络空间时,不会上传东西,或者只上传一点非常小的东西。那么我为每一个用户都初始分配了 50M 的空间,即使将来2年后他们会填满这 50M ,但这期间的这空间就有很多时浪费的啊。所以聪明的工程师说:既然我们可以分布式、集群式存储,一个用户的数据可以分布在多个服务器上,那么我们就假设一开始就给一个新注册的用户提供 0M 的空间,将来他用多少,我就给他提供多少存储空间,这样就彻底的保证硬盘的利用了。但用户的前端还是要显示 1G 的。
工程师的这个点子,使得我在建立网盘初期能用 1台 1000G 的服务器提供了大约 1000000 人来注册和使用,随着注册的人多了,我也有钱了,也可以不断增加服务器以提供他们后期的存贮了。同时因为一部分服务器完了一年多购买,我的购买成本也下来了。
那么...这结束了吗?若是邮箱提供商的话,这样的利用率够高了。但网盘就不一样了。
聪明的工程师发现:不同于邮箱,大家的内容的附件绝大多数都是自创的和不同的。但网盘上大家上传的东西很多都是重复的。
比如:张三 今天下载了一部《TOKYO HOT》上传上传到了自己的网盘上,李四在三天后也下载了一模一样的《TOKYO HOT》上传到了网络硬盘上,随着用户的增多,你会发现总计有 1000个人 上传了 1000份 一模一样的文件到你宝贵的服务器空间上,所以工程师想出一个办法,既然是一样的文件,我就只存一份不久好啦,然后在用户的前端显示是没人都有一份不久行啦。当某些用户要删除这个文件的时候,我并不真的删除,只需要在前端显示似乎删除了,但后端一直保留着以供其他拥有此文件的用户下载。直到所有使用此文件的用户都删除了这个文件我再真的将其删除吧。
这样子随着存储的数据越来越多,注册的用户越来越多,其上传的重复数据越来越多。你发现这样的检测重复文件存储的效率越来越大。这样算下来似乎每个人上传的不重复的文件只能平均 1M/用户。这下子你可以提供超过 50倍 的用户使用您这有限的空间了。
但伴随这使用,你又发现一个规律:
张三上传的《TOKYO HOT N0124》和李四上传的《TH n124》是同一个文件,只不过文件名不一样,难道我就不能识别出他们是一个文件,然后只将其分别给不同的用户保存成不同的文件名不久行啦?确实可行,但这要利用一些识别文件相同性的算法,例如 MD5 值等。只要两个文件的 MD5 值一样,文件大小一样,我就认为它们是相同的文件,只需要保存一份文件并给不同的用户记作不同的文件名就好了。
有一天你发现,因为每一个文件都需要计算 MD5 值,导致 CPU 负荷很大,而且本来一样的文件非要浪费带宽上传回来才可以检测一致性,能改进一下吗?
聪明的工程师写了个小软件/.小插件,美其名曰“上传控件”,将计算 MD5 的工作利用这个软件交给了上传用户的点老来完成,一旦计算出用户要上传的数据和服务器上已经存储的某个数据是一样的,就干脆不用上传了,直接在用户那里标记上这个文件已经按照 XX 文件名上传成功了。这个过程几乎是瞬间搞定了,并给其起了个高富帅的名字“秒传”!
通过以上这么多步骤,你发现本来你只能给 1000用户 提供网络空间的,这么多改进办法后,在用户端显示 1G 空间不变的情况下,近乎可以为 1000000个用户 提供网络空间了。
这样若是您哪天心情好,对外宣传说:我要将每个用户的存储空间上限提升到 1TB。那么每个用户平均还是只上传 50M 数据,只有极个别极个别的用户上传了突破 1G 原始空间的数据,你会发现所付出的成本近乎是微乎其微的。
2. 百度网盘或者其他网盘是用什么做存储的怎么才会实现那么多存储容量
人家也是买的存储设备.只是很多相同的附件他不会存储那么多份.它只会保留一定的冗余数量,每个文件都可以计算出一个唯一的识别码,如果你上传的文件服务器上已经有了,就可以秒传.就不会浪费空间了
3. 请问网盘的存储设备是什么比如一些TB级网盘,他们所要准备的存储空间巨大,他们怎么做到高利用率,怎
网盘的存储设备是服务器端存储设备。它给每个人划分一定的空间。分别管理。使用网络操作系统。用户看似能进行操作,实际上每一步必须得到系统验证才可以。提高利用率是内部和谐,涉及到企业竞争,这不是一般人可以了解的。不懂追问我。望采纳。
4. 网盘怎么存储这么多文件,用的什么技术
提供网盘的公司有个服务器,那服务器有着很大储存空间的硬盘,那个公司把硬盘的一小小部分提供给用户.
说真的你感觉你的网盘放满过东西么?
以下来自网络:网盘
原理
网盘的原理其实就是网络公司将其服务器的硬盘或硬盘阵列中的一部分容量分给注册用户使用,因此网盘一般来说投资都比较大,所以免费网盘一般容量比较小,一般为300M到10G左右;另外为了防止用户滥用网盘还往往附加单个文件最大限制,一般为100M到1G左右,因此免费网盘一般只用于存储较小的文件。而收费网盘则具有速度快、安全性能好、容量高、允许大文件存储等优点,适合有较高要求的用户。
5. 115网盘的存储设备是什么为什么可以存那么多数据啊
115网盘存储器其实就是 服务器(服务器类似于电脑只不过性能比电脑强)
一般大型的网络公司的服务器里的硬盘都是阵列的(就会把许许多多的硬盘 并在一起 形成了一个超级大的空间)其实115网盘并不大的 金山T盘最大可以升级到1TB=1024GB
推选金山T盘
6. 网盘进入T时代,各大公司哪里来的这么多存储空间
服务器上并不需要那么多空间。一方面绝大多数用户不可能用完TB级别的网盘空间,通常的网络上传速度限制了,要占满1TB的空间可能需要数个月的上传时间(4Mbps的普通ADSL网络上传10GB到网络盘花了我大约一天)。没有用完,那么那个空间总数就只是一个数字,并不实际占用服务器空间。另一方面,用户最占用空间的数据可能多数是从网上下载的电影、音乐、游戏等文件。同样的文件服务器端只需要存储一份,可以省去很多的空间。(比如有一万个人都保存了“COD10.Reload.crack.iso”,文件大小16GB,服务器只需要用去16GB空间,而不是160TB的空间)随着用户的增长,各大公司机房的存储空间的扩展只要跟上了实际用去的空间即可,而不是跟着那个许诺给用户的存储空间增长。
采纳哦
7. 网盘存的东西都在那里,每个人1T的空间,得多少硬盘阿,网盘到底是什么原理。
网盘的原理其实就是网络公司将其服务器的硬盘或硬盘阵列中的一部分容量分给注册用户使用,因此网盘一般来说投资都比较大,所以免费网盘一般容量比较小,一般为300M到10G左右;另外为了防止用户滥用网盘还往往附加单个文件最大限制,因此免费网盘一般只用于存储较小的文件。而收费网盘则具有速度快、安全性能好、容量高、允许大文件存储等优点,适合有较高要求的用户。
最新应用的云计算储存技术,为网盘行业带来了新的革命,传统的网盘将逐步被云存储取代。云存储是构建在高速分布式存储网络上的数据中心,它将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,形成一个安全的数据存储和访问的系统,适用于各大中小型企业与个人用户的数据资料存储、备份、归档等一系列需求。云存储最大优势在于将单一的存储产品转换为数据存储与服务,在这个技术下,网盘行业可能像金融行业银行一样,在单一的存储服务基础衍生出更多增值的服务,只有这种改变才能使云存储迎来蓬勃发展的春天。
8. 百度云网盘这么大的存储空间免费让我们使用,它靠什么赚钱呢
呵呵,用网络网盘就是在为网络做贡献。
1、在网络网盘存储文件,为网络增加了资源,在网络都可搜到。
2、这么大的空间也是在笼络用户,有用户有流量就有钱挣。
3、网络图片、网络文库,这些资源都放在云盘里,内容多了,网络搜索引擎就好使了。
4、愚人之间,还望海涵。
9. 百度云网盘为什么能存储这么多的东西几乎每个用户都有2T的空间
网络经营云服务,为此专门买了服务器,容量超大!做个不恰当的比较,2T就像一部原来的功能手机的内存,可能连1M都没有,而网络的云服务服务器好比电脑硬盘的容量,有500G,750G,甚至1T,1G就能分给1024个人,何况有1000个1G。
10. 为什么百度云空间那么大,它那里的服务器有那么大的吗
1、一种是云空间,用多少给多少,只是显示用户的使用空间量和剩余空间量,并没有给用户实际留着所剩的空间。
2、还有一种办法是对许多网友的同样的文件只在服务器保留一份,这就节省了大量空间,通过MD5码进行比对,如果一样的文件,即使是名称不一样,也只保留一份。如果都是由服务器进行比对确实占用大量的CPU,因此用户在上传文件时卡住的那一会,就是在计算MD5值,对于MD5值一样的就不用上传了,并起个名字叫秒传。
补充知识:
网络云(Bai Cloud)是网络推出的一项云存储服务,首次注册即有机会获得2T的空间,已覆盖主流PC和手机操作系统,包含Web版、Windows版、Mac版、Android版、iPhone版和Windows Phone版,用户将可以轻松将自己的文件上传到网盘上,并可跨终端随时随地查看和分享。