当前位置:首页 » 服务存储 » 图片hdfs可以存储么
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

图片hdfs可以存储么

发布时间: 2022-07-25 06:06:08

❶ hadoop hdfs能外接存储

文件是按照块来存储的,比如配置的每块大小为64M,那么5G的文件,会分成5*1024/64=80块,每个块会在不同节点上存多份。你上面说的依次写入datanode,是指将每个块依次写入。
读取的时候,也是一块一块来读的,当然,这些都已经被HDFS的客户端封装好了,你看到就是在读一个文件。

❷ HDFS能够存储哪几种文件格式

hdfs可以存储任何形式的文件啊。只要你硬盘能存储什么文件,它就能存储什么。其实文件就其本质,都是0001101001这种二进制数据。
所以什么形式都可以的。
但是如果不是这种ascii形式的文件,你读取他有什么意思呢
比如一部电影,你放上去能处理吗对吧

❸ 我要用hadoop来实现海量图片的存储,到底应该用raid来保证数据可靠性,还是用HDFS的冗余机制呢

图片这样比较小的文件,不建议使用hadoop来做,用fastdfs之类的布置简单,效果也比较好。raid5对于单点故障可以做到恢复,一旦多台机器同时出现问题,是没办法恢复的,单个图片文件较小,一般也不能分成多块,用raid5有点无力的感觉。当然如果你图片经过打包司马的,文件比较大(500MB以上),还是可以用的。

❹ 做一个网盘,后台的文件系统怎么整,用hadoop的hdfs可以吗

你的思路完全没问题,其实这个基本上就是现在很多网盘(对象存储)的基本设计原理,但是HDFS处理小文件效率非常低,而一般的网盘恰好主要是用来存储单个的小文件(例如单张图片)因此这个环节需要特殊设计

❺ HDFS是不是能存储结构化数据也能存储非结构化数据

hdfs就是个文件系统,可以存任何东西,可以理解为一块硬盘

❻ hadoop的HDFS能否用来存放视频文件和音频文件

那个是文件系统,当然可以放

❼ HDFS的文件存储过程

在正式介绍HDFS小文件存储方案之前,我们先介绍一下当前HDFS上文件存取的基本流程。
(1) 读文件流程
1)client端发送读文件请求给namenode,如果文件不存在,返回错误信息,否则,将该文件对应的block及其所在datanode位置发送给client
2) client收到文件位置信息后,与不同datanode建立socket连接并行获取数据。
(2) 写文件流程
1) client端发送写文件请求,namenode检查文件是否存在,如果已存在,直接返回错误信息,否则,发送给client一些可用namenode节点
2) client将文件分块,并行存储到不同节点上datanode上,发送完成后,client同时发送信息给namenode和datanode
3) namenode收到的client信息后,发送确信信息给datanode
4) datanode同时收到namenode和datanode的确认信息后,提交写操作。

❽ 海量图片存储用hadoop是否合适存储在哪个节点上能否由我们自己决定

hadoop可以实现海量数据的存储,它包含分布式文件系统HDFS,所以您说的一部分存在节点1,一部分存在节点2上肯定可行
当你需要存储比较大的文件时,HDFS会把它分成多个小块(块的大小可以自己定)来进行分布式存储,而且名字节点会记录存的位置,当应用程序请求计算时,会将计算移到相应的数据附近,所以用hadoop,就相信它好了,当然你也可以在它上面附加一些自己的安全管理模块,或其它中间件等,毕竟hadoop也有不尽人意的地方,还需要改进。
目前facebook,淘宝,yahoo!等都用hadoop构建了自己的数据中心来支持海量数据的存储

❾ hdfs为什么能存储不同类型数据为什么能存储pb级的数据

“TB是一个计算机存储容量的单位,它等于2的40次方,或者接近一万亿个字节(即,一千千兆字节)。”
一提到数据量级,人们通常会联想到美国国会图书馆(见图)。德勤、麦肯锡、IBM、Gartner和移动广告公司Adfonic的数据专家向TechTarget记者介绍了PB级数据究竟有多大。

麦肯锡首席分析师Michael Chui指出,美国国会图书馆“在2011年4月前已经收集了235TB的数据,而一个PB相当于它的4倍。”
TechTarget自己的网络网站Whatis有关于PB大小的定义:“PB是数据存储容量的单位,它等于2的50次方个字节,或者在数值上大约等于1000个TB。”
未来学家Raymond Kurzweil他的论文中对PB的定义进行延伸:人类功能记忆的容量预计在1.25个TB。这意味着,800个人类记忆才相当于1个PB。
如果这样还不够清楚,那么Adfonic的CTO Wes Biggs给出了下面更直接的计算:
假设手机播放MP3的编码速度为平均每分钟1MB,而1首歌曲的平均时长为4分钟,那么1PB歌曲可以连续播放2000年。
如果智能手机相机拍摄相片的平均大小为3MB,打印照片的平均大小为8.5英寸,那么总共1PB的照片的并排排列长度就达到48000英里——大约可以环绕地球2周。
1PB足够存储整个美国人口的DNA,而且还能再克隆2倍。
DVD、战列舰和六国赛
从比特(bit)和字节(byte)开始,德勤的分析师还将他们的思考向以下方面进一步延伸。(1个比特是1个二进制位,可能是0或1;1个字节长8个二进制):
如果以每秒1个位的速度数一下1PB所包含的位数,那么您需要2.85亿年才能数完。
如果每秒数1个字节,那么您需要数357万年。
保存1PB数据需要用掉22.3万张DVD。
保存1PB数据,需要用掉7.46亿张3.5英寸软盘;这7.46亿软盘重13422吨。这个重量仅仅比2艘Type 45驱逐舰轻一些。
人类身体细胞数据各不相同,但是数量最多的接近100万亿个,如果用1个位来表示1个细胞,那么1PB足够记录90个人的身体细胞,相当于橄榄球六国赛的全部球员。
谷歌、社交媒体和宇宙大爆炸
谷歌在2004年率先进军数字地图领域,并在2005年发布了谷歌地图和谷歌地球。现在,谷歌为用户提供了超过20PB(215亿MB)的地图影像——包括卫星图片、航拍照片和360度街景图片。
即使在2008年,谷歌每天处理的数据已经达到20 PB,一年就是7300 PB。
从那时起,社交媒体网站就开始生成PB级数据,它们逐渐成为所谓的“大数据”。
根据2012年2月1日Facebook向美国证券交易委员会提交的IPO文档记录,Facebook在1年前已经存储了100 PB数据。
在Twitter网站上,每分钟就有34000条微博出现。IBM非常关注于一个天文项目:“由于20个国家共同出资总计15亿欧元建设的平方公里阵列(Square Kilometer Array, SKA)是一个无线电天文望远镜,它可以观测宇宙大爆炸的衰弱信号。”
SKA(计划在2024年完成)估计整个宇宙每天将生成1376 PB数据,相当于每天传输的全球互联网流量的两倍。
只能尽量减少,而不能消除,常用减少误差的