如果数据量不是很大（G级别以下），文件不是特别零碎，可以直接存在硬盘上。
但是如果数据量已经/可能超过T级别，或者文件小且零碎，建议还是放在HDFS等分布式文件系统上。
我存储爬虫的html以及图片数据，是通过HDFS的MapFile格式存储的。MapFile是个已排序的键值对文件格式，我的键采用的是url的hash+采集时间，值就是文件内容。并且封装了原生的MapFile.Reader实现了读取和一定程度的缓存（目前只用了LRU）。
在HDFS提倡一次写入，多次读取的前提下，文件的更新只能是通过失效旧，使用新的策略。即把旧的元数据标记为失效，插入新的元数据，并把更新的文件写入HDFS。读取是通过新的元数据定位到文件。同时，要定期的清除已失效的文件，即把未失效的元数据读出来，将对应的文件写到新的MapFile，删除旧的MapFile，即可实现物理删除。
当然还可以使用HBase。HBase是面向列的，二进制存储的，可横向拓展的NoSQL。可以把不大于64M的数据作为单元格数据直接写进去。但是有一定的学习成本，而且对集群的硬件要求比较
2. IBM x3650 服务器添加硬盘怎样做
ibm x3650服务器使用8k，8k-l阵列卡，在已有阵列配置的情况下，如果确定要添加的硬盘没有数据或配置信息，可以直接插入，在卡的核心界面配置阵列即可。
如果要添加的硬盘有数据或配置信息，或者不确定，请严格按以下操作说明来添加，以防止现有的阵列崩溃，数据丢失。
在安装新硬盘之前，要按照下面的方法对其进行初始化：
1、关闭服务器的电源；
2、拔掉服务器上所有现有的硬盘；
3、插入这个新的硬盘；
4、启动服务器；
5、在加电自检过程中，在看到Adaptec SAS RAID BIOS检测并提示如下信息时按Ctrl-A：
Press <Ctrl><A> for IBM ServeRAID
Configuration Utility!
Booting the Controller Kernel....../
6、在IBM ServeRAID Configuration Utility Options选项窗口中，选择"Array Configuration Utility"；
7、在Main Menu主菜单中，选择"Initialize Drives"并按Enter；
8、按空格键来选择需要被初始化的硬盘，这些硬盘将会从左边的窗口移动到右边的窗口中，然后按Enter；
9、当出现警告提示时按Y；
10、预计每块硬盘需要用5-10秒来进行初始化，当所有的硬盘都初始化完成后，Main Menu主菜单将会显示出来；
11、按Escape退出IBM ServeRAID Configuration Utility界面；
系统重新启动；
12、在加电自检的开始，当看到IBM Logo标志显示时，关闭服务器；
13、重新安装上以前移走的硬盘；
14、那个新的硬盘可以随后安装或以后再安装；
15、启动服务器；
16、在显示Adaptec SAS RAID BIOS的界面时，将会看到下列信息：
New devices detected at the following SAS Phys: (listing
of reinserted devices)
17、按Enter回车接受当前的阵列配置。
说明：
当一块硬盘作为阵列的一部分后，每块硬盘都要被写上阵列配置信息的元数据。如果一块带有元数据的硬盘被安装到一个现有的阵列中，这个现有的阵列上的元数据就会被破坏并且这个阵列将会变得无法被系统使用。
在把一块硬盘插入到一个现有的阵列之前，一定要确认通过上述的初始化的步骤把所有的以前存在的元数据都要从这块硬盘上清除掉。
3. 服务器中的高速缓存盘，元数据盘，系统盘什么意思
二楼说的很专业我来说个简单的：raid0就是把多个（最少2个）硬盘合并成1个逻辑盘使用，数据读写时对各硬盘同时操作，不同硬盘写入不同数据，速度快。raid1就是同时对2个硬盘读写（同样的数据）。强调数据的安全性。比较浪费。raid5也是把多个（最少3个）硬盘合并成1个逻辑盘使用，数据读写时会建立奇偶校验信息，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。相当于raid0和raid1的综合。raid10就是raid1+raid0，比较适合速度要求高，又要完全容错，当然￥也很多的时候。最少需要4块硬盘（注意：做raid10时要先作RAID1，再把数个RAID1做成RAID0，这样比先做raid0，再做raid1有更高的可靠性）
4. 移动硬盘有的可以正常使用,有的电脑提示此卷不包含可识别的文件系统
这种情况最可能的原因是硬盘上分区元数据占用的空间有不稳定的扇区，读出来了就正常，没读出来就raw分区，建议尽快备份数据，然后用htne之类的软件对盘做全盘坏扇区扫描，注意下smart的05和c5项，如果c5有较大计数就不要再存放重要数据文件。
5. 磁盘元数据测试0x32如何修复
你好，这个问题基本是与windows 10 系统的自动修复有关的，一般就是开机报错，自动修复失败的问题。
遇到这种情况，如果自己不会操作的话，就去专业的修理电脑的店里解决，让专业的工作人员来修复，这是比较保险的做法，或者可以咨询windows客服，在他的帮助下解决。尽量不要自己操作，以防对数据造成损害。
6. 磁盘的NTF和FAT格式有什么区别啊,用哪个好
NTFS（New Technology File System）是Microsoft Windows NT的标准文件系统，它也同时应用于Windows 2000/XP/2003。它与旧的FAT文件系统的主要区别是NTFS支持元数据（metadata），并且可以利用先进的数据结构提供更好的性能、稳定性和磁盘的利用率。NTFS有三个版本：在NT 3.51和NT 4中的1.2版，Windows 2000中的3.0版和Windows XP中的3.1版。这些版本有时被提及为4.0版、5.0版和5.1版。更新的版本添加了额外的特性，比如Windows 2000引入了配额。在兼容性方面，Windows的95/98/98SE和Me版都不能识别NTFS文件系统。另外NTFS支持文件加密管理功能，可为用户提供更高层次的安全保证。
fat
我们以前用的DOS、Windows 95都使用FAT16文件系统，现在常用的Windows 98/2000/XP等系统均支持FAT16文件系统。但是它最大只可以管理大到2GB的分区。随着大容量硬盘的出现，从Windows 98开始，FAT32开始流行。它是FAT16的增强版本，可以支持大到2TB（2048GB)的分区。
FAT(File Allocation Table)是“文件分配表”的意思。对我们来说，它的意义在于对硬盘分区的管理。
FAT16：我们以前用的DOS、Windows 95都使用FAT16文件系统，现在常用的Win 98/2000/XP等系统均支持FAT16文件系统。它最大可以管理大到2GB的分区，但每个分区最多只能有65525个簇（簇是磁盘空间的配置单位）。随着硬盘或分区容量的增大，每个簇所占的空间将越来越大，从而导致硬盘空间的浪费。
FAT32：随着大容量硬盘的出现，从Windows 98开始，FAT32开始流行。它是FAT16的增强版本，可以支持大到2TB（2048G的分区。FAT32使用的簇比FAT16小，从而有效地节约了硬盘空间。
上面是网上查的资料，总的来说ntfs比较安全，而fat比较适合管理，比如在dos下格式化等，所以如果是计算机新手，还是建议用fat，就这样
http://www.51jiang.cn
7. 硬盘的几个分区为什么会有不同的格式，比如说：NTFS/FAT32/RAW，它们有什么意义，有什么不同
●FAT32与NTFS的区别
在推出FAT32文件系统之前，通常PC机使用的文件系统是FAT16。像基于MS-DOS，Win 95等系统都采用了FAT16文件系统。在Win 9X下，FAT16支持的分区最大为2GB。我们知道计算机将信息保存在硬盘上称为“簇”的区域内。使用的簇越小，保存信息的效率就越高。在FAT16的情况下，分区越大簇就相应的要增大，存储效率就越低，势必造成存储空间的浪费。并且随着计算机硬件和应用的不断提高，FAT16文件系统已不能很好地适应系统的要求。在这种情况下，推出了增强的文件系统FAT32。同FAT16相比，FAT32主要具有以下特点：
1. 同FAT16相比FAT32最大的优点是可以支持的磁盘大小达到2TB（2047GB），但是不能支持小于512MB的分区。基于FAT32的Win 2000可以支持分区最大为32GB；而基于 FAT16的Win 2000支持的分区最大为4GB。
2. 由于采用了更小的簇，FAT32文件系统可以更有效率地保存信息。如两个分区大小都为2GB，一个分区采用了FAT16文件系统，另一个分区采用了 FAT32文件系统。采用FAT16的分区的簇大小为32KB，而FAT32分区的簇只有4KB的大小。这样FAT32就比FAT16的存储效率要高很多，通常情况下可以提高15%。
3. FAT32文件系统可以重新定位根目录和使用FAT的备份副本。另外FAT32分区的启动记录被包含在一个含有关键数据的结构中，减少了计算机系统崩溃的可能性。
●NTFS文件系统
NTFS文件系统是一个基于安全性的文件系统，是Windows NT所采用的独特的文件系统结构，它是建立在保护文件和目录数据基础上，同时照顾节省存储资源、减少磁盘占用量的一种先进的文件系统。使用非常广泛的 Windows NT 4.0采用的就是NTFS 4.0文件系统，相信它所带来的强大的系统安全性一定给广大用户留下了深刻的印象。Win 2000采用了更新版本的NTFS文件系统??NTFS 5.0，它的推出使得用户不但可以像Win 9X那样方便快捷地操作和管理计算机，同时也可享受到NTFS所带来的系统安全性。
●NTFS 5.0的特点主要体现在以下几个方面：
1. NTFS可以支持的分区(如果采用动态磁盘则称为卷)大小可以达到2TB。而Win 2000中的FAT32支持分区的大小最大为32GB。
2. NTFS是一个可恢复的文件系统。在NTFS分区上用户很少需要运行磁盘修复程序。NTFS通过使用标准的事物处理日志和恢复技术来保证分区的一致性。发生系统失败事件时，NTFS使用日志文件和检查点信息自动恢复文件系统的一致性。
3. NTFS支持对分区、文件夹和文件的压缩。任何基于Windows的应用程序对NTFS分区上的压缩文件进行读写时不需要事先由其他程序进行解压缩，当对文件进行读取时,文件将自动进行解压缩；文件关闭或保存时会自动对文件进行压缩。
4. NTFS采用了更小的簇,可以更有效率地管理磁盘空间。在Win 2000的FAT32文件系统的情况下,分区大小在2GB～8GB时簇的大小为4KB；分区大小在8GB～16GB时簇的大小为8KB；分区大小在 16GB～32GB时,簇的大小则达到了16KB。而Win 2000的NTFS文件系统，当分区的大小在2GB以下时,簇的大小都比相应的FAT32簇小;当分区的大小在2GB以上时(2GB～2TB),簇的大小都为4KB。相比之下，NTFS可以比FAT32更有效地管理磁盘空间，最大限度地避免了磁盘空间的浪费。
5. 在NTFS分区上,可以为共享资源、文件夹以及文件设置访问许可权限。许可的设置包括两方面的内容：一是允许哪些组或用户对文件夹、文件和共享资源进行访问；二是获得访问许可的组或用户可以进行什么级别的访问。访问许可权限的设置不但适用于本地计算机的用户,同样也应用于通过网络的共享文件夹对文件进行访问的网络用户。与FAT32文件系统下对文件夹或文件进行访问相比，安全性要高得多。另外,在采用NTFS格式的Win 2000中,应用审核策略可以对文件夹、文件以及活动目录对象进行审核，审核结果记录在安全日志中，通过安全日志就可以查看哪些组或用户对文件夹、文件或活动目录对象进行了什么级别的操作，从而发现系统可能面临的非法访问,通过采取相应的措施，将这种安全隐患减到最低。这些在FAT32文件系统下,是不能实现的。
6. 在Win 2000的NTFS文件系统下可以进行磁盘配额管理。磁盘配额就是管理员可以为用户所能使用的磁盘空间进行配额限制，每一用户只能使用最大配额范围内的磁盘空间。设置磁盘配额后，可以对每一个用户的磁盘使用情况进行跟踪和控制，通过监测可以标识出超过配额报警阈值和配额限制的用户，从而采取相应的措施。磁盘配额管理功能的提供，使得管理员可以方便合理地为用户分配存储资源，避免由于磁盘空间使用的失控可能造成的系统崩溃，提高了系统的安全性。
7. NTFS使用一个“变更”日志来跟踪记录文件所发生的变更。
●小提示(选取FAT32和NTFS的建议)
在系统的安全性方面，NTFS文件系统具有很多FAT32文件系统所不具备的特点，而且基于NTFS的Win 2000运行要快于基于FAT32的Win 2000；而在与Win 9X的兼容性方面，FAT32优于NTFS。所以在决定Win 2000中采用什么样的文件系统时应从以下几点出发：
1. 计算机是单一的Win 2000系统，还是采用多启动的Win 2000系统；
2. 本地安装的磁盘的个数和容量；
3. 是否有安全性方面的考虑等。
基于以上的考虑，如果要在Win 2000中使用大于32GB的分区的话，那么只能选择NTFS格式。如果计算机作为单机使用，不需要考虑安全性方面的问题，更多地注重与Win 9X的兼容性，那么FAT32是最好的选择。如果计算机作为网络工作站或更多的追求系统的安全性，而且可以在单一的Win 2000模式下运行，强烈建议所有的分区都采用NTFS格式；如果要兼容以前的应用，需要安装Win 9X或其它的操作系统，建议做成多启动系统，这就需要两个以上的分区，一个分区采用NTFS格式，另外的分区采用FAT32格式，同时为了获得最快的运行速度建议将Win 2000的系统文件放置在NTFS分区上，其它的个人文件则放置在FAT32分区中。
●建议你用NTFS，现在比较流行
什么是RAW格式文件？
其实RAW格式并不是什么新鲜事，不少人对于这一格式，并不很了解。那么和一般的JPEG格式的文件相比RAW格式的文件有什么优点呢？
RAW是数码相机原始数据的一种格式，相当于传统相机的菲林底片。因此,它的色彩和层次的宽容度是相当广阔的，RAW最大的好处是保存了最原始的CCD数据，把更多的自由放在用户手里。 记录了最原始最真实的信息，不做修饰和更改，为后期制作留下了广阔的可操作性。
而通常非RAW格式即使是最完整的TIF格式，也是经过了数码相机自身处理的，这个处理实际上也是个软件处理的过程，会有很明显的生产商的兴趣取向（或者说对图像、色彩的理解），常说的索尼色彩艳丽、富士绿等就是对某种色彩特别处理的结果。
至于是RAW格式对后期有好处还是其它格式对后期有好处，这不是能够一概而论的事，在ps高手眼里，什么格式可能不会有太大区别，只要原始的图片精度够基本上问题就不大了。所以这个我认为是要看个人能力及喜好的。
RAW是文件格式..不是系统格式
8. 移动硬盘分区esp和msr分区有什么用
MSR分区即 Microsoft 保留 (MSR) 分区。是每个 GUID 分区表 (GPI) 磁盘都要求的分区。 系统组件可以将 MSR 分区的部分分配到新的分区以供它们使用。例如，将基本 GPT 磁盘转换为动态磁盘后，系统分配的 MSR 分区将被用作“逻辑磁盘管理器”(LDM) 元数据分区。 MSR 分区的大小会因 GPT 磁盘的大小不同而发生变化。对于小于 16 GB 的磁盘，MSR 分区为 32 MB。对于大于 16 GB 的磁盘，MSR 分区为 128 MB。MSR 分区在“磁盘管理”中不可见，用户也无法在 MSR 分区上存储或删除数据。
9. NTFS元数据文件是什么
xp文件格式主要有两种：NTFS，FAT32
-- NTFS格式细解
1、什么是NTFS－新(N)技术(T)文件(F)系统(S)？
想要了解NTFS，我们首先应该认识一下FAT。FAT(File Allocation Table)是“文件分配表”的意思。对我们来说，它的意义在于对硬盘分区的管理。FAT16、FAT32、NTFS是目前最常见的三种文件系统。
FAT16：我们以前用的DOS、Windows 95都使用FAT16文件系统，现在常用的Windows 98/2000/XP等系统均支持FAT16文件系统。它最大可以管理大到2GB的分区，但每个分区最多只能有65525个簇(簇是磁盘空间的配置单位)。随着硬盘或分区容量的增大，每个簇所占的空间将越来越大，从而导致硬盘空间的浪费。
FAT32：随着大容量硬盘的出现，从Windows 98开始，FAT32开始流行。它是FAT16的增强版本，可以支持大到2TB(2048G的分区。FAT32使用的簇比FAT16小，从而有效地节约了硬盘空间。
NTFS：微软Windows NT内核的系列操作系统支持的、一个特别为网络和磁盘配额、文件加密等管理安全特性设计的磁盘格式。随着以NT为内核的Windows 2000/XP的普及，很多个人用户开始用到了NTFS。NTFS也是以簇为单位来存储数据文件，但NTFS中簇的大小并不依赖于磁盘或分区的大小。簇尺寸的缩小不但降低了磁盘空间的浪费，还减少了产生磁盘碎片的可能。NTFS支持文件加密管理功能，可为用户提供更高层次的安全保证。
2、什么系统可以支持NTFS文件系统？
只有Windows NT/2000/XP才能识别NTFS系统，Windows 9x/Me以及DOS等操作系统都不能支持、识别NTFS格式的磁盘。由于DOS系统不支持NTFS系统，所以最好不要将C:盘制作为NTFS系统，这样在系统崩溃后便于在DOS系统下修复。
NTFS与操作系统支持情况如下：
FAT16 windows 95/98/me/nt/2000/xp unix，linux，dos
FAT32 windows 95/98/me/2000/xp
NTFS windows nt/2000/xp
3、我们需要NTFS吗？
Windows 2000/XP在文件系统上是向下兼容的，它可以很好地支持FAT16/FAT32和NTFS，其中NTFS是Windows NT/2000/XP专用格式，它能更充分有效地利用磁盘空间、支持文件级压缩、具备更好的文件安全性。如果你只安装Windows 2000/XP，建议选择NTFS文件系统。如果多重引导系统，则系统盘(C盘)必须为FAT16或FAT32，否则不支持多重引导。当然，其他分区的文件系统可以为NTFS。