当前位置:首页 » 服务存储 » 开源存储cephfastdfs
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

开源存储cephfastdfs

发布时间: 2022-09-10 12:35:16

① 如何安装FastDFS

Google了一下,流行的开源分布式文件系统有很多,介绍如下:

mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多。
fastDFS:国人在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mogileFS更好的性能。
mooseFS:支持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,国内用的人比较多
glusterFS:支持FUSE,比mooseFS庞大
ceph:支持FUSE,客户端已经进入了linux-2.6.34内核,也就是说可以像ext3/rasierFS一样,选择ceph为文件系统。彻底的分布式,没有单点依赖,用C编写,性能较好。基于不成熟的btrfs,其本身也非常不成熟。
lustre:Oracle公司的企业级产品,非常庞大,对内核和ext3深度依赖
NFS:老牌网络文件系统,具体不了解,反正NFS最近几年没发展,肯定不能用。
鉴于fastDFS是国人开发,也有国内的一些大公司在使用,so…

普通的文件架构其实一两年内也是没有问题的,但有句话叫未雨绸缪,于是决定折腾折腾。

② fastdfs能存储什么东西

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

③ linux下常用的分布式文件系统有哪些

常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
GFS(Google File System)
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。

HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapRece算法的一种开源应用,是Google开创其帝国的重要基石。

Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
说 ceph 性能最高,C++编写的代码,支持Fuse,并且没有单点故障依赖, 于是下载安装, 由于 ceph 使用 btrfs 文件系统, 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。
可是ceph太不成熟了,它基于的btrfs本身就不成熟,它的官方网站上也明确指出不要把ceph用在生产环境中。

Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数据量存储系统。
目前Lustre已经运用在一些领域,例如HP SFS产品等。

④ linux下常用的分布式文件系统有哪些

Lustre是HP,Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统,名称来源于Linux和Clusters。同时Lustre也是一个遵循GPL许可协议的开源软件,Lustre也被称为平行分布式文件系统,常用于大型计算机集群和超级电脑中。

Lustre的主要组建包括:元数据服务器(Metadataservers, MDSs)、对象存储服务器(objectstorage servers, OSSs)和客户端。其中MDSs提供元数据服务,MGS管理服务器提供Lustre文件系统配置信息,OSS对象存储服务器expose块设备提供数据。

Lustre文件系统针对大文件读写进行了优化,能够提高性能的IO能力;在源数据独立存储、服务和网络失效的快速恢复、基于意图的分布式锁管理和系统可快速配置方面优异。

分布式存储的关键技术主要包括:全局名字空间、缓存一致性、安全性、可用性和可扩展性。从数据形态来划分,主要有:结构化数据、非机构化数据和半结构化数据。

Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

Linux操作系统诞生于1991 年10 月5 日(这是第一次正式向外公布时间)。Linux存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。

⑤ ceph这款云存储技术怎么样

云存储系统具有良好的可扩展性、容错性,以及内部实现对用户透明等特性,这一切都离不开分布式文件系统的支撑。现有的云存储分布式文件系统包括GFS、HDFS、Lustre、FastDFS、PVFS、GPFS、PFS、Ceph和TFS等。

⑥ 文件Fastcompre是什么

首先简单了解一下基础概念,FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。FastDFS的系统结构图如下:

如上图,FastDFS的两个核心概念分别是:

  • Tracker(跟踪器)

  • Storage(存储节点)

  • Tracker主要做调度工作,相当于mvc中的controller的角色,在访问上起负载均衡的作用。跟踪器和存储节点都可以由一台或多台服务器构成,跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务,其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。Tracker负责管理所有的Storage和group,每个storage在启动后会连接Tracker,告知自己所属的group等信息,并保持周期性的心跳,tracker根据storage的心跳信息,建立group==>[storage server list]的映射表,Tracker需要管理的元信息很少,会全部存储在内存中;另外tracker上的元信息都是由storage汇报的信息生成的,本身不需要持久化任何数据,这样使得tracker非常容易扩展,直接增加tracker机器即可扩展为tracker cluster来服务,cluster里每个tracker之间是完全对等的,所有的tracker都接受stroage的心跳信息,生成元数据信息来提供读写服务。

    Storage采用了分卷[Volume](或分组[group])的组织方式,存储系统由一个或多个组组成,组与组之间的文件是相互独立的,所有组的文件容量累加就是整个存储系统中的文件容量。一个卷[Volume](组[group])可以由一台或多台存储服务器组成,一个组中的存储服务器中的文件都是相同的,组中的多台存储服务器起到了冗余备份和负载均衡的作用,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。更多原理性的内容可以参考这篇blog,介绍的很详细:分布式文件系统FastDFS设计原理
    接下来就具体看一下FastDFS的整个下载安装过程~

⑦ 基于linux 平台的主要分布式文件系统有哪些

常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
GFS(Google File System)
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。
HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。
Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache
Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche
Hadoop架构是MapRece算法的一种开源应用,是Google开创其帝国的重要基石。
Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
说 ceph 性能最高,C++编写的代码,支持Fuse,并且没有单点故障依赖, 于是下载安装, 由于 ceph 使用 btrfs 文件系统, 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。
可是ceph太不成熟了,它基于的btrfs本身就不成熟,它的官方网站上也明确指出不要把ceph用在生产环境中。
Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数据量存储系统。
目前Lustre已经运用在一些领域,例如HP SFS产品等。

⑧ fastdfs对特大文件支持得如何

回复 2# happy_fish100 我这里的虚拟机镜像不是块设备,也是以普通文件的方式存在于文件系统上。 只不过文件都比较大,几十G到几百G不等,因为fastdfs是不分片的,不知道Fastdfs对特大的文件支持得如何?

⑨ 云存储怎么更好实现容错

云存储系统具有良好的可扩展性、容错性,以及内部实现对用户透明等特性,这一切都离不开分布式文件系统的支撑。现有的云存储分布式文件系统包括GFS、HDFS、Lustre、FastDFS、PVFS、GPFS、PFS、Ceph和TFS等。它们的许多设计理念类似,同时也各有特色。下面对现有的分布式文件系统进行详细介绍。

1 Google File System (GFS)

GFS是一个可扩展的分布式文件系统,其主要用于处理大的分布式数据密集型应用。GFS的一大特色就是其运行于大量普通的廉价硬件上,通过GFS文件系统提供容错功能,并给大量用户提供可处理海量数据的高性能服务。和传统标准相比,GFS文件规模巨大,其主要用来处理大文件。此外,GFS大多通过直接追加新数据来改变文件,而非覆盖现有数据,一旦数据写入完成,文件就仅支持读操作。

2 Lustre文件系统

Lustre文件系统是一种典型的基于对象存储技术 的分布式文件系统, 目前,该文件系统已经广泛用于国外许多高性能计算机构,如美国能源部、Sandia国家实验室、Pacific Northwest国家实验室等。Top500机器中有多台均采用的是Lustre文件系统。

Lustre文件系统的大文件性能良好 ,其通过基于对象的数据存储格式,将同一数据文件分为若干个对象分别存储于不同的对象存储设备。大文件I/O操作被分配到不同的对象存储设备上并行实施,从而实现很大的聚合带宽。此外,由于Lustre融合了传统分布式文件系统的特色和传统共享存储文件系统的设计理念,因此其具有更加有效的数据管理机制、全局数据共享、基于对象存储、存储智能化,以及可快速部署等一系列优点。尽管如此,由于Lustre采用分布式存储结构将元数据和数据文件分开存储,访问数据之前需要先访问元数据服务器,这一过程增加了网络开销,从而使得Lustre的小文件I/O操作性能较差。

3 FastDFS文件系统

FastDFS是一个轻量级分布式文件系统,其体系架构如图3所示,整个文件系统由客户端(Cli—ent)、跟踪器(Tracker)和存储节点(Storage)三部分组成。系统服务端有Tracker和Storage两个角色,Tracker用来负责作业的调度和负载均衡,Storage则用于存储文件,并负责管理文件。为支持大容量的数据存储,Storage采用分卷或分组的数据组织方式;存储系统可由一个或多个卷组成,一个卷可以由一台或多台存储服务器构建。同一个卷下的多台存储服务器中的数据文件都是相同的,卷与卷之间的文件则相互独立,通过这种数据组织方式,可以很好地实现数据冗余备份以及系统负载均衡的目的。

图 FastDFS文件系统体系结构示意图

4 Parallel Virtual File System (PVFS)

由Clemson大学设计并成功开发的PVFS是一种构建在Linux操作系统之上的开源并行虚拟文件系统。PVFS基于传统的C/S架构进行设计,整个文件系统由管理结点、计算结点和I/0结点三大部分组成,管理结点负责处理文件的元数据,计算节点用来执行各种计算任务,I/0结点则主要负责数据文件的存储和读写,并负责给计算结点提供所需的数据。在整个集群系统范围内,PVFS使用一致的全局命名空间,另外,PVFS应用对象存储的概念,将数据文件条块化为多个对象并分别存储到多个存储结点上。由于在网络通信方面,PVFS只支持TCP网络通信协议,这使得其灵活性不足;此外,由于PVFS应用对象存储的概念进行数据文件的存储,其在处理小文件时性能也不太理想。

5 General Parallel File System (GPFS)

GPFS的前身是Tiger Shark多媒体文件系统,其是IBM专为Linux集群系统设计的并行共享文件系统。在系统结构上,GPFS主要借鉴了IBM Linux集群系统中的虚拟共享磁盘技术,计算节点可以通过使用交换网络来同时并行访问系统中多个磁盘中的数据,并依赖这一访问方式来实现较高的I/O带宽。GPFS的主要特点包括:通过循环的方式将大文件存储在不同的磁盘上,同时通过合并操作来处理小文件的读写,使用动态选举的元数据结点来管理元数据;此外,GPFS还具有基于日志的失效节点的自动恢复策略以及集中式的数据锁机制。

6 Parallel File System (PFS)

Sun公司的PFS分布式文件系统可以很好地支持高性能和可扩展的I/O操作,其主要设计思想是将文件分布在多个磁盘和服务器上,并将存放文件的多个设备逻辑上看成一个虚拟磁盘来统一管理。很显然,PFS可以同时跨越多个存储系统,可以将整个PFS中的所有存储设备都看成是这个虚拟磁盘的一部分;当有多个节点同时访问同一文件时,PFS可以并行地为这些节点提供访问服务。PFS分布式文件系统构建于Solaris操作系统之上,主要包括宿主节点、计算节点、I/O从属节点和I/O主机节点。宿主节点是PFS提供给其它系统的人口,只有成功登录到宿主节点的用户才是合法的,才可以访问PFS内部的数据文件。计算节点主要用来管理PFS系统的通信和内存资源。L/O主机节点则主要负责文件系统的目录管理和存储块管理,同时为存储数据文件提供读写服务。I/O从属节点仅用来处理磁盘的读写操作和空白块的分配工作。

7 Ceph云存储文件系统

Ceph是Califomia大学Santa Cruz分校的Sage Weil设计的一种云存储分布式文件系统。Ceph云存储文件系统的主要目标是设计基于POSIX的无节点故障分布式文件系统,并且数据文件具有容错和无缝复制功能。Ceph文件系统具有三大特点,首先,其使用多个元数据服务器来构建系统的命名空间,这显着强化了元数据服务器的并发访问功能;其次,在元数据服务器上,Ceph文件系统采用了动态的子树划分技术,并支持元数据服务器的负载迁移,可以很好地实现元数据的负载均衡;最后,Ceph文件系统提供基于对象存储设备的对象文件系统,并将数据文件作为一个存储对象来对待,这有效地提高了数据文件的读写效率。

8 Taobao File System (TFS)

Taobao file system (TFS)是由淘宝开发的云存储文件系统,其主要面向海量非结构化数据存储问题提供服务。TFS部署在普通的Linux集群上,为淘宝网提供高可靠、高并发的大量小文件数据存储服务。TFS采用扁平化的数据组织结构将文件名映射到文件的物理地址,简化了文件访问流程,一定程度上优化了系统读写性能。

一个TFS集群由两个NameServer节点和多个DataServer节点组成,TFS的服务程序都是作为一个用户级的程序运行在普通Linux机器上。TFS将众多的小文件合并成大文件,并称这个大文件为Block,Block存储在DataServer上,每个Block在TFS系统内均拥有唯一的Id号。NameServer负责维护block与DataServer之间的映射关系。NameServer采用HA结构,即双机互为热备份,来实现容灾功能,两台NameServer同时运行,其中一台为主节点,另外一台作为备用节点。当主NameServer节点出现故障后,迅速将备份NameServer切换为主节点并对外提供服务。

⑩ 各位使用的分布式文件存储,有哪些产品使用体验更好一些

我觉得XSKY星辰天合的XGFS文件存储软件不错,这个软件只需要三个全闪存元数据高可用节点,就可以高效保存和处理 100 亿文件规模的数据。可以灵活扩展,满足公司不断增长的业务对性能和容量的需求。