❶ 如何使用ceph
Ceph是一个 Linux PB 级分布式文件系统。
其命名和UCSC(Ceph 的诞生地)的吉祥物有关，这个吉祥物是 "Sammy"，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。
Ceph 最初是一项关于存储系统的 PhD 研究项目，由 Sage Weil 在 University of California, SantaCruz(UCSC)实施。
简单定义为以下3项:
1. 可轻松扩展到数 PB 容量
2. 支持多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽)
3. 高可靠性
但是，这些目标之间会互相竞争(例如，可扩展性会降低或者抑制性能或者影响可靠性)。Ceph 的设计还包括保护单一点故障的容错功能，它假设大规模(PB 级存储)存储故障是常见现象而不是例外情况。
它的设计并没有假设某种特殊工作负载，但包括了适应变化的工作负载，并提供最佳性能的能力。它利用 POSIX 的兼容性完成所有这些任务，允许它对当前依赖 POSIX 语义(通过以 Ceph 为目标的改进)的应用进行透明的部署。
Ceph 生态系统架构可以划分为四部分:
1. Clients:客户端(数据用户)
2. cmds:Metadata server cluster，元数据服务器(缓存和同步分布式元数据)
3. cosd:Object storage cluster，对象存储集群(将数据和元数据作为对象存储，执行其他关键职能)
4. cmon:Cluster monitors，集群监视器(执行监视功能)
❷ Ceph的介绍
Linux持续不断进军可扩展计算空间，特别是可扩展存储空间。Ceph 最近加入到 Linux 中令人印象深刻的文件系统备选行列，它是一个分布式文件系统，能够在维护 POSIX 兼容性的同时加入了复制和容错功能。
❸ 如何使用root用户运行J版Ceph
在Linux下，默认端口1024下的程序是要在root下才能使用的，在其他用户下，如果尝试使用将会报错。在有的时候，我们可能考虑程序运行在root帐户下，可能会给Linux系统带来安全风险。那如何能够让非root用户运行的程序能够对外启用小于1024的端口呢？本文尝试给出一些方法：
第一种方法：
SetUID
为用户的应用程序在执行位设置user ID能够使程序可以有root权限来运行，这个方法让程序能够像在root下运行有同样的效果，不过需要非常小心，这种方法同样会带来安全风险，特别是当要执行的程序本身存在安全风险。使用的方法是：
chown root.root /path/to/application #使用SetUID chmod u+s /path/to/application
我们可以看到在系统下，/usr/bin/passwd这种文件，就使用了SetUID，使得每个系统的用户都能用passwd来修改密码——这是要修改/etc/passwd的文件（而这个只有root有权限）。
既然要使用非root用户运行程序，目的就是要降低程序本身给系统带来的安全风险，因此，本方法使用的时候需要特别谨慎。
第二种方法：
CAP_NET_BIND_SERVICE
从2.1开始，Linux内核有了能力的概念，这使得普通用户也能够做只有超级用户才能完成的工作，这包括使用端口1。
获取CAP_NET_BIND_SERVICE能力，即使服务程序运行在非root帐户下，也能够banding到低端口。使用的方法：
#设置CAP_NET_BIND_SERVICE setcap cap_net_bind_service =+ep /path/to/application
Note：
这个方法并不是所有Linux系统通适，内核在2.1之前的并没有提供，因此你需要检查要使用此方法所在系统是否支持（Linux must support capacity）；
2. 另外需要注意的是，如果要运行的程序文件是一个脚本，这个方法是没有办法正常工作的（Script won't work）。
第三种方法：
Port Forwarding
如果要运行的程序有权限监听其他端口，那么这个方法是可以使用的，首先让程序运行在非root帐户下，并绑定高于1024的端口，在确保能正常工作的时候，将低端口通过端口转发，将低端口转到高端口，从而实现非root运行的程序绑定低端口。要使用此方法可以使用下面的方式：
# Enable the IP FORWARD kernel parameter. sysctl -w net.ipv4.ip_forward=1 # Use iptables rules to redirect packets iptables -F -t nat iptables -t nat -A PREROUTING -p tcp --dport 80 -j DNAT --to:8088
第一步使用sysctl确保启用IP FORWARD功能（此功能在Red Hat/CentOS默认是被禁用的），注意，代码中使用的sysctl设置是临时性设置，重启之后将会被重置，如果要长久保存，需要在/etc/sysctl.conf文件内修改：
# Default value is 0, need change to 1. # net.ipv4.ip_forward = 0 net.ipv4.ip_forward = 1
然后从文件中加载新的配置
# load new sysctl.conf sysctl -p /etc/sysctl.conf # or sysctl -p # default filename is /etc/sysctl.conf
第二步就是使用iptables的规则来实现端口转发到程序所在的端口，示例中我们要将80端口转发到8088。
此种方法能够比较好的达到我们的目的，我们的程序可以通过非root用户来运行，并能够对外提供低端口号的服务。
第四种方法：
RINETD2
这种方法使用的也是端口转发，此工具可以将本地端口映射到远程端口，但此功能对于我们当前的功能来说，有点鸡肋，毕竟我们新增了一个额外的程序，这将可能会增加我们系统的风险性。在此不做推荐。
❹ 如何配置ceph分布式存储方案
1、对象存储：即radosgw,兼容S3接口。通过rest api上传、下载文件。
2、文件系统：posix接口。可以将ceph集群看做一个共享文件系统挂载到本地。
3、块存储：即rbd。有kernel rbd和librbd两种使用方式。支持快照、克隆。相当于一块硬盘挂到本地，用法和用途和硬盘一样。
❺ 如何查看ceph montior使用的端口
Ceph是一套高性能，易扩展的，无单点的分布式文件存储系统，基于Sage A. Weil的论文开发，主要提供以下三个存储服务： 对象存储(Object Storage)，既可以通过使用Ceph的库，利用C, C++, Java, Python, PHP代码，也可以通过Restful网关以对象的形式访问或存储数据，兼容亚马逊的S3和OpenStack的Swift。 块存储(Block Storage)，作为块设备像硬盘一样直接挂载。 文件系统(File System) ，如同网络文件系统一样挂载，兼容POSIX接口。 Ceph的结构，对象存储由LIBRADOS和RADOSGW提供，块存储由RBD提供，文件系统由CEPH FS提供，而RADOSGW, RBD, CEPH FS均需要调用LIBRADOS的接口，而最终都是以对象的形式存储于RADOS里。 Ceph集群的节点有三种角色： Monitor，监控集群的健康状况，向客户端发送最新的CRUSH map(含有当前网络的拓扑结构) OSD，维护节点上的对象，响应客户端请求，与其他OSD节点同步 MDS，提供文件的Metadata，如果不使用CephFS可以不安装 .
❻ 常用的存储设备接口有哪些
sata、ide、scsi等，甚至部分固态硬盘会采用PCI E的接口
❼ 如何基于 Ceph 构建高性能块存储服务
Ceph是一个分布式存储系统，支持对象文件快接口，设计目标是:
• 所有组件横向扩展
• 没有单点故障
• 可以在普通厂商硬件使用
• 所有机制都能自我管理
• 开源
分布式存储的应用场景相对于其存储接口，现在流行分为三种:
1.对象存储: 也就是通常意义的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，如七牛、又拍，Swift，S3等。
2.块存储: 这种接口通常以QEMUDriver或者KernelMole的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RDB(RDB是Ceph面向块存储的接口)。
3、文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
提到存储的种类就不得不提到另外一个话题：存储不能做统一化吗？因为必须要有多个不同的软件栈去管理不同的存储设备：SSD，SATA等。
Ceph就此提出了不同观点，RADOS提供了基础的存储设备的管理、数据控制流访问的管理，提供的是一个可靠持久的数据存储平台，基于其上，我们可以实现多个不同的接口户来实现面向不同需求的对接，比如对象存储我们有一个单独的库实现去满足不同的存储需要，比如我们块存储是通过RDP来实现。
统一存储并不意味着所有存储都的同一个接口，同一个实现，同一个软件栈，它其实只是使用了同一个设备管理的生命周期和数据访问的有效控制，它提供了一个相对合理，非常适合运维的，利于成本，利于软件可靠性控制的的机制去保证我们的存储的可靠。
举一个例子，大部分存储厂商甚至网络厂商都有一个自己的核心软件栈，如文件系内核。基于其上演化出各种不同的产品线。如果厂商要追求各个产品线的极致是不是就应该每个产品完全独立来追求极致，但事实上一个核心的底层技术栈需要高质量的代码、完备的测试和长期的使用。在Ceph这里，一个分布式系统的并发IO、分布式恢复、数据端到端校验等等关键实现是唯一实现，成熟的系统系统在这些实现上需要经过一定量级和时间的考验，这才是Ceph所谓的统一存储，而不是其他的接口堆叠式开发。
【Ceph和其他开源分布式存储、其他商用存储的区别之处在哪？】
众所周知，很多传统厂商如日立、富士通等存储大厂也采用了Ceph作为它们存储硬件的载体，Ceph能提供企业级的存储服务一定有它的优势，才能让传统的存储厂商弃而采用开源的存储方案。
1、中心化系统我们认为它在数据控制系统方面做的较好，在迁移运维方面提供较好的实现，但却有元数据的瓶颈。在访问数据时需要经过元数据服务器的查询再去寻找相应的数据服务器会在大规模扩展时遇到性能瓶颈问题。
2、全分布式系统虽然提供较好的数据访问能力，能高效处理客户端的LO请求，但是却没有提供一个非常好的数据控制的实现，比如故障处理能力不足，数据恢复的困难，如果跳出中心化的元数据存储系统它没办法做到强一致性的数据恢复。
弹性的数据分布策略和物理拓扑输入实现了高可用性和高持久性，Ceph的高性能重构还体现在利用CRush算法对数进行约束，避免数据分布到所有的集群的一个节点上，利用Ceph设计并提供的一个由CRush算法来支持一个高自由化的存储集群的设计，实现高可靠性，高持久性，高性能。
❽ ceph存储 ceph集群Tier和RBD Cache的区别
Ceph是一套高性能，易扩展的，无单点的分布式文件存储系统，基于Sage A. Weil的论文开发，主要提供以下三个存储服务：
对象存储(Object Storage)，既可以通过使用Ceph的库，利用C, C++, Java, Python, PHP代码，也可以通过Restful网关以对象的形式访问或存储数据，兼容亚马逊的S3和OpenStack的Swift。
块存储(Block Storage)，作为块设备像硬盘一样直接挂载。
文件系统(File System) ，如同网络文件系统一样挂载，兼容POSIX接口。
Ceph的结构，对象存储由LIBRADOS和RADOSGW提供，块存储由RBD提供，文件系统由CEPH FS提供，而RADOSGW, RBD, CEPH FS均需要调用LIBRADOS的接口，而最终都是以对象的形式存储于RADOS里。
Ceph集群的节点有三种角色：
Monitor，监控集群的健康状况，向客户端发送最新的CRUSH map(含有当前网络的拓扑结构)
OSD，维护节点上的对象，响应客户端请求，与其他OSD节点同步
MDS，提供文件的Metadata，如果不使用CephFS可以不安装！
❾ 如何基于Ceph打造一款高可靠的块存储系统
Ceph布式存储系统支持象文件快接口设计目标：
? 所组件横向扩展
? 没单点故障
? 普通厂商硬件使用
? 所机制都能自我管理
? 源
布式存储应用场景相于其存储接口现流行三种：
1.象存储： 通意义键值存储其接口简单GET,PUTDEL其扩展七牛、拍SwiftS3等
2.块存储： 种接口通QEMUDriver或者KernelMole式存种接口需要实现LinuxBlock Device接口或者QEMU提供Block Driver接口SheepdogAWSEBS青云云硬盘阿云盘古系统CephRDB（RDBCeph面向块存储接口）
3、文件存储： 通意义支持POSIX接口跟传统文件系统Ext4类型区别于布式存储提供并行化能力CephCephFS（CephFSCeph面向文件存储接口）候GFSHDFS种非POSIX接口类文件存储接口归入类
提存储种类提另外题：存储能做统化必须要同软件栈管理同存储设备：SSDSATA等
Ceph提同观点RADOS提供基础存储设备管理、数据控制流访问管理提供靠持久数据存储平台基于其我实现同接口户实现面向同需求接比象存储我单独库实现满足同存储需要比我块存储通RDP实现
统存储并意味着所存储都同接口同实现同软件栈其实使用同设备管理命周期数据访问效控制提供相合理非适合运维利于本利于软件靠性控制机制保证我存储靠
举例部存储厂商甚至网络厂商都自核软件栈文件系内核基于其演化各种同产品线厂商要追求各产品线极致应该每产品完全独立追求极致事实核底层技术栈需要高质量代码、完备测试期使用Ceph布式系统并发IO、布式恢复、数据端端校验等等关键实现唯实现熟系统系统些实现需要经定量级间考验才Ceph所谓统存储其接口堆叠式发
【Ceph其源布式存储、其商用存储区别处哪】
众所周知传统厂商立、富士通等存储厂采用Ceph作存储硬件载体Ceph能提供企业级存储服务定优势才能让传统存储厂商弃采用源存储案
1、化系统我认数据控制系统面做较迁移运维面提供较实现却元数据瓶颈访问数据需要经元数据服务器查询再寻找相应数据服务器规模扩展遇性能瓶颈问题
2、全布式系统虽提供较数据访问能力能高效处理客户端LO请求却没提供非数据控制实现比故障处理能力足数据恢复困难跳化元数据存储系统没办做强致性数据恢复
弹性数据布策略物理拓扑输入实现高用性高持久性Ceph高性能重构体现利用CRush算数进行约束避免数据布所集群节点利用Ceph设计并提供由CRush算支持高自由化存储集群设计实现高靠性高持久性高性能
❿ 如何在CentOS 7.0上配置Ceph存储
Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台。当你计划构建一个云时，你首先需要决定如何实现你的存储。开源的 Ceph 是红帽原生技术之一，它基于称为 RADOS 的对象存储系统，用一组网关 API 表示块、文件、和对象模式中的数据。由于它自身开源的特性，这种便携存储平台能在公有云和私有云上安装和使用。Ceph 集群的拓扑结构是按照备份和信息分布设计的，这种内在设计能提供数据完整性。它的设计目标就是容错、通过正确配置能运行于商业硬件和一些更高级的系统。
Ceph 能在任何 Linux 发行版上安装，但为了能正确运行，它需要最近的内核以及其它最新的库。在这篇指南中，我们会使用最小化安装的 CentOS-7.0。
系统资源
**CEPH-STORAGE**
OS:CentOSLinux7(Core)
RAM:1 GB
CPU:1 CPU
DISK:20
Network:45.79.136.163
FQDN: ceph-storage.linoxide.com
**CEPH-NODE**
OS:CentOSLinux7(Core)
RAM:1 GB
CPU:1 CPU
DISK:20
Network:45.79.171.138
FQDN: ceph-node.linoxide.com
安装前的配置
在安装 Ceph 存储之前，我们要在每个节点上完成一些步骤。第一件事情就是确保每个节点的网络已经配置好并且能相互访问。
配置 Hosts
要在每个节点上配置 hosts 条目，要像下面这样打开默认的 hosts 配置文件（LCTT 译注：或者做相应的 DNS 解析）。
#vi/etc/hosts
45.79.136.163 ceph-storage ceph-storage.linoxide.com
45.79.171.138 ceph-node ceph-node.linoxide.com
安装 VMware 工具
工作环境是 VMWare 虚拟环境时，推荐你安装它的 open VM 工具。你可以使用下面的命令安装。
#yum install -y open-vm-tools
配置防火墙
如果你正在使用启用了防火墙的限制性环境，确保在你的 Ceph 存储管理节点和客户端节点中开放了以下的端口。
你必须在你的 Admin Calamari 节点开放 80、2003、以及4505-4506 端口，并且允许通过 80 号端口访问到 Ceph 或 Calamari 管理节点，以便你网络中的客户端能访问 Calamari web 用户界面。
你可以使用下面的命令在 CentOS 7 中启动并启用防火墙。
#systemctl start firewalld
#systemctl enable firewalld
运行以下命令使 Admin Calamari 节点开放上面提到的端口。
# firewall-cmd --zone=public--add-port=80/tcp --permanent
# firewall-cmd --zone=public--add-port=2003/tcp --permanent
# firewall-cmd --zone=public--add-port=4505-4506/tcp --permanent
# firewall-cmd --reload
在 Ceph Monitor 节点，你要在防火墙中允许通过以下端口。
# firewall-cmd --zone=public--add-port=6789/tcp --permanent
然后允许以下默认端口列表，以便能和客户端以及监控节点交互，并发送数据到其它 OSD。
# firewall-cmd --zone=public--add-port=6800-7300/tcp --permanent
如果你工作在非生产环境，建议你停用防火墙以及 SELinux 设置，在我们的测试环境中我们会停用防火墙以及 SELinux。
#systemctl stop firewalld
#systemctl disable firewalld
系统升级
现在升级你的系统并重启使所需更改生效。
#yum update
#shutdown-r 0
设置 Ceph 用户
现在我们会新建一个单独的 sudo 用户用于在每个节点安装 ceph-deploy工具，并允许该用户无密码访问每个节点，因为它需要在 Ceph 节点上安装软件和配置文件而不会有输入密码提示。
运行下面的命令在 ceph-storage 主机上新建有独立 home 目录的新用户。
[root@ceph-storage ~]#useradd-d /home/ceph -m ceph
[root@ceph-storage ~]#passwd ceph
节点中新建的每个用户都要有 sudo 权限，你可以使用下面展示的命令赋予 sudo 权限。
[root@ceph-storage ~]#echo"ceph ALL = (root) NOPASSWD:ALL"|sudotee/etc/sudoers.d/ceph
ceph ALL =(root) NOPASSWD:ALL
[root@ceph-storage ~]#sudochmod0440/etc/sudoers.d/ceph
设置 SSH 密钥
现在我们会在 Ceph 管理节点生成 ssh 密钥并把密钥复制到每个 Ceph 集群节点。
在 ceph-node 运行下面的命令复制它的 ssh 密钥到 ceph-storage。
[root@ceph-node ~]#ssh-keygen
Generatingpublic/private rsa key pair.
Enterfilein which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (emptyforno passphrase):
Enter same passphrase again:
Your identification has been saved in/root/.ssh/id_rsa.
Yourpublic key has been saved in/root/.ssh/id_rsa.pub.
The key fingerprint is:
5b:*:*:*:*:*:*:*:*:*:c9 root@ceph-node
The key's randomart image is:
+--[ RSA 2048]----+
[root@ceph-node ~]#ssh--id ceph@ceph-storage
SSH key
配置 PID 数目
要配置 PID 数目的值，我们会使用下面的命令检查默认的内核值。默认情况下，是一个小的最大线程数 32768。
如下图所示通过编辑系统配置文件配置该值为一个更大的数。
更改 PID 值
配置管理节点服务器
配置并验证了所有网络后，我们现在使用 ceph 用户安装 ceph-deploy。通过打开文件检查 hosts 条目（LCTT 译注：你也可以用 DNS 解析来完成）。
#vim/etc/hosts
ceph-storage 45.79.136.163
ceph-node 45.79.171.138
运行下面的命令添加它的库。
# rpm -Uhv http://ceph.com/rpm-giant/el7/noarch/ceph-release-1-0.el7.noarch.rpm
添加 Ceph 仓仓库
或者创建一个新文件并更新 Ceph 库参数，别忘了替换你当前的 Release 和版本号。
[root@ceph-storage ~]#vi/etc/yum.repos.d/ceph.repo
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc
之后更新你的系统并安装 ceph-deploy 软件包。
安装 ceph-deploy 软件包
我们运行下面的命令以及 ceph-deploy 安装命令来更新系统以及最新的 ceph 库和其它软件包。
#yum update -y &&yum install ceph-deploy -y
配置集群
使用下面的命令在 ceph 管理节点上新建一个目录并进入新目录，用于收集所有输出文件和日志。
#mkdir~/ceph-cluster
#cd~/ceph-cluster
# ceph-deploy new storage
设置 ceph 集群
如果成功执行了上面的命令，你会看到它新建了配置文件。
现在配置 Ceph 默认的配置文件，用任意编辑器打开它并在会影响你公共网络的 global 参数下面添加以下两行。
#vim ceph.conf
osd pool defaultsize=1
public network =45.79.0.0/16
安装 Ceph
现在我们准备在和 Ceph 集群关联的每个节点上安装 Ceph。我们使用下面的命令在 ceph-storage 和 ceph-node 上安装 Ceph。
# ceph-deploy install ceph-node ceph-storage
安装 ceph
处理所有所需仓库和安装所需软件包会需要一些时间。
当两个节点上的 ceph 安装过程都完成后，我们下一步会通过在相同节点上运行以下命令创建监视器并收集密钥。
# ceph-deploy mon create-initial
Ceph 初始化监视器
设置 OSD 和 OSD 守护进程
现在我们会设置磁盘存储，首先运行下面的命令列出你所有可用的磁盘。
# ceph-deploy disk list ceph-storage
结果中会列出你存储节点中使用的磁盘，你会用它们来创建 OSD。让我们运行以下命令，请使用你的磁盘名称。
# ceph-deploy disk zap storage:sda
# ceph-deploy disk zap storage:sdb
为了最后完成 OSD 配置，运行下面的命令配置日志磁盘以及数据磁盘。
# ceph-deploy osd prepare storage:sdb:/dev/sda
# ceph-deploy osd activate storage:/dev/sdb1:/dev/sda1
你需要在所有节点上运行相同的命令，它会清除你磁盘上的所有东西。之后为了集群能运转起来，我们需要使用以下命令从 ceph 管理节点复制不同的密钥和配置文件到所有相关节点。
# ceph-deploy admin ceph-node ceph-storage
测试 Ceph
我们快完成了 Ceph 集群设置，让我们在 ceph 管理节点上运行下面的命令检查正在运行的 ceph 状态。
# ceph status
# ceph health
HEALTH_OK
如果你在 ceph status 中没有看到任何错误信息，就意味着你成功地在 CentOS 7 上安装了 ceph 存储集群。