『壹』 ceph這款雲存儲技術怎麼樣
Ceph是一套高性能，易擴展的，無單點的分布式文件存儲系統，基於Sage A. Weil的論文開發，主要提供以下三個存儲服務：
對象存儲(Object Storage)，既可以通過使用Ceph的庫，利用C, C++, Java, Python, PHP代碼，也可以通過Restful網關以對象的形式訪問或存儲數據，兼容亞馬遜的S3和OpenStack的Swift。
塊存儲(Block Storage)，作為塊設備像硬碟一樣直接掛載。
文件系統(File System) ，如同網路文件系統一樣掛載，兼容POSIX介面。
Ceph的結構，對象存儲由LIBRADOS和RADOSGW提供，塊存儲由RBD提供，文件系統由CEPH FS提供，而RADOSGW, RBD, CEPH FS均需要調用LIBRADOS的介面，而最終都是以對象的形式存儲於RADOS里。
Ceph集群的節點有三種角色：
Monitor，監控集群的健康狀況，向客戶端發送最新的CRUSH map(含有當前網路的拓撲結構)
OSD，維護節點上的對象，響應客戶端請求，與其他OSD節點同步
MDS，提供文件的Metadata，如果不使用CephFS可以不安裝
?
『貳』 ceph搭建塊存儲，可以連接到kvm虛擬機上嗎
OpenStack和CloudStack的對比 1）歷史背景和概況 OpenStack由NASA和Rackspace公司在2010年聯合發布，兩者分別貢獻計算代碼（Nova）和存儲代碼（Swift），以Apache許可協議進行授權。OpenStack的目標是提供一個既可以用來建設公有雲也能建設私有...
『叄』 ceph支持哪些存儲類型
（1）提供塊存儲，可以直接以邏輯卷的方式對外提供塊設備服務。
（2）通過集群的對象存儲網關，對外同時提供swift和S3風格的對象存儲服務。
（3）提供可供掛載的類POSIX文件存儲。
『肆』 Linux裡面ceph是什麼
Linux裡面ceph
Ceph是一個可靠地、自動重均衡、自動恢復的分布式存儲系統，根據場景劃分可以將Ceph分為三大塊，分別是對象存儲、塊設備存儲和文件系統服務。在虛擬化領域里，比較常用到的是Ceph的塊設備存儲，比如在OpenStack項目里，Ceph的塊設備存儲可以對接OpenStack的cinder後端存儲、Glance的鏡像存儲和虛擬機的數據存儲，比較直觀的是Ceph集群可以提供一個raw格式的塊存儲來作為虛擬機實例的硬碟。
Ceph相比其它存儲的優勢點在於它不單單是存儲，同時還充分利用了存儲節點上的計算能力，在存儲每一個數據時，都會通過計算得出該數據存儲的位置，盡量將數據分布均衡，同時由於Ceph的良好設計，採用了CRUSH演算法、HASH環等方法，使得它不存在傳統的單點故障的問題，且隨著規模的擴大性能並不會受到影響。
『伍』 可以把ceph作為對象存儲，用於生產環境嗎
Swift在小文件對象（如圖像）存儲上，性能很好。Ceph目前坑還是比較多，不是很穩定，如果沒有研發能力，只是做對象存儲，不建議在生產環境中用。國內生產環境最大的部署是京東，主要也是為了做塊存儲。
『陸』 如何在CentOS 7.0上配置Ceph存儲
Ceph 是一個將數據存儲在單一分布式計算機集群上的開源軟體平台。當你計劃構建一個雲時，你首先需要決定如何實現你的存儲。開源的 Ceph 是紅帽原生技術之一，它基於稱為 RADOS 的對象存儲系統，用一組網關 API 表示塊、文件、和對象模式中的數據。由於它自身開源的特性，這種便攜存儲平台能在公有雲和私有雲上安裝和使用。Ceph 集群的拓撲結構是按照備份和信息分布設計的，這種內在設計能提供數據完整性。它的設計目標就是容錯、通過正確配置能運行於商業硬體和一些更高級的系統。
Ceph 能在任何 Linux 發行版上安裝，但為了能正確運行，它需要最近的內核以及其它最新的庫。在這篇指南中，我們會使用最小化安裝的 CentOS-7.0。
系統資源
**CEPH-STORAGE**
OS:CentOSLinux7(Core)
RAM:1 GB
CPU:1 CPU
DISK:20
Network:45.79.136.163
FQDN: ceph-storage.linoxide.com
**CEPH-NODE**
OS:CentOSLinux7(Core)
RAM:1 GB
CPU:1 CPU
DISK:20
Network:45.79.171.138
FQDN: ceph-node.linoxide.com
安裝前的配置
在安裝 Ceph 存儲之前，我們要在每個節點上完成一些步驟。第一件事情就是確保每個節點的網路已經配置好並且能相互訪問。
配置 Hosts
要在每個節點上配置 hosts 條目，要像下面這樣打開默認的 hosts 配置文件（LCTT 譯註：或者做相應的 DNS 解析）。
#vi/etc/hosts
45.79.136.163 ceph-storage ceph-storage.linoxide.com
45.79.171.138 ceph-node ceph-node.linoxide.com
安裝 VMware 工具
工作環境是 VMWare 虛擬環境時，推薦你安裝它的 open VM 工具。你可以使用下面的命令安裝。
#yum install -y open-vm-tools
配置防火牆
如果你正在使用啟用了防火牆的限制性環境，確保在你的 Ceph 存儲管理節點和客戶端節點中開放了以下的埠。
你必須在你的 Admin Calamari 節點開放 80、2003、以及4505-4506 埠，並且允許通過 80 號埠訪問到 Ceph 或 Calamari 管理節點，以便你網路中的客戶端能訪問 Calamari web 用戶界面。
你可以使用下面的命令在 CentOS 7 中啟動並啟用防火牆。
#systemctl start firewalld
#systemctl enable firewalld
運行以下命令使 Admin Calamari 節點開放上面提到的埠。
# firewall-cmd --zone=public--add-port=80/tcp --permanent
# firewall-cmd --zone=public--add-port=2003/tcp --permanent
# firewall-cmd --zone=public--add-port=4505-4506/tcp --permanent
# firewall-cmd --reload
在 Ceph Monitor 節點，你要在防火牆中允許通過以下埠。
# firewall-cmd --zone=public--add-port=6789/tcp --permanent
然後允許以下默認埠列表，以便能和客戶端以及監控節點交互，並發送數據到其它 OSD。
# firewall-cmd --zone=public--add-port=6800-7300/tcp --permanent
如果你工作在非生產環境，建議你停用防火牆以及 SELinux 設置，在我們的測試環境中我們會停用防火牆以及 SELinux。
#systemctl stop firewalld
#systemctl disable firewalld
系統升級
現在升級你的系統並重啟使所需更改生效。
#yum update
#shutdown-r 0
設置 Ceph 用戶
現在我們會新建一個單獨的 sudo 用戶用於在每個節點安裝 ceph-deploy工具，並允許該用戶無密碼訪問每個節點，因為它需要在 Ceph 節點上安裝軟體和配置文件而不會有輸入密碼提示。
運行下面的命令在 ceph-storage 主機上新建有獨立 home 目錄的新用戶。
[root@ceph-storage ~]#useradd-d /home/ceph -m ceph
[root@ceph-storage ~]#passwd ceph
節點中新建的每個用戶都要有 sudo 許可權，你可以使用下面展示的命令賦予 sudo 許可權。
[root@ceph-storage ~]#echo"ceph ALL = (root) NOPASSWD:ALL"|sudotee/etc/sudoers.d/ceph
ceph ALL =(root) NOPASSWD:ALL
[root@ceph-storage ~]#sudochmod0440/etc/sudoers.d/ceph
設置 SSH 密鑰
現在我們會在 Ceph 管理節點生成 ssh 密鑰並把密鑰復制到每個 Ceph 集群節點。
在 ceph-node 運行下面的命令復制它的 ssh 密鑰到 ceph-storage。
[root@ceph-node ~]#ssh-keygen
Generatingpublic/private rsa key pair.
Enterfilein which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (emptyforno passphrase):
Enter same passphrase again:
Your identification has been saved in/root/.ssh/id_rsa.
Yourpublic key has been saved in/root/.ssh/id_rsa.pub.
The key fingerprint is:
5b:*:*:*:*:*:*:*:*:*:c9 root@ceph-node
The key's randomart image is:
+--[ RSA 2048]----+
[root@ceph-node ~]#ssh--id ceph@ceph-storage
SSH key
配置 PID 數目
要配置 PID 數目的值，我們會使用下面的命令檢查默認的內核值。默認情況下，是一個小的最大線程數 32768。
如下圖所示通過編輯系統配置文件配置該值為一個更大的數。
更改 PID 值
配置管理節點伺服器
配置並驗證了所有網路後，我們現在使用 ceph 用戶安裝 ceph-deploy。通過打開文件檢查 hosts 條目（LCTT 譯註：你也可以用 DNS 解析來完成）。
#vim/etc/hosts
ceph-storage 45.79.136.163
ceph-node 45.79.171.138
運行下面的命令添加它的庫。
# rpm -Uhv http://ceph.com/rpm-giant/el7/noarch/ceph-release-1-0.el7.noarch.rpm
添加 Ceph 倉倉庫
或者創建一個新文件並更新 Ceph 庫參數，別忘了替換你當前的 Release 和版本號。
[root@ceph-storage ~]#vi/etc/yum.repos.d/ceph.repo
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc
之後更新你的系統並安裝 ceph-deploy 軟體包。
安裝 ceph-deploy 軟體包
我們運行下面的命令以及 ceph-deploy 安裝命令來更新系統以及最新的 ceph 庫和其它軟體包。
#yum update -y &&yum install ceph-deploy -y
配置集群
使用下面的命令在 ceph 管理節點上新建一個目錄並進入新目錄，用於收集所有輸出文件和日誌。
#mkdir~/ceph-cluster
#cd~/ceph-cluster
# ceph-deploy new storage
設置 ceph 集群
如果成功執行了上面的命令，你會看到它新建了配置文件。
現在配置 Ceph 默認的配置文件，用任意編輯器打開它並在會影響你公共網路的 global 參數下面添加以下兩行。
#vim ceph.conf
osd pool defaultsize=1
public network =45.79.0.0/16
安裝 Ceph
現在我們准備在和 Ceph 集群關聯的每個節點上安裝 Ceph。我們使用下面的命令在 ceph-storage 和 ceph-node 上安裝 Ceph。
# ceph-deploy install ceph-node ceph-storage
安裝 ceph
處理所有所需倉庫和安裝所需軟體包會需要一些時間。
當兩個節點上的 ceph 安裝過程都完成後，我們下一步會通過在相同節點上運行以下命令創建監視器並收集密鑰。
# ceph-deploy mon create-initial
Ceph 初始化監視器
設置 OSD 和 OSD 守護進程
現在我們會設置磁碟存儲，首先運行下面的命令列出你所有可用的磁碟。
# ceph-deploy disk list ceph-storage
結果中會列出你存儲節點中使用的磁碟，你會用它們來創建 OSD。讓我們運行以下命令，請使用你的磁碟名稱。
# ceph-deploy disk zap storage:sda
# ceph-deploy disk zap storage:sdb
為了最後完成 OSD 配置，運行下面的命令配置日誌磁碟以及數據磁碟。
# ceph-deploy osd prepare storage:sdb:/dev/sda
# ceph-deploy osd activate storage:/dev/sdb1:/dev/sda1
你需要在所有節點上運行相同的命令，它會清除你磁碟上的所有東西。之後為了集群能運轉起來，我們需要使用以下命令從 ceph 管理節點復制不同的密鑰和配置文件到所有相關節點。
# ceph-deploy admin ceph-node ceph-storage
測試 Ceph
我們快完成了 Ceph 集群設置，讓我們在 ceph 管理節點上運行下面的命令檢查正在運行的 ceph 狀態。
# ceph status
# ceph health
HEALTH_OK
如果你在 ceph status 中沒有看到任何錯誤信息，就意味著你成功地在 CentOS 7 上安裝了 ceph 存儲集群。
『柒』 如何集成Ceph對象存儲
Glance集成Glance是OpenStack中的映像服務。默認情況下，映像存儲在本地控制器，然後在被請求時復制到計算主機。計算主機緩存鏡像，但每次更新鏡像時，都需要再次復制。Ceph為Glance提供了後端，允許鏡像存儲在Ceph中，而不是本地存儲在控制器和計算節點上。這大大減少了抓取鏡像的網路流量，提高了性能，因為Ceph可以克隆鏡像而不是復制鏡像。此外，它使得在OpenStack部署或諸如多站點OpenStack之類的概念的遷移變得更簡單。安裝Glance使用的Ceph客戶端。創建Ceph用戶並將主目錄設置為/etc/ceph。將Ceph用戶添加到sudoers。在Ceph管理節點。為Glance鏡像創建CephRBD池。創建將允許Glance訪問池的密鑰環。將密鑰環復制到OpenStack控制器上的/etc/ceph。設置許可權，讓Glance可以訪問Ceph密鑰環。將密鑰環文件添加到Ceph配置。創建原始Glance配置的備份。更新Glance配置。重新啟動Glance。下載Cirros鏡像並將其添加到Glance。將QCOW2轉換為RAW。建議Ceph始終使用RAW格式。將鏡像添加到Glance。檢查Ceph中是否存在Glance圖像。Cinder集成Cinder是OpenStack中的塊存儲服務。Cinder提供了關於塊存儲的抽象，並允許供應商通過提供驅動程序進行集成。在Ceph中，每個存儲池可以映射到不同的Cinder後端。這允許創建諸如金、銀或銅的存儲服務。你可以決定例如金應該是復制三次的快速SSD磁碟，銀應該是復制兩次，銅應該是使用較慢的擦除編碼的磁碟。為Cinder卷創建一個Ceph池。創建一個密鑰環以授予Cinder訪問許可權。將密鑰環復制到OpenStack控制器。創建一個只包含OpenStack控制器上的身份驗證密鑰的文件。設置密鑰環文件的許可權，以便Cinder可以訪問。將密鑰環添加到OpenStack控制器上的Ceph配置文件中。使KVMHypervisor訪問Ceph。在virsh中創建一個密鑰，因此KVM可以訪問Ceph池的Cinder卷。為Cinder添加一個Ceph後端。在所有控制器上重新啟動Cinder服務。創建Cinder卷。在Ceph中列出Cinder卷。將Ceph與Nova計算集成Nova是OpenStack中的計算服務。Nova存儲與默認的運行虛擬機相關聯的虛擬磁碟鏡像，在/var/lib/nova/instances下的Hypervisor上。在虛擬磁碟映像的計算節點上使用本地存儲有一些缺點：·鏡像存儲在根文件系統下。大鏡像可能導致文件系統被填滿，從而導致計算節點崩潰。·計算節點上的磁碟崩潰可能導致虛擬磁碟丟失，因此無法進行虛擬機恢復。Ceph是可以直接與Nova集成的存儲後端之一。在本節中，我們將看到如何配置。為Nova創建驗證密鑰環。將密鑰環復制到OpenStack控制器。在OpenStack控制器上創建密鑰文件。設置密鑰環文件的許可權，以便Nova服務可以訪問。確保安裝所需的rpm軟體包。更新Ceph配置。讓KVM可以訪問Ceph。在virsh中創建一個密鑰，這樣KVM可以訪問Cinder卷的Ceph池。備份Nova配置。更新Nova配置以使用Ceph後端。重新啟動Nova服務。列表Neutron網路。啟動使用在Glance步驟中添加的Cirros鏡像的臨時VM實例。等待直到VM處於活動狀態。在Ceph虛擬機池中列出鏡像。我們現在應該看到鏡像存儲在Ceph中。
『捌』 proxmox 可以部署ceph嗎
一.前言
proxmox 是一個開源的虛擬化管理平台,支持集群管理和HA.在存儲方面,proxmox除了支持常用的lvm,nfs,iscsi,還支持集群存儲glusterfs和ceph,這是我們選擇它的原因.
proxmox官方提供ISO下載,因此安裝變得非常簡單,安裝後瀏覽器打開http://x.x.x.x:8006/ 就可以看到管理平台了.本文基於目前最新版本3.1測試,動工吧.
二.集群配置
集群由多台虛擬化主機組成,創建集群後就可以統一管理多台機器了.
1.創建一個集群,登陸其中一台機器,為集群起個名字
pvecm create YOUR-CLUSTER-NAME
2.依次登陸其餘的機器,加入到上面的集群(IP地址為上面機器的IP)pvecm add IP-ADDRESS
3.查看集群狀態pvecm status
CID----IPADDRESS----ROLE-STATE--------UPTIME---LOAD----MEM---ROOT---DATA
1 : 192.168.7.104 M A 5 days 01:43 0.54 20% 1% 4%
2 : 192.168.7.103 N A 2 days 05:02 0.04 26% 5% 29%
3 : 192.168.7.105 N A 00:13 1.41 22% 3% 15%
4 : 192.168.7.106 N A 00:05 0.54 17% 3% 3%
4.查看集群內的節點
pvecm nodes
Node Sts Inc Joined Name
1 M 156 2011-09-05 10:39:09 hp1
2 M 156 2011-09-05 10:39:09 hp2
3 M 168 2011-09-05 11:24:12 hp4
4 M 160 2011-09-05 10:40:27 hp3
經過很簡單的配置,集群已經創建完成了,如果要使用故障自動切換功能,接下來還需要配置HA功能.
三.HA配置
配置HA需要滿足下面條件:
1)集群已經創建好
2)添加好集中/共享存儲(nfs,glusterfs,ceph等)
3)fence設備 (IPMI,APC Switch Rack PDU等)
關於fence設備,是用於集群出現網路故障或機器異常時的隔離處理,這樣有效防止HA運行時啟動了多個vm訪問同一個虛擬磁碟,避免破壞數據.
官方有更詳細的說明 http://pve.proxmox.com/wiki/Fencing .
1.IPMI配置
由於對其他的fence設備都不了解,看起來最入門的就是IPMI了,剛好我們的IBM測試機器也有這個功能,就用它了!
先確認ipmitool已經安裝
apt-get update
apt-get install ipmitool
載入需要的模塊
modprobe ipmi_msghandler
modprobe ipmi_devintf
modprobe ipmi_si
modprobe ipmi_poweroff
modprobe ipmi_watchdog
測試ipmitool是否正常工作
ipmitool -I open sensor
ipmitool -l open channel info 1
ipmitool -l open lan print 1
為ipmi添加管理IP和登陸賬號,密碼(這個IPMI功能我們公司一直在用(用於機器重啟,開關機等) 機器交到我手上已經設置好了 )
ipmitool -l open lan set 1 ipsrc static
ipmitool -l open lan set 1 ipaddr 192.168.1.91
ipmitool -l open lan set 1 netmask 255.255.255.0
ipmitool -l open lan set 1 defgw ipaddr 192.168.1.1
ipmitool user set name 1 root
ipmitool user set password 1 123456
ipmitool user set password 2 123456
ipmitool -l open user list 1
ID Name Callin Link Auth IPMI Msg Channel Priv Limit
1 root false false false NO ACCESS
2 ADMIN false false true ADMINISTRATOR
以上設置在集群內每台機器執行
2.fence配置
編輯/etc/default/redhat-cluster-pve,下面語句 去掉注釋
FENCE_JOIN="yes"
把機器加入fence域,命令行執行
fence_tool join
以上操作在集群每台機器上執行
檢查狀態:
fence_tool ls
測試fence設備是否生效
fence_ipmilan -l root -p 123456 -a 192.168.1.91 -o status 1 -v #這個ip是剛才ipmi設置的ip
修改集群配置,注意下面IP是IPMI設置的IP地址
cp /etc/pve/cluster.conf /etc/pve/cluster.conf.new;nano /etc/pve/cluster.conf.new
<?xml version="1.0"?>
<cluster config_version="16" name="pve-wx-cluster">
<cman keyfile="/var/lib/pve-cluster/corosync.authkey"/>
<fencedevices>
<fencedevice agent="fence_ipmilan" ipaddr="192.168.1.91" lanplus="1" login="root" name="ipmi1" passwd="123456" power_wait="5"/>
<fencedevice agent="fence_ipmilan" ipaddr="192.168.1.92" lanplus="1" login="root" name="ipmi2" passwd="123456" power_wait="5"/>
<fencedevice agent="fence_ipmilan" ipaddr="192.168.1.93" lanplus="1" login="root" name="ipmi3" passwd="123456" power_wait="5"/>
</fencedevices>
<clusternodes>
<clusternode name="pve-5711003" nodeid="1" votes="1">
<fence>
<method name="1">
<device name="ipmi1"/>
</method>
</fence>
</clusternode>
<clusternode name="pve-5711008" nodeid="2" votes="1">
<fence>
<method name="1">
<device name="ipmi2"/>
</method>
</fence>
</clusternode>
<clusternode name="pve-5711009" nodeid="3" votes="1">
<fence>
<method name="1">
<device name="ipmi3"/>
</method>
</fence>
</clusternode>
</clusternodes>
<rm>
</rm>
</cluster>
注意,每次修改這個配置文件,裡面 config_version= 都要加1
驗證配置文件
ccs_config_validate -v -f /etc/pve/cluster.conf.new
全部准備就緒,激活新配置文件
3.將vm加入HA
(添加後記得點擊activate)
可以看到已經加入HA的虛擬機了