當前位置:首頁 » 服務存儲 » 存儲集群主節點作用
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

存儲集群主節點作用

發布時間: 2022-08-22 05:11:40

Ⅰ GBase 8a集群由哪些組件組成,其作用是什麼

GBase 8a MPP Cluster採用MPP + Shared Nothing 的分布式聯邦架構,節點間通過 TCP/IP 網路進行通信,每個節點採用本地磁碟來存儲數據。實現非對稱部署,分布式管理集群和分布式調度集群部署在一個集群;分布式計算集群部署在另外一個集群。系統中的每一個節點都是相對獨立的、自給的,整個系統中不存在單點瓶頸,具有非常強的擴展性。

由於沒有資源共享,增加節點就可以線性地擴展數據容量和計算能力,可以從幾個節點擴展到上百節點,滿足業務規模增長的要求。

GBase 8a MPP Cluster產品總共包含三大核心組件,分布式管理集群GCWare、分布式調度集群GCluster和分布式存儲集群GNode。它們的功能分別為:

GCluster:

GCluster負責SQL的解析、SQL優化、分布式執行計劃生成、執行調度。

GCWare:

GCWare用於各節點GCluster實例間共享信息(包括集群結構,節點狀態,節點資源狀態等信息),以及控制多副本數據操作時,提供可操作節點,控制各節點數據一致性狀態。

通常Gclusterd與GCWare組件部署在相同的物理節點上,統稱Coordinator 集群:作為整個資料庫的管理者與統一入口。

GNode:

GNode是GBase 8a MPP Cluster中最基本的存儲和計算單元。GNode是由GCWare管理的一個8a實例,每個數據節點上有一個GNode實例運行。GNode負責集群數據在節點上的實際存儲,並從GCluster接收和執行經分解的SQL執行計劃,執行結果返回給GCluster。數據載入時,GNode直接從集群載入服務接收數據,寫入本地存儲空間。採用虛擬集群部署策略時,可以將不同節點按不同業務特點進行物理隔離,形成不同的VC。

VC(Virtual Cluster):實現單個業務的獨立管理,包括database、表等資料庫對象。

Free Nodes (閑置節點):不屬於任何VC的gnode節點,通常是備機或待擴容或節點替換的節點。

除了以上核心組件外,還有GCMonit組件,用於定期監測GBase 8a MPP Cluster服務程序的運行狀態, 一旦發現某個服務程序的進程狀態發生變化,就會根據配置文件中的內容來執行相應的服務啟停腳本命令,從而保證服務程序健康運行。

Ⅱ 求集群管理的相關知識!

集群技術案例介紹和具體操作

集群技術案例介紹和具體操作
中國科學院西安網路中心 中科紅旗linux培訓認證中心
集群技術
1.1 什麼是集群
簡單的說,集群(cluster)就是一組計算機,它們作為一個整體向用戶提
供一組網路資源。這些單個的計算機系統就是集群的節點(node)。一個理想的
集群是,用戶從來不會意識到集群系統底層的節點,在他/她們看來,集群是一
個系統,而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群
系統的節點。
1.2 為什麼需要集群
集群並不是一個全新的概念,其實早在七十年代計算機廠商和研究機構就
開始了對集群系統的研究和開發。由於主要用於科學工程計算,所以這些系統並
不為大家所熟知。直到Linux集群的出現,集群的概念才得以廣為傳播。
對集群的研究起源於集群系統良好的性能可擴展性(scalability)。提高CPU
主頻和匯流排帶寬是最初提供計算機性能的主要手段。但是這一手段對系統性能的
提供是有限的。接著人們通過增加CPU個數和內存容量來提高性能,於是出現了
向量機,對稱多處理機(SMP)等。但是當CPU的個數超過某一閾值,象SMP這些
多處理機系統的可擴展性就變的極差。主要瓶頸在於CPU訪問內存的帶寬並不能
隨著CPU個數的增加而有效增長。與SMP相反,集群系統的性能隨著CPU個數的
增加幾乎是線性變化的。圖1顯示了這中情況。
圖1. 幾種計算機系統的可擴展性
對於關鍵業務,停機通常是災難性的。因為停機帶來的損失也是巨大的。下
面的統計數字列舉了不同類型企業應用系統停機所帶來的損失。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
應用系統每分鍾損失(美元)
呼叫中心(Call Center) 27000
企業資源計劃(ERP)系統13000
供應鏈管理(SCM)系統11000
電子商務(eCommerce)系統10000
客戶服務(Customer Service Center)系統27000
圖2:停機給企業帶來的損失
隨著企業越來越依賴於信息技術,由於系統停機而帶來的損失也越拉越大。
集群系統的優點並不僅在於此。下面列舉了集群系統的主要優點:
高可擴展性:如上所述。
高可用性:集群中的一個節點失效,它的任務可傳遞給其他節點。可以有效防止單點失效。
高性能:負載平衡集群允許系統同時接入更多的用戶。
高性價比:可以採用廉價的符合工業標準的硬體構造高性能的系統。
2.1 集群系統的分類
雖然,根據集群系統的不同特徵可以有多種分類方法,但是一般把集群系統分為兩類:
(1)、高可用(High Availability)集群,簡稱HA集群。
這類集群致力於提供高度可靠的服務。就是利用集群系統的容錯性對外提供7*24小時不間
斷的服務,如高可用的文件伺服器、資料庫服務等關鍵應用。
目前已經有在Linux下的高可用集群,如Linux HA項目。
負載均衡集群:使任務可以在集群中盡可能平均地分攤不同的計算機進行處理,充分利
用集群的處理能力,提高對任務的處理效率。
在實際應用中這幾種集群類型可能會混合使用,以提供更加高效穩定的服務。如在一個使
用的網路流量負載均衡集群中,就會包含高可用的網路文件系統、高可用的網路服務。
(2)、性能計算(High Perfermance Computing)集群,簡稱HPC集群,也稱為科學計算
集群。
在這種集群上運行的是專門開發的並行應用程序,它可以把一個問題的數據分布到多
台的計算機上,利用這些計算機的共同資源來完成計算任務,從而可以解決單機不能勝任
的工作(如問題規模太大,單機計算速度太慢)。
這類集群致力於提供單個計算機所不能提供的強大的計算能力。如天氣預報、石油勘探與油
藏模擬、分子模擬、生物計算等。這些應用通常在並行通訊環境MPI、PVM等中開發,由於MPI
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
是目前的標准,故現在多使用MPI為並行環境。
比較有名的集群Beowulf就是一種科學計算集群項目。
3、集群系統轉發方式和調度演算法
3.1轉發方式
目前LVS主要有三種請求轉發方式和八種調度演算法。根據請求轉發方式的不同,所構
架集群的網路拓撲、安裝方式、性能表現也各不相同。用LVS主要可以架構三種形式的集群,
分別是LVS/NAT、LVS/TUN和LVS/DR,可以根據需要選擇其中一種。
(1)、網路地址轉換(LVS/NAT)
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(2)、直接路由
(3)、IP隧道
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
三種轉發方式的比較:
3.2、調度演算法
在選定轉發方式的情況下,採用哪種調度演算法將決定整個負載均衡的性能表現,不同
的演算法適用於不同的應用場合,有時可能需要針對特殊場合,自行設計調度演算法。LVS的算
法是逐漸豐富起來的,最初LVS只提供4種調度演算法,後來發展到以下八種:
1.輪叫調度(Round Robin)
調度器通過「輪叫」調度演算法將外部請求按順序輪流分配到集群中的真實伺服器上,它均
等地對待每一台伺服器,而不管伺服器上實際的連接數和系統負載。
2.加權輪叫(Weighted Round Robin)
調度器通過「加權輪叫」調度演算法根據真實伺服器的不同處理能力來調度訪問請求。這樣
可以保證處理能力強的伺服器能處理更多的訪問流量。調度器可以自動詢問真實伺服器的
負載情況,並動態地調整其權值。
3.最少鏈接(Least Connections)
調度器通過「最少連接」調度演算法動態地將網路請求調度到已建立的鏈接數最少的伺服器
上。如果集群系統的真實伺服器具有相近的系統性能,採用「最小連接」調度演算法可以較
好地均衡負載。
4.加權最少鏈接(Weighted Least Connections)
在集群系統中的伺服器性能差異較大的情況下,調度器採用「加權最少鏈接」調度演算法優
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
化負載均衡性能,具有較高權值的伺服器將承受較大比例的活動連接負載。調度器可以自
動詢問真實伺服器的負載情況,並動態地調整其權值。
5.基於局部性的最少鏈接(Locality-Based Least Connections)
「基於局部性的最少鏈接」調度演算法是針對目標IP地址的負載均衡,目前主要用於Cache
集群系統。該演算法根據請求的目標IP地址找出該目標IP地址最近使用的伺服器,若該服務
器是可用的且沒有超載,將請求發送到該伺服器;若伺服器不存在,或者該伺服器超載且
有伺服器處於一半的工作負載,則用「最少鏈接」的原則選出一個可用的伺服器,將請求
發送到該伺服器。
6. 帶復制的基於局部性最少鏈接( Locality-Based Least Connections with
Replication)
「帶復制的基於局部性最少鏈接」調度演算法也是針對目標IP地址的負載均衡,目前主要
用於Cache集群系統。它與LBLC演算法的不同之處是它要維護從一個目標IP地址到一組服務
器的映射,而LBLC演算法維護從一個目標IP地址到一台伺服器的映射。該演算法根據請求的目
標IP地址找出該目標IP地址對應的伺服器組,按「最小連接」原則從伺服器組中選出一
台伺服器,若伺服器沒有超載,將請求發送到該伺服器;若伺服器超載,則按「最小連接
」原則從這個集群中選出一台伺服器,將該伺服器加入到伺服器組中,將請求發送到該服
務器。同時,當該伺服器組有一段時間沒有被修改,將最忙的伺服器從伺服器組中刪除,
以降低復制的程度。
7.目標地址散列(Destination Hashing)
「目標地址散列」調度演算法根據請求的目標IP地址,作為散列鍵(Hash Key)從靜態分
配的散列表找出對應的伺服器,若該伺服器是可用的且未超載,將請求發送到該伺服器,
否則返回空。
8.源地址散列(Source Hashing)
「源地址散列」調度演算法根據請求的源IP地址,作為散列鍵(Hash Key)從靜態分配的
散列表找出對應的伺服器,若該伺服器是可用的且未超載,將請求發送到該伺服器,否則
返回空。
了解這些演算法原理能夠在特定的應用場合選擇最適合的調度演算法,從而盡可能地保持
Real Server的最佳利用性。當然也可以自行開發演算法,不過這已超出本文范圍,請參考有
關演算法原理的資料。
4.1、什麼是高可用性
計算機系統的可用性(availability)是通過系統的可靠性(reliability)和可維護性
(maintainability)來度量的。工程上通常用平均無故障時間(MTTF)來度量系統的可靠性,
用平均維修時間(MTTR)來度量系統的可維護性。於是可用性被定義為:
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
MTTF/(MTTF+MTTR)*100%
業界根據可用性把計算機系統分為如下幾類:
可用比例
(Percent
Availability)
年停機時間
(downtime/year
)
可用性分類
99.5 3.7天
常規系統
(Conventional)
99.9 8.8小時可用系統(Available)
99.99 52.6分鍾
高可用系統(Highly
Available)
99.999 5.3分鍾Fault Resilient
99.9999 32秒Fault Tolerant
為了實現集群系統的高可用性,提高系統的高可性,需要在集群中建立冗餘機制。一個功
能全面的集群機構如下圖所示
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
負載均衡伺服器的高可用性
為了屏蔽負載均衡伺服器的失效,需要建立一個備份機。主伺服器和備份機上都運行
High Availability監控程序,通過傳送諸如「I am alive」這樣的信息來監控對方的運
行狀況。當備份機不能在一定的時間內收到這樣的信息時,它就接管主伺服器的服務IP並
繼續提供服務;當備份管理器又從主管理器收到「I am alive」這樣的信息是,它就釋放
服務IP地址,這樣的主管理器就開開始再次進行集群管理的工作了。為在住伺服器失效的
情況下系統能正常工作,我們在主、備份機之間實現負載集群系統配置信息的同步與備份,
保持二者系統的基本一致。
HA的容錯備援運作過程
自動偵測(Auto-Detect)階段 由主機上的軟體通過冗餘偵測線,經由復雜的監聽程序。邏
輯判斷,來相互偵測對方運行的情況,所檢查的項目有:
主機硬體(CPU和周邊)
主機網路
主機操作系統
資料庫引擎及其它應用程序
主機與磁碟陣列連線
為確保偵測的正確性,而防止錯誤的判斷,可設定安全偵測時間,包括偵測時間間隔,
偵測次數以調整安全系數,並且由主機的冗餘通信連線,將所匯集的訊息記錄下來,以供
維護參考。
自動切換(Auto-Switch)階段 某一主機如果確認對方故障,則正常主機除繼續進行原來的
任務,還將依據各種容錯備援模式接管預先設定的備援作業程序,並進行後續的程序及服
務。
自動恢復(Auto-Recovery)階段 在正常主機代替故障主機工作後,故障主機可離線進行修
復工作。在故障主機修復後,透過冗餘通訊線與原正常主機連線,自動切換回修復完成的
主機上。整個回復過程完成由EDI-HA自動完成,亦可依據預先配置,選擇回復動作為半自
動或不回復。
4.2、HA三種工作方式:
(1)、主從方式 (非對稱方式)
工作原理:主機工作,備機處於監控准備狀況;當主機宕機時,備機接管主機的一切工作,
待主機恢復正常後,按使用者的設定以自動或手動方式將服務切換到主機上運行,數據的
一致性通過共享存儲系統解決。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(2)、雙機雙工方式(互備互援)
工作原理:兩台主機同時運行各自的服務工作且相互監測情況,當任一台主機宕機時,另
一台主機立即接管它的一切工作,保證工作實時,應用服務系統的關鍵數據存放在共享存
儲系統中。
(3)、集群工作方式(多伺服器互備方式)
工作原理:多台主機一起工作,各自運行一個或幾個服務,各為服務定義一個或多個備用
主機,當某個主機故障時,運行在其上的服務就可以被其它主機接管。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
相關文檔
http://tech.sina.com.cn/it/2004-04-09/1505346805.shtml
http://stonesoup.esd.ornl.gov
LINUX下的集群實列應用
最近有客戶需要一個負載均衡方案,筆者對各種軟硬體的負載均衡方案進行了調查和
比較,從IBM sServer Cluster、Sun Cluster PlatForm 等硬體集群,到中軟、紅旗、
TurboLinux的軟體集群,發現無論採用哪個廠商的負載均衡產品其價格都是該客戶目前所
不能接受的。於是筆者想到了開放源項目Linux Virtual Server(簡稱LVS)。經過對LVS的研
究和實驗,終於在Red Hat 9.0上用LVS成功地構架了一組負載均衡的集群系統。整個實
現過程整理收錄如下,供讀者參考。
選用的LVS實際上是一種Linux操作系統上基於IP層的負載均衡調度技術,它在操
作系統核心層上,將來自IP層的TCP/UDP請求均衡地轉移到不同的伺服器,從而將一組
伺服器構成一個高性能、高可用的虛擬伺服器。使用三台機器就可以用LVS實現最簡單的集
群,如圖1所示。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
圖1 LVS實現集群系統結構簡圖
圖1顯示一台名為Director的機器在集群前端做負載分配工作;後端兩台機器稱之為
Real Server,專門負責處理Director分配來的外界請求。該集群的核心是前端的Director
機器,LVS就是安裝在這台機器上,它必須安裝Linux。Real Server則要根據其選用的負
載分配方式而定,通常Real Server上的設置比較少。接下來介紹Director機器上LVS的
安裝過程。
安裝
LVS的安裝主要是在Director機器上進行,Real Server只需針對不同的轉發方式做簡單
的設定即可。特別是對LVS的NAT方式,Real Server惟一要做的就是設一下預設的網關。
所以構架集群的第一步從安裝Director機器開始。
首先,要在Director機器上安裝一個Linux操作系統。雖然早期的一些Red Hat版本,
如6.2、7.2、8.0等自帶Red Hat自己的集群軟體,或者是在內核中已經支持LVS,但是為
了更清楚地了解LVS的機制,筆者還是選擇自行將LVS編入Linux內核的方式進行安裝,
Linux版本採用Red Hat 9.0。
如果用戶對Red Hat的安裝比較了解,可以選擇定製安裝,並只安裝必要的軟體包。
安裝中請選擇GRUB 做為啟動引導管理軟體。因為GRUB 在系統引導方面的功能遠比
LILO強大,在編譯Linux內核時可以體會它的方便之處。
LVS是在Linux內核中實現的,所以要對原有的Linux內核打上支持LVS的內核補丁,
然後重新編譯內核。支持LVS 的內核補丁可以從LVS 的官方網
http://www.linuxvirtualserver.org 下載,下載時請注意使用的Linux核心版本,必須下載和
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
使用的Linux內核版本相一致的LVS內核補丁才行。對於Red Hat 9.0,其Linux內核版本
是2.4.20,所以對應內核補丁應該是http://www.linuxvirtualserver.org/software/kernel-
2.4/linux-2.4.20-ipvs-1.0.9.patch.gz。筆者經過多次實驗,使用Red Hat 9.0自帶的Linux
源代碼無法成功編譯LVS 的相關模組。由於時間關系筆者沒有仔細研究,而是另外從
kernel.org上下載了一個tar包格式的2.4.20內核來進行安裝,順利完成所有編譯。下面是
整個內核的編譯過程:
1.刪除Red Hat自帶的Linux源代碼
# cd /usr/src
# rm -rf linux*
2.下載2.4.20內核
# cd /usr/src
# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.bz2
3.解壓到當前目錄/usr/src
# cd /usr/src
# tar -xjpvf linux-2.4.20.tar.bz2
4.建立鏈接文件
# cd /usr/src # ln -s linux-2.4.20 linux-2.4 # ln -s linux-2.4.20 linux
5.打上LVS的內核補丁
# cd /usr/src
#wget http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-
1.0.9.patch.gz
# gzip -cd linux-2.4.20-ipvs-1.0.9.patch.gz
# cd /usr/src/linux
# patch -p1 < ../linux-2.4.20-ipvs-1.0.9.patch
在打補丁時,注意命令執行後的信息,不能有任何錯誤信息,否則核心或模組很可能
無法成功編譯。
6.打上修正ARP問題的內核補丁
# cd /usr/src
# wget http://www.ssi.bg/~ja/hidden-2.4.20pre10-1.diff
# cd /usr/src/linux
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
# patch -p1 < ../hidden-2.4.20pre10-1.diff
這一步在Director機器上可以不做,但是在使用LVS/TUN和LVS/DR方式的Real Server
上必須做。
7.為新核心命名
打開/usr/src/linux/Makefile。注意,在開始部分有一個變數EXTRAVERSION可以自行定
義。修改這個變數,比如改成「EXTRAVERSION=-LVS」後,編譯出的核心版本號就會顯
示成2.4.20-LVS。這樣給出有含義的名稱將有助於管理多個Linux核心。
8.檢查源代碼
# make mrproper
這一步是為確保源代碼目錄下沒有不正確的.o文件及文件的互相依賴。因為是新下載的內
核,所以在第一次編譯時,這一步實際可以省略。
9.配置核心選項
# make menuconfig
命令執行後會進入一個圖形化的配置界面,可以通過這個友好的圖形界面對內核進行定製。
此過程中,要注意對硬體驅動的選擇。Linux支持豐富的硬體,但對於伺服器而言,用不到
的硬體驅動都可以刪除。另外,像Multimedia devices、Sound、Bluetooth support、Amateur
Radio support等項也可以刪除。
注意,以下幾項配置對LVS非常重要,請確保作出正確的選擇:
(1)Code maturity level options項
對此項只有以下一個子選項,請選中為*,即編譯到內核中去。
Prompt for development and/or incomplete code/drivers
(2)Networking options項
對此項的選擇可以參考以下的配置,如果不清楚含義可以查看幫助:
<*> Packet socket
[ ] Packet socket: mmapped IO
< > Netlink device emulation
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
Network packet filtering (replaces ipchains)
[ ] Network packet filtering debugging
Socket Filtering
<*> Unix domain sockets
TCP/IP networking
IP: multicasting
IP: advanced router
IP: policy routing
[ ] IP: use netfilter MARK value as routing key
[ ] IP: fast network address translation
<M> IP: tunneling
IP: broadcast GRE over IP
[ ] IP: multicast routing
[ ] IP: ARP daemon support (EXPERIMENTAL)
[ ] IP: TCP Explicit Congestion Notification support
[ ] IP: TCP syncookie support (disabled per default)
IP: Netfilter Configuration --->
IP: Virtual Server Configuration --->
(3)Networking options項中的IP: Virtual Server Configuration項
如果打好了LVS的內核補丁,就會出現此選項。進入Virtual Server Configuration選項,
有以下子選項:
<M> virtual server support (EXPERIMENTAL)
IP virtual server debugging
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheler
<M> round-robin scheling
<M> weighted round-robin scheling
<M> least-connection scheling scheling
<M> weighted least-connection scheling
<M> locality-based least-connection scheling
<M> locality-based least-connection with replication scheling
<M> destination hashing scheling
<M> source hashing scheling
<M> shortest expected delay scheling
<M> never queue scheling
--- IPVS application helper
<M> FTP protocol helper
以上所有項建議全部選擇。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(4)Networking options項中的IP: Netfilter Configuration項
對於2.4版本以上的Linux Kernel來說,iptables是取代早期ipfwadm和ipchains的
更好選擇,所以除非有特殊情況需要用到對ipchains和ipfwadm的支持,否則就不要選它。
本文在LVS/NAT方式中,使用的就是iptables,故這里不選擇對ipchains和ipfwadm的
支持:
< > ipchains (2.2-style) support
< > ipfwadm (2.0-style) support
10. 編譯內核
(1)檢查依賴關系
# make dep
確保關鍵文件在正確的路徑上。
(2)清除中間文件
# make clean
確保所有文件都處於最新的版本狀態下。
(3)編譯新核心
# make bzImage
(4)編譯模組
# make moles
編譯選擇的模組。
(5)安裝模組
# make moles_install
# depmod -a
生成模組間的依賴關系,以便modprobe定位。
(6)使用新模組
# cp System.map /boot/System.map-2.4.20-LVS
# rm /boot/System.map
# ln -s /boot/System.map-2.4.20-LVS /boot/System.map
# cp arch/i386/boot/bzImage /boot/vmlinuz-2.4.20-LVS
# rm /boot/vmlinuz
# ln -s /boot/vmlinuz-2.4.20-LVS /boot/vmlinuz
# new-kernel-pkg --install --mkinitrd --depmod 2.4.20-LVS
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(7)修改GRUB,以新的核心啟動
執行完new-kernel-pkg命令後,GRUB的設置文件/etc/grub.conf中已經增加了新核心的
啟動項,這正是開始安裝Linux時推薦使用GRUB做引導程序的原因。
grub.conf中新增內容如下:
title Red Hat Linux (2.4.20-LVS)
root (hd0,0)
kernel /boot/vmlinuz-2.4.20LVS ro root=LABEL=/
initrd /boot/initrd-2.4.20LVS.img
將Kernel項中的root=LABEL=/改成 root=/dev/sda1 (這里的/dev/sda1是筆者Linux的根
分區,讀者可根據自己的情況進行不同設置)。
保存修改後,重新啟動系統:
# reboot
系統啟動後,在GRUB的界面上會出現Red Hat Linux(2.4.20-LVS)項。這就是剛才編譯的
支持LVS的新核心,選擇此項啟動,看看啟動過程是否有錯誤發生。如果正常啟動,ipvs
將作為模塊載入。同時應該注意到,用LVS的內核啟動後在/proc目錄中新增了一些文件,
比如/proc/sys/net/ipv4/vs/*。
11.安裝IP虛擬伺服器軟體ipvsadm
用支持LVS的內核啟動後,即可安裝IP虛擬伺服器軟體ipvsadm了。用戶可以用tar包或
RPM 包安裝,tar 包可以從以下地址http://www.linuxvirtualserver.org/software/kernel-
2.4/ipvsadm-1.21.tar.gz 下載進行安裝。
這里採用源RPM包來進行安裝:
# wget http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-7.src.rpm
# rpmbuild --rebuild ipvsadm-1.21-7.src.rpm
# rpm -ivh /usr/src/redhat/RPMS/i386/ipvsadm-1.21-7.i386.rpm
注意:高版本的rpm命令去掉了--rebuild這個參數選項,但提供了一個rpmbuild命令來實
現它。這一點和以前在Red Hat 6.2中以rpm—rebuild XXX.src.rpm來安裝源RPM包的習
慣做法有所不同。
安裝完,執行ipvsadm命令,應該有類似如下的信息出現:
# ipvsadm
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
出現類似以上信息,表明支持LVS 的內核和配置工具ipvsadm 已完全安裝,這台
Director機器已經初步安裝完成,已具備構架各種方式的集群的條件。
實例
理解了上述關於請求轉發方式和調度演算法的基本概念後,就可以運用LVS來具體實現
幾種不同方式的負載均衡的集群系統。LVS的配置是通過前面所安裝的IP虛擬伺服器軟體
ipvsadm來實現的。ipvsadm與LVS的關系類似於iptables和NetFilter的關系,前者只是
一個建立和修改規則的工具,這些命令的作用在系統重新啟動後就消失了,所以應該將這
些命令寫到一個腳本里,然後讓它在系統啟動後自動執行。網上有不少配置LVS的工具,
有的甚至可以自動生成腳本。但是自己手工編寫有助於更深入地了解,所以本文的安裝沒
有利用其它第三方提供的腳本,而是純粹使用ipvsadm命令來配置。
下面就介紹一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的負載均衡集群。
1.設定LVS/NAT方式的負載均衡集群
NAT是指Network Address Translation,它的轉發流程是:Director機器收到外界請求,
改寫數據包的目標地址,按相應的調度演算法將其發送到相應Real Server上,Real Server
處理完該請求後,將結果數據包返回到其默認網關,即Director機器上,Dire

Ⅲ 集群存儲的集群存儲相對傳統NAS和SAN的優勢

傳統的SAN與NAS分別提供的是數據塊與文件兩個不同級別的存儲服務,集群存儲也分為提供數據塊與文件兩個不同級別存儲服務的集群存儲系統。
集群存儲的優勢主要體現在提高並行或分區I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問,通過採用更低成本的伺服器來降低整體成本。
SAN系統具有很高的性能,但是構建和維護起來很復雜。由於數據塊和網路需求的原因,SAN系統也很難擴容。NAS系統的構建和維護雖然比較簡單,但是由於其聚合設備(又叫做NAS頭)是其架構上的瓶頸,造成其性能很有限。集群存儲提供了SAN和NAS結構的優點。在大多數使用集群存儲的案例中,隨著存儲系統的擴容,性能也隨之提升。一個大的集群存儲的性能往往勝過一個SAN系統,但是價格也會更高。集群存儲系統像NAS系統一樣易於構建、操作和擴容。大多數集群存儲系統沒有傳統NAS系統的固有瓶頸。
集群存儲有兩種實現方式:一種是硬體基礎架構加上軟體,典型代表是SAN架構+IBM GPFS;另一種是專用集群存儲,典型代表是Isilon、NetApp GX以及Panasas,其中NetApp GX是構建在NAS基礎架構之上的,但是通過操作系統實現集群存儲。從這個角度講,集群存儲與SAN或NAS不存在競爭關系,是實現不同存儲需求的解決方案。」
集群存儲和NAS的概念是在文件系統層面上的,而SAN是在LUN層面上的,集群存儲可以利用SAN環境實現。因此,集群存儲與SAN解決的問題不同。如果一定要比較這兩者的優缺點的話,可以說SAN做到的是多個伺服器節點可以同時看到SAN環境中的同一個LUN,還不能做到多伺服器節點間的文件級共享。
集群存儲在性能、可靠性及擴展性等多個方面都遠遠優於 NAS。

Ⅳ 集群存儲的特點

1. 開放式架構(高擴展性)
它針對集群存儲內部構成元素而言。一般集群存儲應該包括存儲節點、前端網路、後端網路等三個構成元素,每個元素都可以非常容易地採用業界最新技術而不用改變集群存儲的架構,且擴展起來非常方便,像搭積木一樣進行存儲的擴展。特別是對於那些對數據增長趨勢較難預測的用戶,可以先購買一部分存儲,當有需求的時候,隨時添加,而不會影響現有存儲的使用。
2. 分布式操作系統
這是集群存儲的靈魂所在。所有對集群存儲的操作都經由分布式操作系統統一調度和分發,分散到集群存儲各個存儲節點上完成。使用分布式操作系統帶來的好處是各節點之間沒有任何區別,沒有主次、功能上的區別,所有存儲節點功能完全一致,這樣才能真正做到性能最優。
3. 統一命名空間
統一命名空間在很多廠家的存儲概念中都出現過。在集群存儲中,統一命名空間強調的是同一個文件系統下的統一命名空間。它同樣可以支持上PB級別的存儲空間。如果是通過將若干有空間上限的卷掛載到某一個根目錄的方式來達到統一命名空間,其效率和出現存儲熱點時的性能將會大大低於把上PB級別的存儲空間置於同一個文件系統下管理的統一命名空間。
4. 易管理性
目前存儲業界的管理方式都是通過各廠商的管理工具,或通過Web界面進行管理和配置,往往客戶端還需要安裝相關軟體才能訪問到存儲上的空間。隨著需要管理的存儲空間逐漸增大,管理存儲的復雜度和管理人員的數量也將會隨之增加。而集群存儲應該提供一種集中的、簡便易用的管理方式,對客戶端沒有任何影響,採用業界標準的訪問協議(比如NFS,CIFS)訪問集群存儲。
5. 負載均衡
集群存儲通過分布式操作系統的作用,會在前端和後端都實現負載均衡。前端訪問集群存儲的操作,通過幾種負載均衡策略,將訪問分散到集群存儲的各個存儲節點上。後端訪問數據,通過開放式的架構和後端網路,數據會分布在所有節點上進行存放和讀取。
6. 高性能
關於高性能領域,目前對集群存儲的討論還僅局限在高帶寬、高並發訪問的應用模式下。毫無疑問,集群存儲對於該類應用可以提供比傳統存儲架構更優的性能。但目前應用除了高帶寬、高並發訪問類的之外,還有高IOPS、隨機訪問、小文件訪問以及備份歸檔等其他類的應用,集群存儲應該在以上領域同樣提供高性能的解決方案。

Ⅳ 分布式存儲支持多節點,節點是什麼,一個磁碟還是一個主控

節點是什麼?

節點是存儲節點的簡稱,一般來說1個節點是1個存儲伺服器。

其中一個存儲節點壞了是否影響數據的訪問?

這個主要取決於你採取的數據保護措施,主要有以下幾種:

  • 多副本:同一份數據會保存多份(通常設置為 2 副本或 3 副本),即使副本所在的節點宕機也不會造成數據丟失;

  • HA(高可用):節點宕機時,該節點上的虛擬機自動遷移至集群內其它節點,降低業務中斷時間;

  • 機架感知:根據機房物理拓撲結構,將副本分配在不同的機架、機箱、主機上,有效減少甚至避免物理硬體(電源、交換機等)故障導致的數據丟失。理論上,3 副本結合機架感知配置,系統可最多容忍 2 個機架上的主機全部失效;

  • 快照:為虛擬機打快照,在其發生故障時將數據恢復至快照狀態;

  • 雙活:同城雙數據中心,災難時無損快速恢復業務(RPO=0);

  • 備份:異地主備數據中心,災難時盡可能挽回數據損失。

Ⅵ redis 集群為什麼至少3主節點

redis sentinel集群為什麼要3個以上
3個以上是通過增加 sentinel
節點的個數提高對於故障判斷的准確性,因為領導者選舉需要至少一半加1個節點,奇數個節點可以在滿足該條件的基礎上節省一個節點, 簡單的說:
如果有3個節點的 sentinel 當一個 redis 出現問題的時候, sentinel
會馬上進投票選舉,只有選票超過半數才主觀下線哦!,最後客觀下線 , 所以要3個sentinel節點.

Ⅶ Hadoop集群的主節點會存儲數據嗎

主節點不會存儲數據,數據節點專門存儲數據,主節點存儲了元數據信息。
主節點的磁碟中存儲了文件到塊的關系,集群啟動後,數據節點會報告名位元組點 機器和塊的關系,這兩個關系組合起來便可找到文件所在機器的位置。
如果名位元組點所在的機器也配置到slave文件里,那麼此台機器即是名位元組點也是數據節點!

Ⅷ 什麼是集群存儲

雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集
群應用、網格技術或分布式文機房集中監控系統件系統等功能,將網路中大量各種不同類
型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的
一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就
需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一
個以數據存儲和管理為核心的雲計算系統。他們基於虛擬化技術和集群架構,具有強大的
橫向擴展能力。雲存儲設備橫向擴展的方式讓存儲系統具有了無限擴展的能力,它能夠實
現控制器與硬碟的同時擴展,也就是性能與容量可以同時實現線性擴展。

集群存儲是通過將數據分布到集群中各節點的存儲方式,提供單一的使用介面與界面,使
用戶可以方便地對所有數據進行統一使用與管理。集群中所有磁碟設備整合到單一的共享
存儲池中提供給前端的應用伺服器,極大提高了磁碟利用率,可以為非結構化數據提供具
備極高IO帶寬和靈活可擴展性的存儲解決方案。

Ⅸ 快速了解集群和雙機熱備相關知識

簡單的說,集群(cluster)就是一組計算機,它們作為一個整體向用戶提供一組網路資源。這些單個的計算機系統就是集群的節點(node)。一個理想的集群是,用戶從來不會意識到集群系統底層的節點,在他/她們看來,集群是一個系統,而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群系統的節點。 高可用集群不是用來保護業務數據的,保護的是用戶的業務程序對外不間斷提供服務,把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度。 什麼是雙機熱備 所謂雙機熱備,其實可以認為是集群的最小組成單位,就是將中心伺服器安裝成互為備份的兩台伺服器,並且在同一時間內只有一台伺服器運行。當其中運行著的一台伺服器出現故障無法啟動時,另一台備份伺服器會迅速的自動啟動並運行(一般為 為數分鍾左右),從而保證整個網路系統的正常運行!雙機熱備的工作機制實際上是為整個網路系統的中心伺服器提供了一種故障自動恢復能力。 您為什麼需要集群 隨著全球經濟的增長,世界各地各種各樣的組織對IT系統的依賴都在不斷增加,電子貿易使得商務一周七天24小時不間斷的進行成為了可能。新的強大的應用程序使得商業和社會機構對日常操作的計算機化要求達到了空前的程度,趨勢非常明顯,我們無時無刻不依賴於穩定的計算機系統。 這種需求極速的增長,使得對系統可用性的要求變得非常重要,許多公司和組織的業務在很大程度上都依賴於計算機系統,任何的宕機都會造成嚴重的損失,關鍵IT系統的故障可能很快造成整個商業運作的癱瘓,每一分鍾的宕機都意味著收入、生產和利潤的損失,甚至於市場地位的削弱。高可用集群的實現模式 集群中節點可以以不同的方式來運行,這要看它們是如何設置的。在一個理想的兩個節點的集群中,兩個伺服器都同時處於活動狀態,也就是在兩個節點上同時運行應用程序,當一個節點出現故障時,運行在出故障的節點上的應用程序就會轉移到另外的沒有出現故障的伺服器上,這樣一來,由於兩個節點的工作現在由一個伺服器來承擔,自然會影響伺服器的性能。 針對這種情況的解決方案是,在正常操作時,另一個節點處於備用狀態,只有當活動的節點出現故障時該備用節點才會接管工作,但這並不是一個很經濟的方案,因為你不得不買兩個伺服器來做一個伺服器的工作。雖然當出現故障時不會對性能產生任何影響,但是在正常運行時的性能價格比並不太好。 從上面的工作方式出發,我們可以把集群分為下面幾種(特別是兩節點的集群) 主/主 (Active/active) 這是最常用的集群模型,它提供了高可用性,並且在只有一個節點在線時提供可以接受的性能,該模型允許最大程度的利用硬體資源。每個節點都通過網路對客戶機提供資源,每個節點的容量被定義好,使得性能達到最優,並且每個節點都可以在故障轉移時臨時接管另一個節點的工作。所有的服務在故障轉移後仍保持可用,但是性能通常都會下降。 主/從(Active/passive) 為了提供最大的可用性,以及對性能最小的影響,Active/passive模型需要一個在正常工作時處於備用狀態,主節點處理客戶機的請求,而備用節點處於空閑狀態,當主節點出現故障時,備用節點會接管主節點的工作,繼續為客戶機提供服務,並且不會有任何性能上影響。 混合型(Hybrid) 混合是上面兩種模型的結合,只針對關鍵應用進行故障轉移,這樣可以對這些應用實現可用性的同時讓非關鍵的應用在正常運作時也可以在伺服器上運行。當出現故障時,出現故障的伺服器上的不太關鍵的應用就不可用了,但是那些關鍵應用會轉移到另一個可用的節點上,從而達到性能和容錯兩方面的平衡。 傳統雙機熱備的發展方向 由於用戶核心業務越來越多,有不停機需求的應用也越來越密集,用戶的網路及存儲環境從普通的電纜及直聯式存儲升級到光纖及SAN或ISCSI環境,使得原本可以使用雙機熱備方案滿足的高可用應用開始力不從心, 用戶紛紛尋求新的解決方案,能夠兼容原有雙機熱備系統,又有很強大擴展能力的高可用集群方案逐漸成為了用戶的首選,集群系統可以利用最新的SAN及ISCSI鏈路,形成多個可用點的核心系統,而且可以方便的增減節點,帶來很強的擴展性。用戶對核心系統的調配更加靈活,統一管理,減少投資,而且可以使用更多的策略保障最為關鍵的應用,甚至可以實現遠距離的集群系統,令整個關鍵系統具有很強的容災能力。因此,多節點高可用集群將成為雙機熱備用戶的未來潛在選擇。 它們都是為實現系統的高可用性服務的,都解決了一台伺服器出現故障時,由其他伺服器接管應用,從而持續可靠地提供服務的問題。 它們都是通過心跳技術在進行系統檢測,一些比較高端的集群軟體擁有多種檢測鏈路,如比較高端的MLDC集群檢測系統。 但是,雙機軟體只能支持兩台伺服器以主從方式或互備方式工作。而集群軟體除了支持雙機工作外,還可以支持多台伺服器(Multi Node)工作,同時部署多個應用,並在多個伺服器間靈活地設置接管策略。 在兩種情況下需要使用集群軟體:一是有超過兩個應用,本身就需要部署三台或更多的伺服器。二是只有兩個應用,但每個應用的負載均較大,不宜採用雙機互備的方式,而是需要由第三台伺服器來作為這兩個應用的備機。 一般地講,集群軟體具有更多的技術含量,具備更高的可靠性。同時,往往價格(平均到每台伺服器)也高於雙機軟體。 在選擇產品時,應根據應用的實際情況來確定。最理想的方式,則是在應用數量少、負載不是很大時先使用雙機軟體,然後在應用數量增多、負載增大時平滑過渡到集群軟體。 集群軟體一定需要配合磁碟陣列櫃才能正常運行嗎 並非所有集群都需要使用共享的存儲系統(如陣列櫃),純軟技術(鏡像技術)的出現和發展,使得集群系統必須擁有一致的數據源的問題有了另外一種實現方式。 目前聯鼎集群系統擁有有兩種典型的運行方式,一種是比較標準的,數台伺服器通過一個共享的存儲設備(一般是共享的磁碟陣列或存儲區域網SAN),並且安裝集群軟體,實現高可用集群,稱為共享方式。另一種方式是通過純軟體(如聯鼎LanderSync軟體)的方式,一般稱為純軟體方式或鏡像方式(Mirror)。 對於共享方式,資料庫放在共享的存儲設備上。當一台伺服器提供服務時,直接在存儲設備上進行讀寫。而當系統切換後,另一台伺服器也同樣讀取該存儲設備上的數據,這種方式由於數據的一致性由共享存儲設備來保障,不佔用系統資源,而且沒有數據傳輸的延遲,因此是中高端用戶,及擁有大量關鍵數據的用戶的首選方案。 對於純軟體的方式,通過鏡像軟體,將數據可以實時復制到另一台伺服器上,這樣同樣的數據就在兩台伺服器上各存在一份,如果一台伺服器出現故障,可以及時切換到另一台伺服器。 由於可以節省共享存儲硬體部分的大量投資,純軟體方式可以在一定程度上降低成本,並且由於在多個地方擁有數據的副本,數據的可靠性反而有所加強,另外由於脫離了直聯存儲的模式而使用TCP/IP協議,使得純軟雙機在理論上能夠實現遠程容災。 但是純軟方式也有一些不足: 1.需要佔用部分系統資源,需要佔用部分網路資源。 2.大數據量環境初始鏡像時間較長,對於較大的並且變化頻繁的數據,可能會存在傳輸延遲現象 因此,在選擇使用何種集群方式之前,需要對用戶的應用進行一定的評估,選擇最理想的解決方案。

Ⅹ 電腦中一些專業的詞彙,節點和集群 是指什麼含義請教高人。

節點是一個很抽象和應用很廣泛的概念,通俗的說就是某個大環境中的一個點或者一段,好比公交車線路中的一個站台。

一、在XML語言中

節點是XML文件中有效而完整的結構的最小單元。內含標示組的節點,加上必要屬性、屬性值及內容,便可構成一個元素。節點的標志符<>。

二、在互聯網路中

節點可能代表的是一台計算機這樣的物理節點,也有可能代表一個城市的網路。在有數據傳入和輸出的點都也可以叫節點。

三、在PhotoShop中等一些圖象聲音處理軟體中

「鋼筆工具」、「磁性鋼筆工具」、「自由鋼筆工具」都可以定義一個節點的開始結束,它們的功能是用來定義節點和初步畫出路徑的

集群是一組相互獨立的、通過高速網路互聯的計算機,它們構成了一個組,並以單一系統的模式加以管理。一個客戶與集群相互作用時,集群像是一個獨立的伺服器。集群配置是用於提高可用性和可縮放性。
和傳統的高性能計算機技術相比,集群技術可以利用各檔次的伺服器作為節點,系統造價低,可以實現很高的運算速度,完成大運算量的計算,具有較高的響應能力,能夠滿足當今日益增長的信息服務的需求。

而集群技術是一種通用的技術,其目的是為了解決單機運算能力的不足、IO能力的不足、提高服務的可靠性、獲得規模可擴展能力,降低整體方案的運維成本(運行、升級、維護成本)。只要在其他技術不能達到以上的目的,或者雖然能夠達到以上的目的,但是成本過高的情況下,就可以考慮採用集群技術。