1. 計算機數據中心,一組模塊包含那些硬體設備
新一代計算機數據中心必備硬體
第 1:刀片伺服器
第 2 :UPS電源
第 3 :視網膜掃描儀
第 4 :乙太網交換機
第 5 :無線訪問點
第 6 :數字數據粉碎機
第 7 :固態硬碟存儲區域網路存儲
第 8 :KVM控制台伺服器
第 9 :虛擬磁帶庫
第 10 :網路附加存儲
2. 如何讓數據中心更好更簡單的應用
現今,隨著信息技術的飛速發展,行業用戶對於數據中心的依賴性日益加深,越來越多用戶的業務與信息系統密不可分。政府、金融、工業、能源、交通、醫療等眾多行業的數據中心建設更是如火如荼。同時,物聯網、大數據、雲計算的廣泛應用使得數據中心越來越龐大,問題也越來越突出:用電成本不斷增加、機房密度增大、快速響應能力要求更高、配置冗餘過多、IT資產管理有待完善,等等。面對如此情況,優化數據中心基礎設施管理的需求越發強烈。
DCIM:統一平台的巨大魅力
隨著數據中心在規模、密度和復雜性上的快速增長,數據中心的管理者不禁會問,數據中心的效率如何,數據中心是否運行在最佳狀態?對此,用戶一直在尋找更有效的管理工具來降低成本、提高操作性能、節約能源。這其中,數據中心基礎設施的管理問題首當其沖。然而,在當前的數據中心,往往只能獲得IT和基礎設施的局部視圖,這種靜止和隔離的狀態將會帶來宕機的增加、低效和容量的浪費。因此,在數據中心管理中,消除基礎設施管理和IT管理之間的隔閡是亟待解決的問題。
針對越來越突出的數據中心管理需求,業界不斷推出各種管理工具,如數字KVM,智能PDU,DCIM(數據中心基礎設施管理)解決方案等,數據中心基礎設施管理越來越智能化。目前,業內普遍認為,DCIM代表了數據中心管理的發展方向。
DCIM的不同是從資產、容量、變更、電源、環境、能源等多方面對數據中心進行全面管理,對數據中心的狀態、資產和性能提供統一的管理平台。也就是說,DCIM能夠打通數據中心運營所依賴的IT設施(虛擬機、伺服器和機架等)和基礎設施(電源、熱管理系統和環境等)之間的鴻溝,提供全面的統一視圖,將硬體和軟體整合於一體來管理數據中心的關鍵運營,從而提供高水平的決策和性能表現。這樣做的好處顯而易見:首先,把原本彼此緊密相關的信息集成到一起,可以降低數據中心的管理和運營成本、節省時間,並能基於這些信息做出更合理的決策;其次,能夠更好地利用現存的IT和基礎設施資源,優化數據中心的性能,提高可用性。
TrellisTM:數據中心管理的全新體驗
基於DCIM的巨大魅力,市場上出現了諸多此種類型的產品,而TrellisTM動態基礎設施優化平台無疑是其中的典範。TrellisTM平台是艾默生網路能源基於深厚的數據中心實踐經驗和強大的研發實力推出的新一代數據中心管理平台,代表了艾默生網路能源對數據中心管理領域最新發展趨勢的深刻把握。
TrellisTM平台是一套全新硬體和軟體組成的完整的數據中心基礎設施管理解決方案,整合並擴展了CPMS、SiteWeb、DSview以及Avocent Data Center Planner的功能,實現了對數據中心內IT設備和物理基礎設施的一體化、智能化的動態管理。通過在單一控制台上控制全部數據中心資產,顯著提高了數據中心運營的可見性及控制力,幫助數據中心管理者實現智能、快速的決策,從而更大程度地提升數據中心的可用性、效率和容量利用率。
作為基於開放性架構的數據中心基礎設施管理平台,TrellisTM採用全模塊化設計,連接了伺服器、路由器、存儲器、配電單元和環境監測,除了進行智能的數據採集和分析之外,還能夠針對基礎設施上的變更和負載變動進行動態反應。TrellisTM通過Avocent通用管理網關(UMG),可訪問和管理數據中心的所有設備,從而以可視化的方式提供所有資產的信息,幫助管理者了解每一次變更可能對運營、能耗以及製冷需求產生的實際或者可能影響。
基於TrellisTM平台完善的功能設計,數據中心管理者可以在同一個地點,同一個平台,同一個解決方案中,擁有從資產管理、現場管理、變更管理、能耗管理,到供電系統管理、熱管理系統管理以及流程管理所需要的全部管理能力,不再受制於IT 和關鍵基礎設施之間的信息鴻溝,使得數據中心能夠在保持高可用性的同時,提高運營效率和管理水平。同時,值得一提的是,TrellisTM平台的能力已經全面擴展到移動終端,使得管理者可以在數據中心現場對TrellisTM平台進行操作,提供系統的可用性和維護的便利性。
作為業界主流的網路能源設備和一體化解決方案供應商之一,艾默生網路能源不僅幫助各行業用戶構建高性能的數據中心,同時也注重數據中心管理能力的建設與擴展。TrellisTM動態基礎設施優化平台的推出,不僅代表了DCIM技術的發展趨勢,滿足了大數據時代對數據中心環境整體把控與管理的需要,而且幫助用戶極大地提高了數據中心的可用性、能源利用性以及日常維護的工作效率,大幅降低了管理成本,為其數據中心管理帶來了卓越的應用價值。
3. 數據中心機房包括哪些設備
數據中心機房屬於電子信息系統機房的范疇,與一般的電子信息系統機房相比,其地位更加重要,設施更加完善,性能更加優良。
數據中心機房建設是一個系統工程,它由主機房(包括網路交換機、伺服器群、存儲器、數據輸入/輸出配線、通信區和網路監控終端等)、基本工作間(包括辦公室、緩沖間、走廊、更衣室等)、第一類輔助房間(包括維修室、儀器室、備件間、存儲介質存放間、資料室)、第二類輔助房間(包括低壓配電、UPS電源室、蓄電池室、精密空調系統用房、氣體滅火器材間等)、第三類輔助房間(包括儲藏室、一般休息室、洗手間等)組成的。主機房內放置大量網路交換機、伺服器群等,是綜合布線和信息化網路設備的核心,也是信息網路系統的數據匯聚中心,其特點是設備24h不間斷運行,電源和空調不允許中斷,對機房的潔凈度、溫濕度要求較高。機房內安裝有UPS不間斷電源、精密空調、機房電源等大量配套設備,需要配置輔助機房。為了方便管理,有時將通信機房與信息網路機房合在一起建設,使得機房的面積相對較大。此外,機房布局時還應設獨立的出入口;當與其他部門共用出人口時,應避免人流、物流交叉;人員出人主機房和基本工作間應更衣換鞋。機房與其他建築物合建時,應單獨設防火分區。機房安全出口不應少於兩個,並盡可能設於機房兩端。
機房的各個系統是按功能需求設置的,其主要工程包括機房區、辦公區、輔助區的裝修與環境工程;可靠的供電系統工程(UPS、供配電、防雷接地、機房照明、備用電源等);專用空調及通風;消防報警及自動滅火;智能化弱電工程(視頻監控、門禁管理、環境和漏水檢測、綜合布線、KVM系統等)。
4. 什麼是數據中心
IDC即是Internet Data Center,是基於INTERNET網路,為集中式收集、存儲、處理和發送數據的設備提供運行維護的設施以及相關的服務體系。IDC提供的主要業務包括主機託管(機位、機架、VIP機房出租)、資源出租(如虛擬主機業務、數據存儲服務)、系統維護(系統配置、數據備份、故障排除服務)、管理服務(如帶寬管理、流量分析、負載均衡、入侵檢測、系統漏洞診斷),以及其他支撐、運行服務等。
5. 數據中心行業中,p常用來指什麼設備
PDU(power distribution unit電源分配單元),PDU製造商的產品都有提供切換開關。帶開關切換的PDU比較昂貴,假如你的數據中心只需要極少數設備進行電力切換,你可以購買最小單位的PDU。或者,你可以購買一個足夠支撐整個機架電力的開關PDU,把需要開關切換PDU的IT設備都放在同一個機架。這種方法也可以將未使用的插座暫時關閉並防止未經認證的設備接入,MPO/MTP數據中心等相關的最好用達標的,我們一般用菲尼特的。
6. 數據中心是什麼其系統結構和工作原理是怎樣的呢
一直想整理一下這塊內容,既然是漫談,就想起什麼說什麼吧。我一直是在互聯網行業,就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途:
整合公司所有業務數據,建立統一的數據中心;
提供各種報表,有給高層的,有給各個業務的;
為網站運營提供運營上的數據支持,就是通過數據,讓運營及時了解網站和產品的運營效果;
為各個業務提供線上或線下的數據支持,成為公司統一的數據交換與提供平台;
分析用戶行為數據,通過數據挖掘來降低投入成本,提高投入效果;比如廣告定向精準投放、用戶個性化推薦等;
開發數據產品,直接或間接為公司盈利;
建設開放數據平台,開放公司數據;
。。。。。。
- 上面列出的內容看上去和傳統行業數據倉庫用途差不多,並且都要求數據倉庫/數據平台有很好的穩定性、可靠性;但在互聯網行業,除了數據量大之外,越來越多的業務要求時效性,甚至很多是要求實時的 ,另外,互聯網行業的業務變化非常快,不可能像傳統行業一樣,可以使用自頂向下的方法建立數據倉庫,一勞永逸,它要求新的業務很快能融入數據倉庫中來,老的下線的業務,能很方便的從現有的數據倉庫中下線;
- 其實,互聯網行業的數據倉庫就是所謂的敏捷數據倉庫,不但要求能快速的響應數據,也要求能快速的響應業務;
- 建設敏捷數據倉庫,除了對架構技術上的要求之外,還有一個很重要的方面,就是數據建模,如果一上來就想著建立一套能兼容所有數據和業務的數據模型,那就又回到傳統數據倉庫的建設上了,很難滿足對業務變化的快速響應。應對這種情況,一般是先將核心的持久化的業務進行深度建模(比如:基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型;基於公司核心用戶數據建立的用戶模型),其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。
- 整體架構下面的圖是我們目前使用的數據平台架構圖,其實大多公司應該都差不多:
- 邏輯上,一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同,本質上的角色都大同小異。
- 我們從下往上看:
- 數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上,期間有可能會做一些簡單的清洗。
- 數據源的種類比較多:
網站日誌:
- 作為互聯網行業,網站日誌占的份額最大,網站日誌存儲在多台網站日誌伺服器上,
- 一般是在每台網站日誌伺服器上部署flume agent,實時的收集網站日誌並存儲到HDFS上;
業務資料庫:
- 業務資料庫的種類也是多種多樣,有Mysql、Oracle、SqlServer等,這時候,我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具,Sqoop是一種,但是Sqoop太過繁重,而且不管數據量大小,都需要啟動MapRece來執行,而且需要Hadoop集群的每台機器都能訪問業務資料庫;應對此場景,淘寶開源的DataX,是一個很好的解決方案(可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》),有資源的話,可以基於DataX之上做二次開發,就能非常好的解決,我們目前使用的DataHub也是。
- 當然,Flume通過配置與開發,也可以實時的從資料庫中同步數據到HDFS。
來自於Ftp/Http的數據源:
- 有可能一些合作夥伴提供的數據,需要通過Ftp/Http等定時獲取,DataX也可以滿足該需求;
其他數據源:
- 比如一些手工錄入的數據,只需要提供一個介面或小程序,即可完成;
- 數據存儲與分析毋庸置疑,HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。
- 離線數據分析與計算,也就是對實時性要求不高的部分,在我看來,Hive還是首當其沖的選擇,豐富的數據類型、內置函數;壓縮比非常高的ORC文件存儲格式;非常方便的SQL支持,使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多,一句SQL可以完成的需求,開發MR可能需要上百行代碼;
- 當然,使用Hadoop框架自然而然也提供了MapRece介面,如果真的很樂意開發Java,或者對SQL不熟,那麼也可以使用MapRece來做分析與計算;Spark是這兩年非常火的,經過實踐,它的性能的確比MapRece要好很多,而且和Hive、Yarn結合的越來越好,因此,必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn,使用Spark其實是非常容易的,不用單獨部署Spark集群,關於Spark On Yarn的相關文章,可參考:《Spark On Yarn系列文章》
- 實時計算部分,後面單獨說。
- 數據共享這里的數據共享,其實指的是前面數據分析與計算後的結果存放的地方,其實就是關系型資料庫和NOSQL資料庫;
- 前面使用Hive、MR、Spark、SparkSQL分析和計算的結果,還是在HDFS上,但大多業務和應用不可能直接從HDFS上獲取數據,那麼就需要一個數據共享的地方,使得各業務和產品能方便的獲取數據;和數據採集層到HDFS剛好相反,這里需要一個從HDFS將數據同步至其他目標數據源的工具,同樣,DataX也可以滿足。
- 另外,一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。
- 數據應用
業務產品
- 業務產品所使用的數據,已經存在於數據共享層,他們直接從數據共享層訪問即可;
報表
- 同業務產品,報表所使用的數據,一般也是已經統計匯總好的,存放於數據共享層;
即席查詢
- 即席查詢的用戶有很多,有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大,他們都有即席查詢數據的需求;
- 這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求,需要從數據存儲層直接查詢。
- 即席查詢一般是通過SQL完成,最大的難度在於響應速度上,使用Hive有點慢,目前我的解決方案是SparkSQL,它的響應速度較Hive快很多,而且能很好的與Hive兼容。
- 當然,你也可以使用Impala,如果不在乎平台中再多一個框架的話。
OLAP
- 目前,很多的OLAP工具不能很好的支持從HDFS上直接獲取數據,都是通過將需要的數據同步到關系型資料庫中做OLAP,但如果數據量巨大的話,關系型資料庫顯然不行;
- 這時候,需要做相應的開發,從HDFS或者HBase中獲取數據,完成OLAP的功能;
- 比如:根據用戶在界面上選擇的不定的維度和指標,通過開發介面,從HBase中獲取數據來展示。
其它數據介面
- 這種介面有通用的,有定製的。比如:一個從Redis中獲取用戶屬性的介面是通用的,所有的業務都可以調用這個介面來獲取用戶屬性。
- 實時計算現在業務對數據倉庫實時性的需求越來越多,比如:實時的了解網站的整體流量;實時的獲取一個廣告的曝光和點擊;在海量數據下,依靠傳統資料庫和傳統實現方法基本完成不了,需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架;Storm在這塊是比較成熟了,但我選擇Spark Streaming,原因很簡單,不想多引入一個框架到平台中,另外,Spark Streaming比Storm延時性高那麼一點點,那對於我們的需要可以忽略。
- 我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。
- 做法也很簡單,由Flume在前端日誌伺服器上收集網站日誌和廣告日誌,實時的發送給Spark Streaming,由Spark Streaming完成統計,將數據存儲至Redis,業務通過訪問Redis實時獲取。
- 任務調度與監控在數據倉庫/數據平台中,有各種各樣非常多的程序和任務,比如:數據採集任務、數據同步任務、數據分析任務等;
- 這些任務除了定時調度,還存在非常復雜的任務依賴關系,比如:數據分析任務必須等相應的數據採集任務完成後才能開始;數據同步任務需要等數據分析任務完成後才能開始;這就需要一個非常完善的任務調度與監控系統,它作為數據倉庫/數據平台的中樞,負責調度和監控所有任務的分配與運行。
- 前面有寫過文章,《大數據平台中的任務調度與監控》,這里不再累贅。
- 總結在我看來架構並不是技術越多越新越好,而是在可以滿足需求的情況下,越簡單越穩定越好。目前在我們的數據平台中,開發更多的是關注業務,而不是技術,他們把業務和需求搞清楚了,基本上只需要做簡單的SQL開發,然後配置到調度系統就可以了,如果任務異常,會收到告警。這樣,可以使更多的資源專注於業務之上。
7. 什麼是數據中心數據中心系統有哪幾部分組成
IDC(Internet Data Center) - Internet數據中心,它是傳統的數據中心與Internet的結合,它除了具有傳統的數據中心所具有的特點外,如數據集中、主機運行可靠等,還應具有訪問方式的變化、要做到7x24服務、反應速度快等。IDC是一個提供資源外包服務的基地,它應具有非常好的機房環境、安全保證、網路帶寬、主機的數量和主機的性能、大的存儲數據空間、軟體環境以及優秀的服務性能。
IDC作為提供資源外包服務的基地,它可以為企業和各類網站提供專業化的伺服器託管、空間租用、網路批發帶寬甚至ASP、EC等業務。簡單地理解,IDC是對入駐(Hosting)企業、商戶或網站伺服器群託管的場所;是各種模式電子商務賴以安全運作的基礎設施,也是支持企業及其商業聯盟(其分銷商、供應商、客戶等)實施價值鏈管理的平台。形象地說,IDC是個高品質機房,在其建設方面,對各個方面都有很高的要求
網路建設
IDC主要是靠其有一個高性能的網路為其客戶提供服務,這個高性能的網路包括其- AN、WAN和與Internet接入等方面要求。
IDC的網路建設主要有: - IDC的- AN的建設,包括其- AN的基礎結構,- AN的層次,- AN的性能。 - IDC的WAN的建設,即IDC的各分支機構之間相互連接的廣域網的建設等。 - IDC的用戶接入系統建設,即如何保證IDC的用戶以安全、可靠的方式把數據傳到IDC的數據中心,或對存放在IDC的用戶自己的設備進行維護,這需要IDC為用戶提供相應的接入方式,如撥號接入、專線接入及VPN等。 - IDC與Internet互聯的建設。
- IDC的網路管理建設,由於IDC的網路結構相當龐大而且復雜,要保證其網路不間斷對外服務,而且高性能,必須有一高性能的網路管理系統。
機房場地建設
機房場地的建設是IDC前期建設投入最大的部分。由於IDC的用戶可能把其重要的數據和應用都存放在IDC的機房中,所以對IDC機房場地環境的要求是非常高的。IDC的機房場地建設主要在如下幾個方面: - 機房裝修:機房裝修主要考慮吊頂、隔斷牆、門窗、牆壁和活動地板等。- 供電系統:供電系統是IDC的場地建設重點之一,由於IDC的大量設備需要極大的電力功率,所以供電系統的可靠性建設、擴展性是極其重要的。供電系統建設主要有:供電功率、UPS建設(n+1)、配電櫃、電線、插座、照明系統、接地系統、防雷和自發電系統等。- 空調系統:機房的溫度、通風方式和機房空氣環境等。- 安全系統:門禁系統、消防系統和監控系統。- 布線系統:機房應有完整的綜合布線系統,布線系統包括數據布線、語音布線、終端布線。- 通信系統:包括數據線帶寬、語音線路數目等。
8. 大型數據中心有哪些設備
基礎設施:發電機、UPS、精密空調、氣體滅火裝置、專業機櫃。
IT設備:機架式伺服器、存儲、刀片、多層交換機等。
網路:多服務商接入網路鏈路等。
監控中心等等等。
9. 雲計算發展對數據中心和設備有哪些新要求
1、大規模
為了支撐大規模的雲客戶訪問和使用,與傳統的數據中心相比,雲計算數據中心需擁有較大的伺服器規模,將數個甚至數十個傳統規模數據中心集中整合,進行集中化數據備份、計算和管理,才能實現雲業務所需的計算能力。
2、高密度
雲計算是一種集中化的部署方式,數據量和計算量的爆發式增長決定了單機櫃中伺服器的功率密度大大增加,單個伺服器機櫃的功率高達十幾至幾十千瓦。
3、高可靠性
雲服務商向大量的客戶提供雲服務,雲計算數據中心承載的雲計算服務量巨大,涉及到的雲客戶的業務也多種多樣,如果雲數據中心出現故障,其影響廣度和深度將非常大,因此雲計算數據中心需要具有高可靠性。
4、高能效
雲服務對軟硬體資源的虛擬化使單台伺服器的功率增加,大規模雲計算數據中心能耗巨大,其用電量是傳統數據中心的幾倍甚至幾十倍,雲計算數據中心需要通過設計綠色節能數據中心,使其具有較高的能效,才能獲得長期持續的發展。
5、高效交付
為了支撐業務系統的快速變化和發展,提升競爭力,雲計算數據中心需要具備高效擴展和快速交付能力,無論機房建設階段的機電部分交付,還是IT設備的運行交付都需要能夠高效部署和快速完成。
6、智能運維
雲計算數據中心規模龐大,可靠性要求高,需要推動監控技術的發展和完善,實現自動化的監控和管理。
「小鳥雲」是深圳前海小鳥雲計算有限公司旗下的雲計算服務品牌,專注為個人開發者用戶、中小型、大型企業用戶提供一站式核心網路雲端部署服務,促使用戶雲端部署化簡為零,輕鬆快捷運用雲計算。小鳥雲是國內為數不多具有ISP/IDC雙資質的專業雲計算服務商,同時持有系統軟體著作權證書、CNNIC地址分配聯盟成員證書,通過了ISO27001信息安全管理體系國際認證、ISO9001質量保證體系國際認證。