A. 雲存儲的核心技術:虛擬化存儲,究竟虛擬是怎樣實現的
虛擬化改變了計算機使用存儲的方式。就像物理機器抽象成虛擬機(VM:Virtual Machine)一樣,物理存儲設備也被抽象成虛擬磁碟(Virtual Disk)。今天我們就來聊聊虛擬化存儲(Storage Virtualization)技術,究竟虛擬磁碟是怎樣實現的?
虛擬磁碟的實現
我們知道,伺服器擴展存儲的手段主要有直連存儲(DAS)、存儲區域網路(SAN)和網路附加存儲(NAS)這三種類型。那麼哪種存儲類型可以用來實現虛擬磁碟呢?
在虛擬化環境中,類似VMWare這樣的虛擬機管理程序hypervisor,要同時給很多VM分配存儲空間。這個過程中,我們需要先把物理存儲資源重新劃分成虛擬磁碟,然後再分配給VM。
顯然我們不能用DAS方式把物理磁碟直連到VM上,如果這樣,需要的物理磁碟就太多了。SAN是以邏輯單元(LUN:Logic Unit)的形式提供存儲資源,但是虛擬環境中VM的數量是很大的,而且倫的數量不足以支持這么多虛擬磁碟。
更重要的是,虛擬磁碟是為大量VM共享的,由於VM需要隨時創建、刪除或遷移,所以需要在遷移VM時共享存儲空間,只有原始數據不會丟失。DAS還是SAN,都不適合共享存儲。
考慮到資源分配以及共享的問題,虛擬機管理程序以NAS的方式實現虛擬磁碟。VMware通常使用VMFS(虛擬機文件系統)或NFS協議實現虛擬磁碟,VMFS文件系統是專門針對虛擬機環境協議。
每一個虛擬機的數據實際上是一堆文件,及最重要的文件的虛擬磁碟文件(VMDK文件),也有交換分區文件(VSWP文件,等價交換),非易失性存儲器(NVRAM的文件相當於BIOS),等等。每個VM對虛擬磁碟的IO操作實際上是對虛擬磁碟文件的讀寫操作。
設計、施工、和虛擬伺服器環境和優化,允許多個虛擬機訪問集成的集群存儲池,從而大大提高了資源的利用率。使用和實現資源共享,管理員可以直接從更高的效率和存儲利用率中獲益。
那麼我們如何在雲計算中使用虛擬磁碟呢?
實例存儲
最主要的一種使用虛擬磁碟的方式就是實例存儲,每個VM都是虛擬機的一個實例,虛擬機管理程序在每個實例中提供一個模擬硬體環境,它包括CPU、內存和磁碟。這樣,虛擬磁碟就是虛擬機實例的一部分,就像物質世界。刪除VM後,虛擬磁碟也將被刪除。
在這個實例存儲模型中,虛擬磁碟與虛擬機之間的存儲關系,事實上,它是DAS存儲。但是虛擬磁碟的底層實現,我們說,它是以NAS的方式實現的。虛擬機管理程序的作用是存儲VM層的存儲模型,這是從實施協議分離(VMFS或NFS)的虛擬機的低層。
VMFS協議實現了存儲資源的虛擬化,再分配各VMs
卷存儲
實例存儲有它的限制,開發人員通常希望分離實例數據,例如OS和安裝的一些伺服器應用程序和用戶數據,這樣重建VM的時候可以保留用戶的數據。
這個需求衍生出另外一種存儲模型:卷存儲。卷是存儲的主要單元,相當於虛擬磁碟分區。它不是虛擬機實例的一部分,它可以被認為是虛擬機的外部存儲設備。
該卷可以從一個VM卸載,然後附加到另一個VM。通過這種方式,我們實現了實例數據與用戶數據的分離。OpenStack的煤渣是一個體積存儲的實現。
除了實例存儲和卷存儲之外,最後我們還提到另一種特殊的虛擬存儲:對象存儲。
對象存儲
很多雲應用需要在不同的VM之間共享數據,它常常需要跨越多個數據中心,而對象存儲可以解決這個問題。在前一篇文章中的雲計算IaaS管理平台的基本功能是什麼?》中曾經提到過對象存儲。
在對象存儲模型中,數據存儲在存儲段(bucket)中,桶也可以被稱為「水桶」,因為它字面意思。我們可以用硬碟來類推,對象像一個文件,而存儲段就像一個文件夾(或目錄)。可以通過統一資源標識符(URI:統一資源標識符)找到對象和存儲段。
對象存儲的核心設計思想實際上是虛擬化,它是文件的物理存儲位置,如卷、目錄、磁碟等,虛擬化是木桶,它將文件虛擬化為對象。對於應用層,簡化了對數據訪問的訪問,屏蔽了底層存儲技術的異構性和復雜性。
對象存儲模型
NAS與對象存儲各有所長
當然你也許會問,NAS存儲技術也是一個可以解決數據共享的問題嗎?由於對象存儲的大小和成本優勢,許多雲環境使用對象存儲而不是NAS。
因為對象存儲將跨多個節點傳播,最新數據並不總是可用的 因此,對象存儲的數據一致性不強。如果有強一致性的要求,然後你可以使用NAS。目前,在雲計算環境中,NAS和對象存儲是共存的。
和NAS一樣,對象存儲也是軟體體系結構,而不是硬體體系結構。應用程序通過REST API直接訪問對象存儲。公共對象存儲包括:Amazon S3和OpenStack的Swift。
結語
在實際的雲平台應用中,我們需要根據自己的實際情況來合理運用不同的虛擬化存儲技術。
對於非結構化的靜態數據文件,如音視頻、圖片等,我們一般使用對象存儲。
對於系統鏡像以及應用程序,我們需要使用雲主機實例存儲或者卷存儲。
對於應用產生的動態數據,我們一般還需要利用雲資料庫來對數據進行管理。
B. cloud 的數據都是對象存儲的嗎
你好,不一定是的。
NAS作為通過網路發展的文件系統,它一定程度上解決了企業對於中型規模數據容量的存儲需求,依然會受到類似文件系統等瓶頸。對於有研發能力和運維能力的企業來講,他們會選擇市面上比較主流的開源分布式文件系統,比如OpenStack、Swift、Ceph、GlusterFS、HDFS,我們調研了很多市面上的開源方案,或多或少每一個開源的文件系統實現都不能非常好的滿足企業的海量文件存儲需求。比如HDFS並不是非常適合存儲海量小文件。
C. 什麼是對象存儲
對象存儲,也叫做基於對象的存儲,是用來描述解決和處理離散單元的方法的通用術語,這些離散單元被稱作為對象。
就像文件一樣,對象包含數據,但是和文件不同的是,對象在一個層結構中不會再有層級結構。每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里,一個對象不會屬於另一個對象的下一級。
文件和對象都有與它們所包含的數據相關的元數據,但是對象是以擴展元數據為特徵的。每個對象都被分配一個唯一的標識符,允許一個伺服器或者最終用戶來檢索對象,而不必知道數據的物理地址。這種方法對於在雲計算環境中自動化和簡化數據存儲有幫助。
對象存儲經常被比作在一家高級餐廳代客停車。當一個顧客需要代客停車時,他就把鑰匙交給別人,換來一張收據。這個顧客不用知道他的車被停在哪,也不用知道在他用餐時服務員會把他的車移動多少次。在這個比喻中,一個存儲對象的唯一標識符就代表顧客的收據。
D. 想問一下關於華為雲對象存儲服務有哪些內容
華為雲對象存儲服務obs 穩定,安全,高效,易用的雲存儲服務,具備標准restful api 介面,可存儲任意數量和形式的非結構化數據,提供99%的數據可靠性。具體的你可以去華為雲官方咨詢下官方客服會比較好點。
E. 阿里雲oss對象存儲是什麼意思
oss類似於網盤,但是你可以拿到文件支鏈,包含附件伺服器、頭像伺服器、圖片伺服器、下載伺服器等
F. 雲平台是什麼
是指基於硬體資源和軟體資源的服務,提供計算、網路和存儲能力。
可以劃分為3類:以數據存儲為主的存儲型雲平台,以數據處理為主的計算型雲平台以及計算和數據存儲處理兼顧的綜合雲計算平台。
首先,如何在雲服務中實現跨平台跨服務商的問題,也就是說服務商要在開發功能和兼容性上進行權衡。早期的雲計算提供的API比傳統的諸如資料庫的服務系統的限制多得多。各個服務商之間的代碼無法通用,這給跨平台的開發者帶來很多的編程負擔。
其次,如何來管理各個雲服務平台,這對於服務商來說,也是一個挑戰。和傳統的系統相比,大型的雲平台受有限的人工干涉、工作負載變化幅度大和多種多樣的共享設備這3個因素的影響,各個雲平台公司有各自的管理方案:例如Amazon公司的EC2用硬體級別上的虛擬機作為編程的介面,而salesforce.corn公司則在一個資料庫系統上實現了具有多種獨立模式的「多租戶」虛擬機。當然還有其他的解決方案也是可行的。
此外,雲平台的安全問題和隱私保護也特別難以保障。安全問題不能再依靠計算機或網路的物理邊界得到保障。過去的對於數據保護的很多加密和解密的演算法代價都特別高,如何來對大規模的數據採用一些合適的安全策略是一個非常大的挑戰。雲服務的挑戰還包括服務的穩定和可靠性。
最後,隨著雲計算越來越流行,預計會有新的應用場景出現,也會帶來新的挑戰。例如,人們需要從結構化、半結構化或非結構的異構數據中提取出有用信息。同時,這也表明「雲」整合服務必然會出現。聯合雲架構不會降低只會增加問題的難度。綜上所述,可以看出雲計算和雲平台服務本身在適當場景下的確有著巨大的優勢,但同時面臨著許多的技術難題亟待解決。
G. 新一代私有雲的主要特點包括什麼
私有雲是什麼?
參照維基網路定義:
私有雲(Private cloud)是將雲基礎設施與軟硬體資源建立在防火牆內,以供機構或企業內各部門共享數據中心內的資源。私有雲完全為特定組織而運作的雲端基礎設施,管理者可能是組織本身,也可能是第三方;位置可能在組織內部,也可能在組織外部。
目前主流的3大私有雲落地方案與特點
解目前3大主流企業級私有雲落地方案主要有以下三種,下面逐一介紹,並講解其各自特點:
將AWS、Azure、阿里雲等商業公有雲方案全套落地到私有環境;
使用類似 OpenStack、Ceph 等開源軟體構建私有雲;
使用類似 VMware、SmartX、Nutanix 等虛擬化或超融合產品配合 CMP 組件等成熟的商業組件構建私有雲。
一個有趣的現象是,由於 HCI 架構為私有雲帶來的諸多優勢,方式 1、2 也都衍生了基於超融合架構的落地方案,超融合正成為構建新一代私有雲「基石」的主流方案。以下逐一介紹。
公有雲移植構建私有雲
將公有雲移植到企業數據中心,方案最大的優勢是它來自於公有雲成功經驗,並經過長時間,大規模營運的考驗,擁有比較全面的功能,以 AWS 為例展示其落地方案及架構。
在資源池的構建上方式上,以往 VMware vSpere 、FC 網路、FC SAN 存儲傳統三層式架構占據統治地位,但超融合方案正在越來越多地替換原有的架構。VMware、SmartX、等主流超融合廠商配合成熟的商用 CMP 產品都提供了諸多基於超融合架構的私有雲案例。相比於以上兩種方案,該落地方案具有獨特的特點:
1.相比於公有雲廠商以及全棧的私有雲方案,該方案具備更好的開放性,更靈活輕量;
2. 相比於基於的開源產品,該方案穩定簡單,具備真正「生產就緒「能力。
私有雲特點與要求
私有雲不僅要求資源交付上需具備可擴展、彈性的能力,更大的挑戰還來自於:整體方案從規劃、部署到交付、運維各個環節。主要價值與要求體現在以下幾點:
按需投資:可以根據業務實際需要進行不同層面以及不同規模的按需投資。例如 IaaS 層和 PaaS 層的分階段構建,IaaS 層中管理平台和資源池的分別構建,以及資源池根據業務情況的逐步擴容;
快速上線:私有雲能夠滿足企業資源的快速交付的需求,同時支持業務系統的自動部署及便捷的線上擴容;
運維簡單:私有雲場景下,企業既是使用方同時也是營運方,運維人員是非常有限的。因此,私有雲的運維應盡可能簡單,同時保證系統復雜性不隨系統規模擴大而大幅增加。這樣可以避免復雜的運維成為業務快速增長的瓶頸,以及對系統的穩定性帶來隱患;
生產就緒:當用戶進行私有雲化改造的時候,通常只關注了功能特性,而忽略了私有雲最終是要承載生產業務,才能真正實現的企業數據中心「雲化」轉型目標。因此,方案乃至供應商服務的「生產就緒「能力可以保障架構轉型可持續、深入地進行,而不是僅停留在實驗階段;
成本合理:所有的轉型最終都需要以經濟效益衡量。私有雲方案不僅需要關注采購成本,還要關注使用成本、維護成本以及軟硬體維保和升級等各方面成本。
H. 如何搭建私有雲存儲
虛擬化技術在企業私有雲IT基礎架構中仍然占據重要地位,同時,為了進一步提升應用效率,越來越多的生產環境也正在逐步變革,從以虛擬機為中心的架構向以容器和微服務為中心的雲原生架構過渡,在這個過程中,存儲如何有效支撐各種雲主機應用與微服務應用,對於企業的私有雲數據中心提出了新的挑戰。
企業面臨的問題
存儲設施七國八制,硬體鎖定缺少彈性
多種雲平台對於存儲的要求各不相同,塊/文件/對象存儲對應不同類型的應用,對外提供不同的服務介面,一種存儲設備無法滿足多種類型的雲平台存儲需求,而且傳統存儲在擴展性方面不能滿足雲時代大規模雲平台對存儲在線彈性擴容的需求,在可維護性方面則面臨硬體架構綁定、運維復雜、難以維保等問題,而且這些問題會隨著存儲設備種類和數量的增多進一步放大。
業務調度變更頻繁,資源不能共享
隨著開發測試虛擬機以及容器、微服務平台在企業私有雲平台的上線,大型企業的應用快速迭代、頻繁發布對存儲系統的支撐提出了嚴峻挑戰,不同業務的數據保存在不同廠商的存儲設備中,數據流動性差,不僅導致存儲空間及性能資源浪費嚴重,數據災備方案也很難統一化。
開源產品難以維護,不能實現企業級產品化
基於開源虛擬化技術的雲平台如OpenStack為眾多客戶提供了快速構建私有雲基礎設施的能力,但是存儲部分卻不一樣,開源的存儲系統如Ceph雖然可以小規模部署試用, 但在大規模商用時會遇到很多問題:與硬體和企業級應用生態融合程度不高,嚴重依賴人工開發運維,在性能和服務質量方面不能滿足核心業務的需求
杉岩私有雲存儲解決方案
杉岩私有雲存儲解決方案充分發揮了杉岩統一存儲平台(USP)的雲適配、開放等優勢,支持各種復雜的應用負載,可靈活支撐私有雲的虛擬化平台,如VMware、Citrix、OpenStack等虛擬化和雲平台,以及通過Kubernetes軟體一致性認證的所有容器雲平台,如:Rancher、Openshift、Kubernetes等。
通過杉岩統一存儲平台,用戶可快速構建能夠兼容所有主流虛擬化平台與容器微服務平台的統一存儲資源池,面對各種虛擬機和微服務需求,池化的存儲平台為大規模雲環境提供了可靠的存儲基礎架構支撐,幫助用戶從紛繁復雜的基礎架構運維工作中解放出來,更關注於私有雲上運行的業務本身。
客戶價值
資源整合,鏈接企業信息孤島
單資源池提供塊、文件、對象多種存儲服務,支持虛擬化平台和資料庫應用;強大的存儲資源生命周期管理能力,跨雲平台在線遷移數據,實現數據共享和提高資源利用率;存儲卷QoS等級和性能優先順序在線調整,可根據企業資源和業務需求合理配置資源。
開放兼容,適配多種私有雲平台
通過VMware VAAI和Citrix Ready認證,針對主流虛擬化平台優化I/O性能,大幅提升虛擬機訪問的性能。通過OpenStack Cinder認證,可提供塊和對象存儲基礎架構支撐支持容器平台CSI介面認證,為Kubernetes生態的容器應用提供塊和文件存儲服務。
智能管理,解決規模化運維難題
向導式安裝部署和自助擴容配置,極大提升易用性和可維護性,管理自動化降低運維成本;針對大規模集群優化的可靠性管理,檢測和修復硬碟軟錯誤的專利技術,節約用戶硬體投資。存儲視角的管理功能,可視化展示主機、容器與存儲的映射關系和性能監控協助管理員快速定位和解決問題。
I. 對象存儲系統哪個品牌最好
聯想對象存儲系統(Lenovo Object Storage System)是聯想雲服務集團為客戶提供的一種海量、高性價比、彈性、高可用的存儲系統架構軟體。
聯想對象存儲系統具有多種優勢:1、數據冗餘存儲,故障自動切換,數據持久性達到99.99%;2、提供豐富的用戶後台管理功能,管理簡約,維護方便;3、統一存儲平台,面向多應用;4、數據空間無上限,彈性擴容。
J. 天翼雲主機的對象存儲是什麼意思啊
電信的雲主機業務里,應該沒有你講的對象存儲功能,雲主機主要提供共享或獨享的IT基礎資源(計算、存儲、網路等)租用等服務。了解更多服務優惠點擊下方的「官方網址」客服222為你解答。