1. 分布式存儲系統的應用方案
在一個視頻監控系統中,選擇什麼樣的存儲解決方案直接決定了整個系統的系統架構以及系統的性能和穩定程度。
一種是在攝像監控前端採用有一定存儲容量(如1.2T)的DVR設備,所有需要的數據均保存在前端DVR的存儲設備中,比較好的方案中,後台軟體可以管理和維護多台的DVR設備,包括這些DVR設備的存儲數據,如錄像的轉存、刪除和回放等功能。這種方案中所有數據主要保存在DVR中,後台主要負責維護和必要的存儲。
另一種是在攝像監控前端採用DVR或者網路視頻伺服器,而存儲主要在遠端通過後台的PC或者伺服器軟體來將數據保存在後台的存儲設備上。
上述兩種存儲方案均有很多弊端,尤其當監控點很多,需要的存儲量又很大的情況下,這些可能的弊端包括:由於存儲分散導致難以維護;由於存儲的專業程度不高導致存儲的可靠性不高,進而導致整個系統的可靠性不高;存儲的利用率不高;存儲的擴展性不好。
為了克服這些弊端,並推薦使用基於分布式存儲、集中管理思路的、以及基於iSCSI技術的IPSAN來作為視頻監控的存儲解決方案,這個方案的主要特點包括:
1、分布式存儲,集中管理;
2、基於iSCSI技術的IPSAN(STorageAreaNetwork);
3、流媒體網關可以作為存儲解決方案的核心設備。 在這個方案中,共有三級:
1、上級監控中心:上級監控中心通常只有一個,主要由數字矩陣、認證伺服器和VSTARClerk軟體等。
2、本地監控中心:本地監控中心可以有多個,可依據地理位置設置,或者依據行政隸屬關系設立,主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成;音視頻的數據均主要保存在本地監控中心,這就是分布式存儲的概念。
3、監控前端:主要由攝像頭、網路視頻伺服器組成,其中VE4000系列的網路視頻伺服器可以帶硬碟,該硬碟主要是用於網路不暢時,暫時對音視頻數據進行保存,或者需要在前端保存一些重要數據的情況。
本地監控中心的存儲設備也可以用一台伺服器,帶SCSI磁碟陣列的形式,但由於伺服器的網路收發性能有限,從而影響整個存儲系統的性能,因此有建議選用專業的iSCSI存儲設備。 1) iSCSI原理簡介
iSCSI 是由IETF 開發的一種基於存儲網路的新的Internet 協議,iSCSI 的原理是將SCSI 命令通過IP 網路傳輸,這樣就可以使在網路上傳送數據更加便利,而且可以實現遠程存儲管理。
iSCSI 使標準的SCSI 命令能夠在TCP/IP 網路上的主機系統(啟動器,Initiator)和存儲設備(目標器,target)之間傳送。而且iSCSI 協議支持在系統之間傳送標準的SCSI 命令。在系統之間的連接是通過標準的IP 網路基礎設施實現的,iSCSI 的協議模型如圖1 所示。
圖2 iSCSI 的協議模型
iSCSI 的工作原理是:當終端用戶或應用程序(啟動器)發送一個請求後,操作系統將生成一個適當的SCSI 命令和數據請求,SCSI 命令通過封裝,在需要加密的時候要執行加密處理。這些命令加上TCP/IP 協議的包頭,就可以在乙太網上傳輸。接收端(目標器)在收到這個數據包後按照相反的方向進行解包,解析出SCSI 命令和數據請求,SCSI命令再發送給SCSI 存儲設備驅動程序,因為iSCSI 是雙向的協議,所以它可以將數據返回給原來的請求。
2) 基於IP SAN的網路存儲方案
圖3 基於IP SAN 的網路存儲方案
在這個解決方案中,網路視頻伺服器需要支持iSCSI 協議,是啟動器,而位於監控中心的iSCSI 存儲設備則是目標器。本地監控中心的iSCSI 存儲設備可以充當多個網路視頻伺服器的存儲設備,而且iSCSI 存儲設備還可以再外掛磁帶設備,進一步擴大存儲容量。 在網路存儲方案中,每台網路視頻伺服器均佔有一個IP,如果希望通過Internet 來進行遠程監控,則網路視頻伺服器的IP 地址必須是公網IP,在通常情況,公網IP 地址都是稀有資源;另外遠程監控受到網路容量的限制以及網路擁塞的影響,帶寬通常不能保證,給遠程監控帶來了不便,而卓揚科技的流媒體網關可以解決這兩個問題。
卓揚科技的流媒體網關是一個嵌入式的硬體設備,所有的報文轉發均是基於硬體轉發(如果是軟體轉發,性能達不到要求),報文的轉發能力可以達到1Gbps 以上,卓揚科技的流媒體網關的主要功能包括:
支持NAT 轉換功能
支持視頻分發功能,當多個遠程監控的用戶訪問同一台網路視頻伺服器的時候,均需要向流媒體網關發請求,然後流媒體網關再向網路視頻伺服器發出請求,當流媒體網關收到網路視頻伺服器的數據後(注意視頻伺服器與流媒體網關之間的數據流只有一份)再負責分發給遠端的多個監控用戶支持視頻點播服務,遠端用戶可以通過流媒體網關完成視頻點播的功能支持iSCSI 的Initiator
卓揚科技的流媒體網關可以對上述的功能進行分別進行配置。
下圖是一個流媒體網關與IP SAN 結合的網路視頻監控的解決方案,在方案中,流媒體網關沒有使能iSCSI 的Initiator,iSCSI 的Initiator 是由網路視頻伺服器完成,其中iSCSI 的存儲流是把監控流封裝了iSCSI 而成的。
圖4 與流媒體網關相配合的網路存儲方案1
下圖的網路存儲方案中,流媒體網關使能了iSCSI Initiator 功能,而網路視頻伺服器與流媒體網關傳送的均是原始的視頻數據流(與iSCSI 存儲流相比)。
圖5 中,需要對數據進行存儲的時候,流媒體網關首先從網路視頻伺服器活動數據(①),然後再通過iSCSI 存儲流將視頻數據保存到iSCSI 的存儲設備上(②)。當A 用戶需要進行遠程監控的時候,首先A 用戶向流媒體網關發出請求(③),流媒體網關再向視頻伺服器獲取數據(①),然後流媒體網關把監控視頻數據發送給用戶A(③)。當B 用戶需要進行視頻點播的時候,B 用戶首先向流媒體網關發出請求(④),流媒體網關再向iSCSI 存儲設備獲取數據(②),然後然後流媒體網關把監控視頻數據發送給用戶B(④)。
圖5 與流媒體網關相配合的網路存儲方案2
另外,在圖4 和圖5 中,是否進行NAT 轉換視組網需求而定,可以靈活配置。
五、 後記
基於iSCSI 的IP SAN 存儲方案無疑是解決存儲問題的一個良方,尤其當iSCSI 的存儲設備的性能不斷提高、價格不斷降低的時候,採用這種方式就更是必然的選擇,我們深信,基於iSCSI 技術的存儲解決方案會逐漸成為大型網路視頻監控中存儲技術的主流。
2. 用戶如何提高存儲性能有哪些解決方案
何提高網速 電腦運行速度顯卡關內存關 殺毒軟體突打
:數據存儲備份存儲管理源於世紀70代終端/主機計算模式由於數據集主機易管理海量存儲設備——磁帶庫必備設備80代由於PC發展尤其90代應用廣客戶機/伺服器模式普及及互聯網迅猛發展使存儲容量、存儲模式存儲要求都發根本性變化些新興存儲技術迅速崛起構建更安全信息代提供更選擇
編者按何確保所數據能夠靠備份及進行災難恢復存儲管理軟體核任務外存儲管理軟體存些基本功能諸改進系統應用I/O性能及存儲管理能力提高數據應用系統高用性減少由於各種原斷數據存取或者應用系統宕機間實現技術級存儲管理(HSM)、ClusterServer(集群伺服器)等
首先能提供些識別析存儲訪問模式VolumeManager工具VolumeManager通復雜磁碟配置能均衡I/O負載影響應用同能夠優化應用數據布局數據條形散放物理盤提高性能同具斷應用情況識別消除性能瓶頸能力增強系統應用性能另外VolumeManager減少系統斷間、增加數據完整性等面俗表現允許磁碟進行線管理更改配置減少系統產極影響停機間同利用冗餘技術提高數據用性防止數據丟失破壞
其非重要快速恢復志式文件系統FileSystem能間斷數據訪問條件文件作線備份並系統重啟或崩潰前允許訪問數據並恢復文件提高用戶管理員產效率FileSystem系統崩潰前能未完數據記錄事件志利用恢復程序重現保持數據完整性
VolumeManagerFileSystem都工作操作系統級實現集群與故障恢復、自管理、備份與HSM及基於瀏覽器遠程管理等兩者機結合利用雙特磁碟數據管理能力能給企業系統提供盡能高性能、用性及管理性
基礎便整存儲管理核任務——備份技術
數據存儲備份技術般包含硬體技術及軟體技術等硬體技術主要磁帶機技術軟體技術主要通用專用備份軟體技術等我主要軟體技術面加討論備份軟體技術整數據存儲備份程具相重要性僅關系否支持磁帶各種先進功能且程度決定著備份效率備份軟體定操作系統所提供備份功能廠商都提供許專業備份軟體專業備份軟體能通優化數據傳輸率即自較高傳輸率進行數據傳輸僅能縮短備份間、提高數據存儲備份速度且磁帶機設備本身處另外專業備份軟體支持新磁帶機技術HPTapeAlert技術差所主流專業備份軟體均提供支持
於存儲模式說比較見DAS、NASSAN等DAS(DirectAttachedStorage-直接連接存儲)指存儲設備通SCSI介面或光纖通道直接連接台計算機伺服器理比較散、難通遠程連接進行互連直接連接存儲比較解決案直接連接存儲幫助企業繼續保留已傳輸速率並高網路系統
網路主要信息處理模式需要存儲數據量增加數據作取競爭優勢戰略性資產其重要性增加目前發展趨勢NASSAN現響應點NAS網路連接存儲即存儲設備通標准網路拓撲結構(例太網)連接群計算機重點於幫助工作組部門級機構解決迅速增加存儲容量需求種兩面改善數據用性第即使相應應用伺服器再工作仍讀數據第二簡易伺服器本身崩潰避免引起伺服器崩潰首要原即應用軟體引起問題另外NAS產品真即插即用產品其設備物理位置非靈
SAN(存儲區域網路)通光纖通道連接群計算機該網路提供主機連接並非通標准網路拓撲並且通同物理通道支持廣泛使用SCSIIP協議結構允許任何伺服器連接任何存儲陣列管數據置放哪伺服器都直接存取所需數據SAN解決案基本功能剝離存儲功能所運行備份操作需考慮網路總體性能影響案使管理及集控制實現簡化特別於全部存儲設備都集群起候
集群通用於加強應用軟體用性與擴展性某些集群架構技術加入單系統印象概念單點單系統式管理台計算機集群伺服器支持達百台互相連接伺服器結合鬆散結合單位執行作業保護彼應用軟體免於故障由於集群伺服器完全整合應用軟體服務架構建置高效應用軟體執行環境即使整系統現故障終端計算機都使用幾乎所應用軟體集群伺服器軟體包括引擎、編譯器、負載計算器、代理、指令與圖形化系統管理介面等組件集群化運算環境優勢卓越數據處理能力原則任何類型重主機架構存儲設備包括直接連接磁碟都用作集群數據存儲設備求系統用性適合使用擁重主機存取路徑容錯或高用性存儲系統
層管理式解決存儲容量斷增導致何效擴充容量問題情況更用於布式網路環境級其實意味著用同介質實現存儲RAID系統、光存儲設備、磁帶等每種存儲設備都其同物理特性同價格例要備份候備份文件般存儲速度相比較慢、容量相比較、價格相比較低存儲設備磁帶做經濟實用何實現級呢原理講級存儲線系統遷移數據種文件由HSM系統選擇進行遷移拷貝HSM介質文件確拷貝原文件相同名字標志文件創建佔用比原文件磁碟空間用戶訪問標志文件HSM系統能原始文件確介質恢復級存儲同實施式HSM根據兩級或三級體系態遷移/遷數據類實現級存儲
存儲應用深入必帶整體解決案需求僅包括硬體包括相應軟體及服務軟硬體兼容融合應用環境勢所趨比存儲虛擬化提證明趨勢利於提高存儲利用率、簡化管理降低本構建融合存儲應用環境總隨著網路技術發展、計算機能力斷提高數據量斷膨脹數據備份與恢復等存儲技術面問題顯越越重要存儲管理技術發展必引起業界高度重視
相關鏈接:前主流存儲介質
磁碟陣列、磁帶庫
磁碟陣列特點數據存取速度特別快其主要功能提高網路數據用性及存儲容量並數據選擇性布磁碟提高系統數據吞吐率另外磁碟陣列能夠免除單塊硬碟故障所帶災難通較容量硬碟連智能控制器增加存儲容量磁碟陣列種高效、快速、易用網路存儲備份設備
廣義磁帶庫產品包括自載入磁帶機磁帶庫自載入磁帶機磁帶庫實際磁帶磁帶機機結合組自載入磁帶機位於單機磁帶驅器自磁帶更換裝置裝盤磁帶磁帶匣拾取磁帶並放入驅器或執行相反程自載入磁帶機能夠支持例行備份程自每備份工作裝載新磁帶擁工作組伺服器公司或理處使用自載入磁帶機自完備份工作
磁帶庫像自載入磁帶機基於磁帶備份系統能夠提供同基本自備份數據恢復功能同具更先進技術特點存儲容量達數百PB(1PB=100萬GB)實現連續備份、自搜索磁帶驅管理軟體控制實現智能恢復、實監控統計整數據存儲備份程完全擺脫工干涉磁帶庫僅數據存儲量且備份效率工佔用面擁比擬優勢網路系統磁帶庫通SAN(存儲區域網絡)系統形網路存儲系統企業存儲提供力保障容易完遠程數據訪問、數據存儲備份或通磁帶鏡像技術實現磁帶庫備份疑數據倉庫、ERP等型網路應用良存儲設備
光碟塔、光碟庫光碟網路鏡像伺服器
光碟僅存儲容量巨且本低、製作簡單、體積更重要其信息保存100至300光碟塔由幾台或十幾台CD-ROM驅器並聯構通軟體控制某台光碟機讀寫操作光碟塔同支持幾十幾百用戶訪問信息光碟庫叫自換盤機利用機械手機櫃選張光碟送驅器進行讀寫庫容量極機櫃放幾十片甚至百片光碟光碟庫特點:安裝簡單、使用便並支持幾乎所見網路操作系統及各種用通信協議
光碟網路鏡像伺服器僅具型光碟庫超存儲容量且具與硬碟相同訪問速度其單位存儲本(攤每張光碟設備本)低於光碟庫光碟塔光碟網路鏡像伺服器已始取代光碟庫光碟塔逐漸光碟網路共享設備主流產品
3. 華為雲存儲的解決方案
為此,華為推出了基於雲存儲系統和雲存儲服務平台構建的端到端存儲服務解決方案,幫助運營商快速、經濟地提供雲存儲服務與發展用戶。 華為雲存儲系統具備彈性擴展、安全可靠、自動化管理等特點,以及豐富的業務支撐能力,滿足海量數據的存儲以及大規模業務承載的需求。
彈性擴展:高效的存儲基礎架構需支持在性能和容量兩個維度上進行擴展。華為雲存儲系統基於橫向擴展(Scale-out)架構設計,對上層業務平台提供透明的存儲資源服務,屏蔽底層的硬體差異,能夠幫助運營商實現存儲容量的擴展和業務性能的提升。
在容量擴展方面,雲存儲系統支持通過增加硬碟、存儲域和存儲節點三種方式擴展系統容量。此外,雲存儲系統通過統一的資源和I/O調度,使得新接入的存儲域和存儲節點能夠與已有的域和節點一起為上層業務提供存儲服務,實現整系統存儲空間從TB到EB的線性擴展,再通過跨域互聯、訪問重定向等技術,對多個資源池進行統一部署和調度管理。
在性能提升方面,雲存儲系統通過分布式存儲軟體協調大量的存儲硬體節點並行對外提供數據存儲服務,海量數據均勻下發到每個存儲節點的每個硬碟,充分發揮域內節點與硬碟的並行處理能力,使系統在擴展存儲容量的同時,也提升存儲系統的讀寫性能。
安全可靠:華為雲存儲系統從以下兩方面保證用戶數據在整個生命周期內的安全可靠。 通過Erasure Code技術,對文件進行條帶化後生成多個數據塊,並計算若干個校驗塊,同時將所有的數據塊和校驗塊分別存放在不同存儲節點上,若其中一個或多個存儲節點發生故障,系統可在提供正常的讀寫服務的同時,自動在後台進行數據重構,將故障節點上的數據重構到其他節點上。這種節點間的數據保護技術確保華為雲存儲系統具有較高的數據可靠性。
雲存儲系統通過許可權控制和加密來保證數據私密性。在許可權控制層面,擁有存儲業務的用戶或系統的各類管理員的操作必須被授權,不同許可權用戶執行不同的操作。在加密層面,系統選擇HTTP-SSL方式作為數據傳輸安全的技術實現方案,防止傳輸過程中的惡意監聽與篡改,保證數據傳輸的私密性、一致性和不可抵賴性。對於用戶的關鍵信息,如登錄密碼和系統訪問等鑒權信息,雲存儲系統也從客戶端到服務端都進行加密處理,能夠有效保障用戶關鍵信息的安全性。
自動化管理:雲存儲系統通過「一鍵部署」、「批量升級」、「智能告警」等功能實現系統的自動部署與管理。設備上電後管理軟體遠程對所有設備進行安裝、配置,降低系統部署難度,縮短部署時間。同時,存儲節點的批量升級,整個過程無需人工干預和控制,不中斷業務,實現業務透明化。雲存儲管理系統還能夠提供完整的圖形化管理界面,動態反映雲存儲系統的拓撲結構,實現存儲節點和網路設備的統一管理,提高系統運維效率,降低運營成本。
介面豐富:針對不同類型的應用對存儲的訪問需求,如IPTV、視頻監控、網盤等,雲存儲系統提供了文件存儲介面——NFS/CIFS、對象存儲介面——REST,以及針對第三方雲服務的API,滿足各種終端、各種應用的存儲接入。 基於雲存儲系統,雲存儲服務平台不僅可以提供空間租賃、在線存儲、集中備份等服務,還具備完善的業務管理功能。
空間租賃:無論是中小企業還是大型企業,數據增長的速度遠遠超過了對存儲設備投資的幅度。而且部署大型的存儲設備,不僅降低了業務靈活性,也增加了運維成本。通過運營商提供的空間租賃服務,企業可以按需購買存儲空間進行數據存儲,不僅可以更靈活地滿足存儲需求,也免去了繁雜的自運維過程。
在線存儲:在線存儲服務為個人用戶提供了遠端大容量的存儲空間。個人用戶可通過web方式、PC客戶端、手機客戶端三種形式訪問個人數據,web方式能夠使瀏覽器和本地桌面無縫結合;PC客戶端通過將網路資源本地化,不改變用戶的操作習慣;手機客戶端簡單易操作,方便用戶實時訪問,多種訪問方式實現用戶終端的多屏互動、文件同步。
集中備份:中小企業備份系統的建設面臨建設門檻高、周期長等問題,運營商提供的集中備份服務是對企業備份系統「效率」與「安全」的雙重升級,通過集中備份服務能夠實現本地數據共享,按需申請雲端備份空間,以及對重要數據進行本地與雲端的兩級備份。
「兩級備份」通過本地雲存儲網關與遠端雲存儲數據中心共同實現。首先,本地部署的雲存儲網關進行本地的一次備份,保證備份效率;其次,通過本地雲存儲網關的數據同步功能,實現網關上的數據到雲存儲數據中心的二次備份,進一步提高數據的安全性。
大數據時代的到來,將促使更多的企業與個人將數據遷移到雲端,這一過程為運營商向綜合信息服務提供商的轉型創造了良好的契機。華為雲存儲解決方案將致力於為運營商開展雲存儲服務提供良好支撐,華為已經與中國電信、中國移動就雲存儲服務進行了深入的合作。
4. 存儲系統的解決方案
目前比較好的雲存儲軟體可多了,但是有的軟體的數據安全性還有待考證呢!我個人覺得網路、華為、聯想、中國移動、115之類的雲存儲軟體都是可以的!但是總是用著不放心,我們公司用的是南京雲創存儲開發的Minicloud迷你雲軟體,我感覺用著挺好的,文件數據塊始終以雙副本方式在不同節點上存放,絕不丟失數據,既可作為應用軟體(如郵箱、視頻監控)的海量存儲空間,又可作為員工的私密存儲空間,還可以作為數據共享空間等,大家可以試試看!
南京雲創存儲科技有限公司與CETC32所攜手Intel聯合開發的全球首款超低功耗、高密度的雲存儲產品——基於英特爾 凌動 處理器產品家族的雲存儲一體機。由CETC32所基於Intel Atom Processor for Storage開發的64位低功耗硬體平台,與雲創存儲自主創新核心產品cStor雲存儲系統完全結合的雲存儲一體機,全面展現了新一代高密度雲存儲產品超高容量、超高性能、節能環保的綠色魅力。與傳統雲存儲產品相比,該產品可搭載總存儲容量高達1824TB,單存儲節點峰值功耗低於0.15KW,比傳統雲存儲產品節能3倍,諸多優勢完勝傳統存儲產品。
每節點主板功耗25W,單機架總功耗5700W,與傳統雲存儲系統相比,節能3倍。系統採用了集中式直流供電,減少了電源逆變次數,提高電源效率。同時系統採用RMC智能管理模塊對所有風扇進行管理,可根據系統局部溫度變化調節風扇轉速,達到節能效果。
5. 存儲虛擬化的存儲技術
存儲系統必須在能力和性能上直線升級,將問題推給硬體系統並不是解決辦法。存儲虛擬化需要全新的軟體方式來平衡擴容體系架構來實現數以千兆的數據傳輸和存儲。
相關的存儲技術主要有以下幾點:
基於主機的存儲虛擬化依賴於代理或管理軟體,它們安裝在一個或多個主機上,實現存儲虛擬化的控制和管理。由於控制軟體是運行在主機上,這就會佔用主機的處理時間。
因此,這種方法的可擴充性較差,實際運行的性能不是很好。基於主機的方法也有可能影響到系統的穩定性和安全性,因為有可能導致不經意間越權訪問到受保護的數據。
這種方法要求在主機上安裝適當的控制軟體,因此一個主機的故障可能影響整個SAN系統中數據的完整性。軟體控制的存儲虛擬化還可能由於不同存儲廠商軟硬體的差異而帶來不必要的互操作性開銷,所以這種方法的靈活性也比較差。
但是,因為不需要任何附加硬體,基於主機的虛擬化方法最容易實現,其設備成本最低。使用這種方法的供應商趨向於成為存儲管理領域的軟體廠商,而且目前已經有成熟的軟體產品。
這些軟體可以提供便於使用的圖形介面,方便地用於SAN的管理和虛擬化,在主機和小型SAN結構中有著良好的負載平衡機制。從這個意義上看,基於主機的存儲虛擬化是一種性價比不錯的方法。
基於存儲設備的存儲虛擬化方法依賴於提供相關功能的存儲模塊。如果沒有第三方的虛擬軟體,基於存儲的虛擬化經常只能提供一種不完全的存儲虛擬化解決方案。對於包含多廠商存儲設備的SAN存儲系統,這種方法的運行效果並不是很好。
依賴於存儲供應商的功能模塊將會在系統中排斥JBODS(Just a Bunch of Disks,簡單的硬碟組)和簡單存儲設備的使用,因為這些設備並沒有提供存儲虛擬化的功能。當然,利用這種方法意味著最終將鎖定某一家單獨的存儲供應商。
基於存儲的虛擬化方法也有一些優勢:在存儲系統中這種方法較容易實現,容易和某個特定存儲供應商的設備相協調,所以更容易管理,同時它對用戶或管理人員都是透明的。但是,我們必須注意到,因為缺乏足夠的軟體進行支持,這就使得解決方案更難以客戶化(customzing)和監控。
一般而言,存儲虛擬化的實現方式的另外一種分類方法是將其分為三種:交換架構虛擬化,磁碟陣列虛擬化,以及整合到應用設備內的虛擬化。對於三種不同的虛擬化方式,存儲供應商都有各自的獨門兵器。飛康的IPStor/NSS 存儲虛擬化產品在2001年就已經出現在市場上 ,截止2014年已經正式發布了其第七代存儲虛擬化產品,技術成熟度和廣泛的應用范圍都具備良好的可參考性。飛康 NSS 在接管底層存儲子系統的磁碟卷時,可以採用兩種方式來實現接入:一種是將底層磁碟卷直接虛擬化為Virtual Disk(虛擬磁碟)以供NSS管理和分配;另一種可將磁碟卷轉換為SED(Service-Enabled Devices)磁碟設備以供NSS管理和分配。當轉換為SED設備時,磁碟卷原有數據不會被修改,可以快速通過NSS分配給主機系統,整個接入過程非常簡單,不需要數據遷移,停機時間很少,當然也可以實現快速回退,磁碟重新分配給原主機系統,可以被正確識別和使用IBM自兩年前推出SVC(SAN卷控制器)(IBM SAN Volume Controller 對於存儲虛擬化,IBM SAN Volume Controller(SVC)能夠將多個磁碟系統的容量整合為一個單一的「容量池」。SVC 可幫助節省空間和能源,並能通過合並來簡化存儲資產的管理,這將極大地提高現有存儲器的利用率,並減少額外的存儲需求。)產品後,在這一領域獨占鰲頭。去年,HDS(日立數據系統有限公司)緊隨其後發布了TagmaStore通用存儲平台(USP),這是基於磁碟陣列的解決方案。近幾個月,EMC公司新發布的Invista網路存儲虛擬解決方案則是基於存儲交換的解決方案。
6. 雲存儲數據中心常用的網路存儲技術有哪些
直連式存儲、網路存儲設備和存儲網路。
一切以客戶的需求為出發點。傳統存儲以文件系統為典型代表,但是隨著數據爆炸性增長,傳統文件系統已經無法滿足對存儲系統的容量、性能等需求,因此,雲存儲應運而生。
雲存儲最大的特點是數據被集中存儲在數據中心,公有雲存儲將客戶數據存放在公有雲服務商數據中心,而私有雲存儲則是將公有雲存儲能力私有化部署在客戶自身的數據中心。
原則就是要盡可能把實際的物理介質索引,存儲的資料庫,數據存儲的磁碟抽象出來,在上層具有一個可拓展,可遷移的邏輯單元,當然對象存儲系統之間差異也很大,從潮流上看,基本都摒棄了索引的中心化存儲方案,在定址方面也各有各的花招。
雲計算關鍵技術雲計算是分布式處理、並行計算和網格計算等概念的發展和商業實現,其技術實質是計算、存儲、伺服器、應用軟體等IT軟硬體資源的虛擬化,雲計算在虛擬化、數據存儲、數據管理、編程模式等方面具有自身獨特的技術。
7. 存儲的架構有哪些
目前市場上的存儲架構如下:
(1)基於嵌入式架構的存儲系統
節點NVR架構主要面向小型高清監控系統,高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房,存儲容量相對較小,用戶體驗度、系統功能集成度要求較高。在市場應用層面,超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。
(2)基於X86架構的存儲系統
平台SAN架構主要面向中大型高清監控系統,前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分,前端監控數據通過錄像存儲管理模塊存儲到SAN中。
此種架構接入高清前端路數相對節點NVR有了較高提升,具備快捷便利的可擴展性,技術成熟。對於IPSAN而言,雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗,但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點,仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多,比如縣級或地級市高清監控項目,大數據量的並發讀寫對千兆網路交換提出了較大的挑戰,但應用FCSAN構建相對獨立的存儲子系統,可以有效解決上述問題。
(3)基於雲技術的存儲方案
當前,安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化,存儲和管理的視頻數據量已有海量之勢,雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務,在未來安防監控行業有著客觀的應用前景。
與傳統存儲設備不同,雲存儲不僅是一個硬體,而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心,通過應用層軟體對外提供數據存儲和業務服務。
8. 存儲系統層次結構包含哪些層
第一層:通用寄存器堆 第二層:指令與數據緩沖棧 第三層:高速緩沖存儲器 第四層:主儲存器(DRAM) 第五層:聯機外部儲存器(硬磁碟機) 第六層:離線外部儲存器(磁帶、光碟存儲器等) 這就是存儲器的層次結構~~~ 主要體現在訪問速度~~~ 1,設置多個存儲器並且使他們並行工作。本質:增添瓶頸部件數目,使它們並行工作,從而減緩固定瓶頸。 2,採用多級存儲系統,特別是Cache技術,這是一種減輕存儲器帶寬對系統性能影響的最佳結構方案。本質:把瓶頸部件分為多個流水線部件,加大操作時間的重疊、提高速度,從而減緩固定瓶頸。 3,在微處理機內部設置各種緩沖存儲器,以減輕對存儲器存取的壓力。增加CPU中寄存器的數量,也可大大緩解對存儲器的壓力。本質:緩沖技術,用於減緩暫時性瓶頸。
9. 簡述虛擬化存儲技術的三種實現方法及工作原理
從系統的觀點看,有三種主要的存儲虛擬化方法:
基於主機的虛擬存儲;
基於存儲設備的虛擬存儲;
基於網路的虛擬存儲。
方法1:基於主機的虛擬存儲
基於主機的虛擬存儲依賴於代理或管理軟體,它們安裝在一個或多個主機上,實現存儲虛擬化的控制和管理。由於控制軟體是運行在主機上,這就會佔用主機的處理時間。因此,這種方法的可擴充性較差,實際運行的性能不是很好。基於主機的方法也有可能影響到系統的穩定性和安全性,因為有可能導致不經意間越權訪問到受保護的數據。這種方法要求在主機上安裝適當的控制軟體,因此一個主機的故障可能影響整個SAN系統中數據的完整性。軟體控制的存儲虛擬化還可能由於不同存儲廠商軟硬體的差異而帶來不必要的互操作性開銷,所以這種方法的靈活性也比較差。
但是,因為不需要任何附加硬體,基於主機的虛擬化方法最容易實現,其設備成本最低。使用這種方法的供應商趨向於成為存儲管理領域的軟體廠商,而且目前已經有成熟的軟體產品。這些軟體可以提供便於使用的圖形介面,方便地用於SAN的管理和虛擬化,在主機和小型SAN結構中有著良好的負載平衡機制。從這個意義上看,基於主機的存儲虛擬化是一種性價比不錯的方法。
方法2:基於存儲設備的虛擬化
基於存儲設備的存儲虛擬化方法依賴於提供相關功能的存儲模塊。如果沒有第三方的虛擬軟體,基於存儲的虛擬化經常只能提供一種不完全的存儲虛擬化解決方案。對於包含多廠商存儲設備的SAN存儲系統,這種方法的運行效果並不是很好。依賴於存儲供應商的功能模塊將會在系統中排斥JBODS(Just a Bunch of Disks,簡單的硬碟組)和簡單存儲設備的使用,因為這些設備並沒有提供存儲虛擬化的功能。當然,利用這種方法意味著最終將鎖定某一家單獨的存儲供應商。
基於存儲的虛擬化方法也有一些優勢:在存儲系統中這種方法較容易實現,容易和某個特定存儲供應商的設備相協調,所以更容易管理,同時它對用戶或管理人員都是透明的。但是,我們必須注意到,因為缺乏足夠的軟體進行支持,這就使得解決方案更難以客戶化(customzing)和監控。
方法3:基於網路的虛擬存儲
基於網路的虛擬化方法是在網路設備之間實現存儲虛擬化功能,具體有下面幾種方式:
1. 基於互聯設備的虛擬化
基於互聯設備的方法如果是對稱的,那麼控制信息和數據走在同一條通道上;如果是不對稱的,控制信息和數據走在不同的路徑上。在對稱的方式下,互聯設備可能成為瓶頸,但是多重設備管理和負載平衡機制可以減緩瓶頸的矛盾。同時,多重設備管理環境中,當一個設備發生故障時,也比較容易支持伺服器實現故障接替。但是,這將產生多個SAN孤島,因為一個設備僅控制與它所連接的存儲系統。非對稱式虛擬存儲比對稱式更具有可擴展性,因為數據和控制信息的路徑是分離的。
基於互聯設備的虛擬化方法能夠在專用伺服器上運行,使用標准操作系統,例如Windows、Sun Solaris、Linux或供應商提供的操作系統。這種方法運行在標准操作系統中,具有基於主機方法的諸多優勢--易使用、設備便宜。許多基於設備的虛擬化提供商也提供附加的功能模塊來改善系統的整體性能,能夠獲得比標准操作系統更好的性能和更完善的功能,但需要更高的硬體成本。
但是,基於設備的方法也繼承了基於主機虛擬化方法的一些缺陷,因為它仍然需要一個運行在主機上的代理軟體或基於主機的適配器,任何主機的故障或不適當的主機配置都可能導致訪問到不被保護的數據。同時,在異構操作系統間的互操作性仍然是一個問題。
3. 基於路由器的虛擬化
基於路由器的方法是在路由器固件上實現存儲虛擬化功能。供應商通常也提供運行在主機上的附加軟體來進一步增強存儲管理能力。在此方法中,路由器被放置於每個主機到存儲網路的數據通道中,用來截取網路中任何一個從主機到存儲系統的命令。由於路由器潛在地為每一台主機服務,大多數控制模塊存在於路由器的固件中,相對於基於主機和大多數基於互聯設備的方法,這種方法的性能更好、效果更佳。由於不依賴於在每個主機上運行的代理伺服器,這種方法比基於主機或基於設備的方法具有更好的安全性。當連接主機到存儲網路的路由器出現故障時,仍然可能導致主機上的數據不能被訪問。但是只有聯結於故障路由器的主機才會受到影響,其他主機仍然可以通過其他路由器訪問存儲系統。路由器的冗餘可以支持動態多路徑,這也為上述故障問題提供了一個解決方法。由於路由器經常作為協議轉換的橋梁,基於路由器的方法也可以在異構操作系統和多供應商存儲環境之間提供互操作性。