當前位置:首頁 » 服務存儲 » 網路存儲自動精簡技術
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

網路存儲自動精簡技術

發布時間: 2022-08-11 13:20:07

⑴ 大數據時代:如何節省存儲成本

現今的科技發展日新月異。尤其是存儲方面,表現的極其突出。從技術、用戶和應用方面來看,其發展速度超越了其他IT領域。同時也帶來了相應的問題。數據中心和企業的管理者們都面臨著如何選擇存儲陣列的困惑。通常的解決方案早已被大肆宣傳開來,例如像快閃記憶體存儲或諸如WAN優化等這些被炒作已久的技術似乎已在人們腦海中變得根深蒂固。下面的七個存儲解決方案的建議不是基於任何技術的「新生事物」,而只是更具實用性並讓企業的花費更具價值。這七個建議應使管理者考慮從新制定他們在2012年的存儲預算。根據現有的存儲基礎設施、資源、數據的特點和所需的訪問重新審視市場上存儲的關鍵點,當今正是非常恰當的時機。而存儲的關鍵就在於在提高存儲性能的同時減少或至少維持經營成本和資本的支出。1.精簡配置在3Par被惠普收購之前。自動精簡配置技術在配置存儲容量方面起著極其重要的作用。在SAN的初期,企業實際花費更大的力氣來保證預期的數據增長。精簡資源調配可幫助企業有能力提供他們所需要的,同時保證增加需要的容量而無需創建新的LUNs(logical unit numbers)。2.面向對象存儲和REST(Representational State Transfer)最初,這項技術似乎對雲計算有更大的影響。現在越來越多的企業認為數據更適合存儲在公共雲之上。同時HTTP將有可能成為一種傳輸的手段,利用REST方法來移動和存儲數據,並提供豐富的元數據和相關的數據說明。當你看到這種跨廣域網案例在數據中心紮根時請不要驚訝。3.廣域網優化企業可通過廣域網優化產品來提升網路的效率,如廣域數據服務商Riverbed。這樣做可有效減少通過廣域網發送、刪除重復數據和壓縮數據的通信量。並可顯著節省存儲空間、降低延遲、降低企業廣域網帶寬相關費用等好處。通過廣域網的優化企業可在世界各地查看和創建數據,就像在區域網內部一樣。4.分層存儲隨著企業需求的成本平衡以及性能需求,將需要存儲的數據放在最好的媒介上以匹配數據的價值和性能是非常必要的。對於一些不需要頻繁訪問的數據不一定存儲在SSD或更高性能的磁碟驅動器上。現今供應商提供的存儲產品具備根據訪問模式自動布局數據的功能。企業應該了解數據存放在介質上形式以及數據模型的增長,以便在作出購買決定之前更好的了解擴展容量和性能的成本。5.向外擴展的NAS傳統規模的NAS模型在中小型企業中所佔的市場份額越來越小。它正被向外擴展的方式所替代。並開始逐步添加企業在集群方式下提高容量和性能的能力。同時構建一個全局命名空間,並在其中工作。這樣可有效簡化存儲配置,還可大幅降低總成本。6.性能層的設備設備較少的關注基於NAS管理容量的能力。設備更多的關注存儲的數據如何以最高的效率移動數據。NAS的優化是使IOPS返回到NAS之中,設備可以不承擔所有繁重計算,這些任務全都由NAS負責。其帶來的結果是提高性能並減少資本和運營開支。7.FCoEFCoE(乙太網光纖通道)可幫助企業在乙太網基礎設備中擴展光纖通道。這可有效節省基礎設施的開銷。包括電纜和電源管理方面。而現今大多數人還不太了解FCoE。而且也沒有iSCSI和FCoE競爭的消息。但是這並不意味著FCoE不會成為未來的重要技術。基於文件的存儲的增長率已超過了數據塊的存儲。所以光纖通道和FCoE將會存在下去。做出新的選擇並不會為你的當前的基礎結構或數據中心帶來風險。

⑵ 什麼是網路存儲技術

網路存儲技術(Network Storage Technologies)是基於數據存儲的一種通用網路術語。

網路存儲結構大致分為三種:直連式存儲(DAS:Direct Attached Storage)、網路存儲設備(NAS:Network Attached Storage)和存儲網路(SAN:Storage Area Network)。

DAS:這是一種直接與主機系統相連接的存儲設備,如作為伺服器的計算機內部硬體驅動。到目前為止,DAS 仍是計算機系統中最常用的數據存儲方法。
DAS即直連方式存儲,英文全稱是Direct Attached Storage。中文翻譯成「直接附加存儲」。顧名思義,在這種方式中,存儲設備是通過電纜(通常是SCSI介面電纜)直接到伺服器的。I/O(輸入/輸出)請求直接發送到存儲設備。DAS,也可稱為SAS(Server-Attached Storage,伺服器附加存儲)。它依賴於伺服器,其本身是硬體的堆疊,不帶有任何存儲操作系統。

NAS:按字面簡單說就是連接在網路上,具備資料存儲功能的裝置,因此也稱為「網路存儲器」。它是一種專用數據存儲伺服器。它以數據為中心,將存儲設備與伺服器徹底分離,集中管理數據,從而釋放帶寬、提高性能、降低總擁有成本、保護投資。其成本遠遠低於使用伺服器存儲,而效率卻遠遠高於後者。目前國際著名的NAS企業有Netapp、EMC、OUO等。

SAN:是一種高速網路或子網路,提供在計算機與存儲系統之間的數據傳輸。存儲設備是指一張或多張用以存儲計算機數據的磁碟設備。一個 SAN 網路由負責網路連接的通信結構、負責組織連接的管理層、存儲部件以及計算機系統構成,從而保證數據傳輸的安全性和力度。

⑶ 網路存儲技術的工作原理是什麼有圖解釋么

網路存儲技術(Network Storage Technologies)是基於數據存儲的一種通用網路術語。網路存儲結構大致分為三種:直連式存儲(DAS:Direct Attached Storage)、網路存儲設備(NAS:Network Attached Storage)和存儲網路(SAN:Storage Area Network)。
網路存儲技術
直連式存儲(DAS):這是一種直接與主機系統相連接的存儲設備,如作為伺服器的計算機內部硬體驅動。到目前為止,DAS 仍是計算機系統中最常用的數據存儲方法。 DAS即直連方式存儲,英文全稱是Direct Attached Storage。中文翻譯成「直接附加存儲」。顧名思義,在這種方式中,存儲設備是通過電纜(通常是SCSI介面電纜)直接到伺服器的。I/O(輸入/輸入)請求直接發送到存儲設備。DAS,也可稱為SAS(Server-Attached Storage,伺服器附加存儲)。它依賴於伺服器,其本身是硬體的堆疊,不帶有任何存儲操作系統。
DAS的適用環境為:
1) 伺服器在地理分布上很分散,通過SAN(存儲區域網路)或NAS(網路直接存儲)在它們之間進行互連非常困難時(商店或銀行的分支便是一個典型的例子); 2) 存儲系統必須被直接連接到應用伺服器(如Microsoft Cluster Server或某些資料庫使用的「原始分區」)上時; 3) 包括許多資料庫應用和應用伺服器在內的應用,它們需要直接連接到存儲器上,群件應用和一些郵件服務也包括在內。 典型DAS結構如圖所示: 典型DAS結構如圖所示
對於多個伺服器或多台PC的環境,使用DAS方式設備的初始費用可能比較低,可是這種連接方式下,每台PC或伺服器單獨擁有自己的存儲磁碟,容量的再分配困難;對於整個環境下的存儲系統管理,工作煩瑣而重復,沒有集中管理解決方案。所以整體的擁有成本(TCO)較高。目前DAS基本被NAS所代替。下面是DAS與NAS的比較。 DAS與NAS的比較圖
網路存儲設備(NAS):NAS 是一種採用直接與網路介質相連的特殊設備實現數據存儲的機制。由於這些設備都分配有 IP 地址,所以客戶機通過充當數據網關的伺服器可以對其進行存取訪問,甚至在某些情況下,不需要任何中間介質客戶機也可以直接訪問這些設備。
NAS網路存儲器
1. 最大存儲容量
最存儲大存儲容量是指NAS存儲設備所能存儲數據容量的極限,通俗的講,就是NAS設備能夠支持的最大硬碟數量乘以單個硬碟容量就是最大存儲容量。這個數值取決於NAS設備的硬體規格。不同的硬體級別,適用的范圍不同,存儲容量也就有所差別。通常,一般小型的NAS存儲設備會支持幾百GB的存儲容量,適合中小型公司作為存儲設備共享數據使用,而中高檔的NAS設備應該支持T級別的容量(1T=1000G)。
2. 處理器
同普通電腦類似,NAS產品也都具有自己的處理器(CPU)系統,來協調控制整個系統的正常運行。其採用的處理器也常常與台式機或伺服器的CPU大體相同。目前主要有以下幾類。 (1)Intel系列處理器 (4)AMD系列處理器 (5)PA-RISC型處理器 (6)PowerPC處理器 (7)MIPS處理器 一般針對中小型公司使用NAS產品採用AMD的處理器或Intel PIII/PIV等處理器。而大規模應用的NAS產品則使用Intel Xeon處理器、或者RISC型處理器等。但是也不能一概而論,視具體應用和廠商規劃而定。
3. 內存
NAS從結構上講就是一台精簡型的電腦,每台NAS設備都配備了一定數量的內存,而且大多用戶以後可以擴充。在NAS設備中,常見的內存類型由SDRAM(同步內存)、FLASH(快閃記憶體)等。不同的NAS產品出廠時配備的內存容量不同,一般為幾十兆到數GB(1GB=1000MB)容量不等,這取決於NAS產品的應用范圍,一般來講,應用在小規模的區域網當中的NAS,如果只是應付幾台設備的訪問,64M以下內存容量即可。如果是上百個節點以上的訪問,就得需要上G容量的內存。當然,這不是絕對的因素,NAS產品的綜合性能發揮還取決於它的處理器能力、硬碟速度及其網路實際環境等因素的制約。總之,選購NAS產品時,應該綜合考慮各個方面的性能參數。
4. 介面
NAS產品的外部介面比較簡單,由於只是通過內置網卡與外界通訊,所以一般只具有乙太網絡介面,通常是RJ45規格,而這種介面網卡一般都是100M網卡或1000M網卡。另外,也有部分NAS產品需要與SAN(存儲區域網路)產品連接提供更為強大的功能,所以也可能會有FC(Fiber Channel光纖通道)介面。
5. 預置軟體系統
預制操作系統是指NAS產品出廠時隨機帶的操作系統或者管理軟體。目前NAS產品一般帶有以下幾種系統軟體。 精簡的WINDOWS2000系統 這類系統只是保留了WINDOWS2000 SERVER系統核心網路中最重要的部分,能夠驅動NAS產品正常工作。我們可以把它理解為WINDOWS2000的「精簡版」。 FreeBSD嵌入式系統 FreeBSD是類UNIX系統,在網路應用方面具備極其優異的性能。 Linux嵌入式系統 Linux系統類似於UNIX操組系統,但相比之下具有界面友好、內核升級迅速等特點。常常用來作為電器等產品的嵌入式控制系統。
6. 網路管理
網路管理,是指網路管理員通過網路管理程序對網路上的資源進行集中化管理的操作,包括配置管理、性能和記賬管理、問題管理、操作管理和變化管理等。一台設備所支持的管理程度反映了該設備的可管理性及可操作性。 一般的網路滿足SNMP MIB I / MIB II統計管理功能。常見的網路管理方式有以下幾種: (1)SNMP管理技術 (2)RMON管理技術 (3)基於WEB的網路管理 SNMP是英文「Simple Network Management Protocol」的縮寫,中文意思是「簡單網路管理協議」。SNMP首先是由Internet工程任務組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問題而提出的。 SNMP是目前最常用的環境管理協議。SNMP被設計成與協議無關,所以它可以在IP,IPX,AppleTalk,OSI以及其他用到的傳輸協議上被使用。SNMP是一系列協議組和規范(見下表),它們提供了一種從網路上的設備中收集網路管理信息的方法。SNMP也為設備向網路管理工作站報告問題和錯誤提供了一種方法。 目前,幾乎所有的網路設備生產廠家都實現了對SNMP的支持。領導潮流的SNMP是一個從網路上的設備收集管理信息的公用通信協議。設備的管理者收集這些信息並記錄在管理信息庫(MIB)中。這些信息報告設備的特性、數據吞吐量、通信超載和錯誤等。MIB有公共的格式,所以來自多個廠商的SNMP管理工具可以收集MIB信息,在管理控制台上呈現給系統管理員。 通過將SNMP嵌入數據通信設備,如交換機或集線器中,就可以從一個中心站管理這些設備,並以圖形方式查看信息。目前可獲取的很多管理應用程序通常可在大多數當前使用的操作系統下運行,如Windows3.11、Windows95 、Windows NT和不同版本UNIX的等。 一個被管理的設備有一個管理代理,它負責向管理站請求信息和動作,代理還可以藉助於陷阱為管理站提供站動提供的信息,因此,一些關鍵的網路設備(如集線器、路由器、交換機等)提供這一管理代理,又稱SNMP代理,以便通過SNMP管理站進行管理。
7. 網路協議
網路協議即網路中(包括互聯網)傳遞、管理信息的一些規范。如同人與人之間相互交流是需要遵循一定的規矩一樣,計算機之間的相互通信需要共同遵守一定的規則,這些規則就稱為網路協議。 一台計算機只有在遵守網路協議的前提下,才能在網路上與其他計算機進行正常的通信。網路協議通常被分為幾個層次,每層完成自己單獨的功能。通信雙方只有在共同的層次間才能相互聯系。常見的協議有:TCP/IP協議、IPX/SPX協議、NetBEUI協議等。在區域網中用得的比較多的是IPX/SPX.。用戶如果訪問Internet,則必須在網路協議中添加TCP/IP協議。 TCP/IP是「transmission Control Protocol/Internet Protocol」的簡寫,中文譯名為傳輸控制協議/互聯網路協議)協議, TCP/IP(傳輸控制協議/網間協議)是一種網路通信協議,它規范了網路上的所有通信設備,尤其是一個主機與另一個主機之間的數據往來格式以及傳送方式。TCP/IP是INTERNET的基礎協議,也是一種電腦數據打包和定址的標准方法。在數據傳送中,可以形象地理解為有兩個信封,TCP和IP就像是信封,要傳遞的信息被劃分成若干段,每一段塞入一個TCP信封,並在該信封面上記錄有分段號的信息,再將TCP信封塞入IP大信封,發送上網。在接受端,一個TCP軟體包收集信封,抽出數據,按發送前的順序還原,並加以校驗,若發現差錯,TCP將會要求重發。因此,TCP/IP在INTERNET中幾乎可以無差錯地傳送數據。 對普通用戶來說,並不需要了解網路協議的整個結構,僅需了解IP的地址格式,即可與世界各地進行網路通信。 IPX/SPX是基於施樂的XEROX』S Network System(XNS)協議,而SPX是基於施樂的XEROX』S SPP(Sequenced Packet Protocol:順序包協議)協議,它們都是由novell公司開發出來應用於區域網的一種高速協議。它和TCP/IP的一個顯著不同就是它不使用ip地址,而是使用網卡的物理地址即(MAC)地址。在實際使用中,它基本不需要什麼設置,裝上就可以使用了。由於其在網路普及初期發揮了巨大的作用,所以得到了很多廠商的支持,包括microsoft等,到現在很多軟體和硬體也均支持這種協議。 NetBEUI即NetBios Enhanced User Interface ,或NetBios增強用戶介面。它是NetBIOS協議的增強版本,曾被許多操作系統採用,例如Windows for Workgroup、Win 9x系列、Windows NT等。NETBEUI協議在許多情形下很有用,是WINDOWS98之前的操作系統的預設協議。總之NetBEUI協議是一種短小精悍、通信效率高的廣播型協議,安裝後不需要進行設置,特別適合於在「網路鄰居」傳送數據。所以建議除了TCP/IP協議之外,區域網的計算機最好也安上NetBEUI協議。另外還有一點要注意,如果一台只裝了TCP/IP協議的WINDOWS98機器要想加入到WINNT域,也必須安裝NetBEUI協議。
8. 網路文件協議
網路文件系統是基於網路的分布式文件系統,其文件系統樹的各節點可以存在於不同的聯網計算機甚至不同的系統平台上,可以用來提供跨平台的信息存儲與共享。 當今最主要的兩大網路文件系統是Sun提出的NFS(Network File System)以及由微軟、EMC和NetApp提出的CIFS(Common Internet File System),前者主要用於各種Unix平台,後者則主要用於Windows平台,我們熟悉的「網上鄰居」的文件共享方式就是基於CIFS系統的。其他著名的網路文件系統還有Novell公司的NCP(網路控制協議)、Apple公司的AFP以及卡內基-梅隆大學的Coda等,NAS的主要功能之一便是通過各種網路文件系統提供存儲服務。
9. 網路備份軟體
目前在數據存儲領域可以完成網路數據備份管理的軟體產品主要有Legato公司的NetWorker、IBM公司 的Tivoli、Veritas公司 的NetBackup等。另外有些操作系統,諸如Unix的tar/cpio、Windows2000/NT的Windows Backup、Netware的Sbackup也可以作為NAS的備份軟體。
NetBackup
NetBackup是Veritas公司推出的適用於中型和大型的存儲系統的備份軟體,可以廣泛的支持各種開放平台。另外該公司還推出了適合低端的備份軟體Backup Exec。
NetWorker
NetWorker是Legato公司推出的備份軟體,它適用於大型的復雜網路環境,具有各種先進的備份技術機制,廣泛的支持各種開放系統平台。值得一提的是, NetWorker中的Cellestra技術第一個在產品上實現了Serverless Backup(無伺服器備份)的思想。
IBM Tivoli
IBM Tivoli是IBM公司推出的備份軟體,與Veritas的NetBackup和Legato的NetWorker相比,Tivoli Storage Manager更多的適用於IBM主機為主的系統平台,其強大的網路備份功能可以勝任大規模的海量存儲系統的備份需要。 此外,CA公司原來的備份軟體ARCServe,在低端市場具有相當廣泛的影響力。其新一代備份產品--BrightStor,定位直指中高端市場,也具有不錯的性能。 選購備份軟體時,應該根據不同的用戶需要選擇合適的產品,理想的網路備份軟體系統應該具備以下功能:
集中式管理
網路存儲備份管理系統對整個網路的數據進行管理。利用集中式管理工具的幫助,系統管理員可對全網的備份策略進行統一管理,備份伺服器可以監控所有機器的備份作業,也可以修改備份策略,並可即時瀏覽所有目錄。所有數據可以備份到同備份伺服器或應用伺服器相連的任意一台磁帶庫內。
全自動的備份
備份軟體系統應該能夠根據用戶的實際需求,定義需要備份的數據,然後以圖形界面方式根據需要設置備份時間表,備份系統將自動啟動備份作業,無需人工干預。這個自動備份作業是可自定的,包括一次備份作業、每周的某幾日、每月的第幾天等項目。設定好計劃後,備份作業就會按計劃自動進行。
資料庫備份和恢復
在許多人的觀念里,資料庫和文件還是一個概念。當然,如果你的資料庫系統是基於文件系統的,當然可以用備份文件的方法備份資料庫。但發展至今,資料庫系統已經相當復雜和龐大,再用文件的備份方式來備份資料庫已不適用。是否能夠將需要的數據從龐大的資料庫文件中抽取出來進行備份,是網路備份系統是否先進的標志之一。
在線式的索引
備份系統應為每天的備份在伺服器中建立在線式的索引,當用戶需要恢復時,只需點取在線式索引中需要恢復的文件或數據,該系統就會自動進行文件的恢復。
歸檔管理
用戶可以按項目、時間定期對所有數據進行有效的歸檔處理。提供統一的Open Tape Format 數據存儲格式從而保證所有的應用數據由一個統一的數據格式作為永久的保存,保證數據的永久可利用性。
有效的媒體管理
備份系統對每一個用於作備份的磁帶自動加入一個電子標簽,同時在軟體中提供了識別標簽的功能,如果磁帶外面的標簽脫落,只需執行這一功能,就會迅速知道該磁帶的內容。
滿足系統不斷增加的需求
備份軟體必須能支持多平台系統,當網路上連接上其它的應用伺服器時,對於網路存儲管理系統來說,只需在其上安裝支持這種伺服器的客戶端軟體即可將數據備份到磁帶庫或光碟庫中。
10. 網站瀏覽器支持
網站瀏覽器支持是指能否夠通過WEB(就是WWW,俗稱互聯網)手段對NAS產品進行管理,以及管理時使用的瀏覽器類型。絕大部分的NAS產品都支持WEB管理,這樣的好處是管理方便,用戶在任何地方只要能夠上網就可以輕松的管理NAS設備。 目前NAS產品支持的常用瀏覽器有微軟的IE(Internet Explorer)瀏覽器以及網景公司的Netscape瀏覽器。
11. 網路服務
網路服務是指NAS產品在運行時系統能夠提供何種服務。典型的網路服務有DHCP、DNS、FTP、Telnet、WINS、SMTP等。
DHCP
DHCP的全名是「Dynamic Host Configuration Protocol」,即動態主機配置協議。在使用DHCP的網路里,用戶的計算機可以從DHCP伺服器那裡獲得上網的參數,幾乎不需要做任何手工的配置就可以上網。 一般情況下,DHCP伺服器會盡量保持每台計算機使用同一個IP地址上網。如果計算機長時間沒有上網或配置為使用靜態地址上網,DHCP伺服器就會把這個地址分配給其他計算機。
WINS
WINS是「Windows Internet Name Service」的簡稱,中文為Windows網際命名服務,WINS伺服器主要用於NetBIOS名字(計算機名稱)服務,它處理的是NetBIOS計算機名(Computer Name),所以也被稱為NetBIOS名字伺服器(NBNS,NetBIOS Name Server)。WINS伺服器可以登記WINS-enabled工作站(下面簡稱為「WINS工作站」)的計算機名、IP地址、DNS域名等數據,當工作站查詢名字時,它又可以將這些數據提供給工作站。
DNS
DNS,Domain Name System或者Domain Name Service(域名系統或者余名服務)。域名系統為Internet上的主機分配域名地址和IP地址。用戶使用域名地址,該系統就會自動把域名地址轉為IP地址。域名服務是運行域名系統的Internet工具。執行域名服務的伺服器稱之為DNS伺服器,通過DNS伺服器來應答域名服務的查詢。
FTP
文件傳輸協議FTP(File Transfer Protocol)是Internet傳統的服務之一。FTP使用戶能在兩個聯網的計算機之間傳輸文件,它是Internet傳遞文件最主要的方法。使用匿名(Anonymous)FTP, 用戶可以免費獲取Internet豐富的資源。除此之外,FTP還提供登錄、目錄查詢、文件操作及其他會話控制功能。
SMTP
SMTP(Simple Mail Transfer Protocol)即簡單郵件傳輸協議,它是一組用於由源地址到目的地址傳送郵件的規則,由它來控制信件的中轉方式。SMTP協議屬於TCP/IP協議族,它幫助每台計算機在發送或中轉信件時找到下一個目的地。通過SMTP協議所指定的伺服器,我們就可以把E-mail寄到收信人的伺服器上了,整個過程只要幾分鍾。SMTP伺服器則是遵循SMTP協議的發送郵件伺服器,用來發送或中轉你發出的電子郵件。
Telnet
有的時候我們需要運行一些很大的程序,而自己的PC又達不到運行這個程序所必須的配置,在這種情況下,我們可以通過網路連接上一台功能強大的計算機,並且把自己的PC模擬成那台計算機的終端,進而達到在該計算機上運行程序的目的。這種利用網路遠程登錄到其他計算機上,並且以虛擬終端方式遙控程序運行的做法就是TELNET。隨著計算機硬體的發展,目前TELNET在一般網路用戶中已經不是很普遍了,但是對於網路管理員來說,它仍然是個得力助手。
12. 網路安全
網路安全是指網路系統的硬體、軟體及其系統中的數據受到保護,不受偶然的或者惡意的原因而遭到破壞、更改、泄露,系統連續可靠正常地運行,網路服務不中斷。 網路安全實際上包括兩部分:網路的安全和主機系統的安全。網路安全主要通過設置防火牆來實現,也可以考慮在路由器上設置一些數據包過濾的方法防止來自Internet上的黑客的攻擊。至於系統的安全則需根據不同的操作系統來修改相關的系統文件,合理設置用戶許可權和文件屬性。 NAS產品的網路安全應具有以下四個方面的特徵: 保密性:信息不泄露給非授權用戶、實體或過程,或供其利用的特性。 完整性: 數據未經授權不能進行改變的特性。即信息在存儲或傳輸過程中保持不被修 改、不被破壞和丟失的特性。 可用性:可被授權實體訪問並按需求使用的特性。即當需要時能否存取所需的信息。例 如網路環境下拒絕服務、破壞網路和有關系統的正常運行等都屬於對可用性的攻擊; 可控性:對信息的傳播及內容具有控制能力。
13. NAS
NAS是英文「Network Attached Storage」的縮寫, 中文意思是「網路附加存儲」。按字面簡單說就是連接在網路上, 具備資料存儲功能的裝置,因此也稱為「網路存儲器」或者「網路磁碟陣列」。 從結構上講,NAS是功能單一的精簡型電腦,因此在架構上不像個人電腦那麼復雜,在外觀上就像家電產品,只需電源與簡單的控制鈕, 結構圖如下: NAS是一種專業的網路文件存儲及文件備份設備,它是基於LAN(區域網)的,按照TCP/IP協議進行通信,以文件的I/O(輸入/輸出)方式進行數據傳輸。在LAN環境下,NAS已經完全可以實現異構平台之間的數據級共享,比如NT、UNIX等平台的共享。 一個NAS系統包括處理器,文件服務管理模塊和多個硬碟驅動器(用於數據的存儲)。 NAS 可以應用在任何的網路環境當中。主伺服器和客戶端可以非常方便地在NAS上存取任意格式的文件,包括SMB格式(Windows)NFS格式(Unix, Linux)和CIFS(Common Internet File System)格式等等。典型的NAS的網路結構如下圖所示: 存儲網路(SAN):SAN 是指存儲設備相互連接且與一台伺服器或一個伺服器群相連的網路。其中的伺服器用作 SAN 的接入點。在有些配置中,SAN 也與網路相連。SAN 中將特殊交換機當作連接設備。它們看起來很像常規的乙太網絡交換機,是 SAN 中的連通點。SAN 使得在各自網路上實現相互通信成為可能,同時並帶來了很多有利條件。 SAN英文全稱:Storage Area Network,即存儲區域網路。它是一種通過光纖集線器、光纖路由器、光纖交換機等連接設備將磁碟陣列、磁帶等存儲設備與相關伺服器連接起來的高速專用子網。 SAN由三個基本的組件構成:介面(如SCSI、光纖通道、ESCON等)、連接設備(交換設備、網關、路由器、集線器等)和通信控制協議(如IP和SCSI等)。這三個組件再加上附加的存儲設備和獨立的SAN伺服器,就構成一個SAN系統。SAN提供一個專用的、高可靠性的基於光通道的存儲網路,SAN允許獨立地增加它們的存儲容量,也使得管理及集中控制(特別是對於全部存儲設備都集群在一起的時候)更加簡化。而且,光纖介面提供了10 km的連接長度,這使得物理上分離的遠距離存儲變得更容易.

⑷ 誰能介紹一下存儲虛擬化技術優勢

飛康 NSS SED (Service-Enabled Devices)作為存儲虛擬化技術的先驅之一,飛康的IPStor/NSS 存儲虛擬化產品在2001年就已經出現在市場上,截止2014年已經正式發布了其第七代存儲虛擬化產品,技術成熟度和廣泛的應用范圍都具備良好的可參考性。飛康自創立以來,一直堅持開放硬體的態度,獲得眾多用戶和第三方存儲廠商的親睞,很多國內外存儲廠商的技術人員都曾經接觸過該產品。飛康官方宣稱,以OEM方式或自主品牌銷售的NSS產品安裝量已超過數萬套。豐富而實用的功能設計以及長期經受市場考驗的產品穩定性和可靠性,應該是飛康IPStor/NSS產品的主要特點。
飛康 NSS 存儲虛擬化接入技術原理非常便於理解。飛康 NSS 在接管底層存儲子系統的磁碟卷時,可以採用兩種方式來實現接入:一種是將底層磁碟卷直接虛擬化為Virtual Disk(虛擬磁碟)以供NSS管理和分配;另一種可將磁碟卷轉換為SED(Service-Enabled Devices)磁碟設備以供NSS管理和分配。當轉換為SED設備時,磁碟卷原有數據不會被修改,可以快速通過NSS分配給主機系統,整個接入過程非常簡單,不需要數據遷移,停機時間很少,當然也可以實現快速回退,磁碟重新分配給原主機系統,可以被正確識別和使用。

⑸ 如何解決伺服器虛擬化中的存儲問題

但也因為虛擬化的特性,為承載環境中不斷增長的虛擬機,需要擴容存儲以滿足性能與容量的使用需求。IT經理們已經發現,那些因伺服器虛擬化所節省的資金都逐漸投入存儲購買的方案上了。 伺服器虛擬化因虛擬機蔓延、虛擬機中用於備份與災難恢復軟體配置的問題,讓許多組織徹底改變了原有的數據備份與災難恢復策略。EMC、Hitachi Data System、IBM、NetApp和Dell等都致力於伺服器虛擬化存儲問題,提供包括存儲虛擬化、重復數據刪除與自動化精簡配置等解決方案。 伺服器虛擬化存儲問題出現在數據中心虛擬化環境中傳統的物理存儲技術。導致虛擬伺服器蔓延的部分原因,在於虛擬伺服器可能比物理伺服器多消耗約30%左右的磁碟空間。還可能存在虛擬機「I/O 攪拌機」問題:傳統存儲架構無法有效管虛擬機產生的混雜模式隨機I/O。虛擬化環境下的虛擬存儲管理遠比傳統環境復雜——管理虛擬機就意味著管理存儲空間。解決伺服器虛擬化存儲問題 作為一名IT經理,你擁有解決此類伺服器虛擬化存儲問題的幾個選項,我們從一些實用性較低的方案開始介紹。其中一項便是以更慢的速度部署虛擬機。你可以在每台宿主上運行更少的虛擬機,降低「I/O混合器」問題出現的可能性。另外一個方法則是提供額外存儲,但價格不菲。 一個更好的選擇是在采購存儲設備時,選擇更智能的型號並引入諸如存儲虛擬化,重復數據刪除與自動化精簡配置技術。採用這一戰略意味著新技術的應用,建立與新產商的合作關系,例如Vistor、DataCore與FalconStor。將存儲虛擬化作為解決方案 許多分析師與存儲提供商推薦存儲虛擬化,作為伺服器虛擬化存儲問題的解決方案。即使沒有出現問題,存儲虛擬化也可以減少數據中心開支,提高商業靈活性並成為任何私有雲的重要組件之一。 概念上來說,存儲虛擬化類似伺服器虛擬化。將物理存儲系統抽象,隱藏復雜的物理存儲設備。存儲虛擬化將來自於多個網路存儲設備的資源整合為資源池,對外部來說,相當於單個存儲設備,連同虛擬化的磁碟、塊、磁帶系統與文件系統。存儲虛擬化的一個優勢便是該技術可以幫助存儲管理員管理存儲設備,提高執行諸如備份/恢復與歸檔任務的效率。 存儲虛擬化架構維護著一份虛擬磁碟與其他物理存儲的映射表。虛擬存儲軟體層(邏輯抽象層)介於物理存儲系統與運行的虛擬伺服器之間。當虛擬伺服器需要訪問數據時,虛擬存儲抽象層提供虛擬磁碟與物理存儲設備之間的映射,並在主機與物理存儲間傳輸數據。 只要理解了伺服器虛擬化技術,存儲虛擬化的區別僅在於採用怎樣的技術來實現。容易混淆的主要還是在於存儲提供商用於實現存儲虛擬化的不同方式,可能直接通過存儲控制器也可能通過SAN應用程序。同樣的,某些部署存儲虛擬化將命令和數據一起存放(in-band)而其他可能將命令與數據路徑分離(out-of-band)。 存儲虛擬化通過許多技術實現,可以是基於軟體、主機、應用或基於網路的。基於主機的技術提供了一個虛擬化層,並扮演為應用程序提供單獨存儲驅動分區的角色。基於軟體的技術管理著基於存儲網路的硬體設施。基於網路的技術與基於軟體的技術類似,但工作於網路交換層。 存儲虛擬化技術也有一些缺陷。實現基於主機的存儲虛擬化工具實際上就是卷管理器,而且已經流傳了好多年。伺服器上的卷管理器用於配置多個磁碟並將其作為單一資源管理,可以在需要的時候按需分割,但這樣的配置需要在每台伺服器上配置。此解決方式最適合小型系統使用。 基於軟體的技術,每台主機僅需要通過應用軟體查詢是否有存儲單元可用,而軟體將主機需求重定向至存儲單元。因為基於軟體的應用通過同樣的鏈路寫入塊數據與控制信息(metadata),所以可能存有潛在瓶頸,影響主機數據傳輸的速度。為了降低延遲,應用程序通常需要維護用於讀取與寫入操作的緩存,這也增加了其應用的價格。伺服器虛擬化存儲創新:自動化精簡配置與重復數據刪除 存儲技術的兩個創新,自動化精簡配置與重復數據刪除,同樣是減少伺服器虛擬化環境對存儲容量需求的解決方案。這兩項革新可以與存儲虛擬化結合,以提供牢固可靠的存儲容量控制保障。 自動精簡配置讓存儲「走的更遠」,可減少已分配但沒有使用的容量。其功能在於對數據塊按需分配,而不是對所有容量需求進行預先分配。此方法可以減少幾乎所有空白空間,幫助避免利用率低下的情況出現,通常可以降低10%的磁碟開銷,避免出現分配大量存儲空間給某些獨立伺服器,卻一直沒有使用的情況。 在許多伺服器部署需求中,精簡配置可通過普通存儲資源池提供應用所需的存儲空間。在這樣的條件下,精簡配置可以與存儲虛擬化綜合應用。 重復數據刪除從整體上檢測與刪除位於存儲介質或文件系統中的重復數據。檢測重復數據可在文件、位元組或塊級別進行。重復數據刪除技術通過確定相同的數據段,並通過一份簡單的拷貝替代那些重復數據。例如,文件系統中有一份相同的文檔,在50個文件夾(文件)中,可以通過一份單獨的拷貝與49個鏈接來替代原文件。 重復數據刪除可以應用與伺服器虛擬化環境中以減少存儲需求。每個虛擬伺服器包含在一個文件中,有時文件會變得很大。虛擬伺服器的一個功能便是,系統管理員可以在某些時候停下虛擬機,復制並備份。其可以在之後重啟,恢復上線。這些備份文件存儲於文件伺服器的某處,通常在文件中會有重復數據。沒有重復數據刪除技術支持,很容易使得備份所需的存儲空間急劇增長。改變購買存儲設備的觀念 即使通過存儲虛擬化,重復數據刪除與精簡配置可以緩解存儲數容量增長的速度,組織也可能需要改變其存儲解決方案購買標准。例如,如果你購買的存儲支持重復數據刪除,你可能不再需要配置原先規劃中那麼多的存儲容量。支持自動化精簡配置,存儲容量利用率可以自動提高並接近100%,而不需要管理員費心操作維護。 傳統存儲購買之前,需要評估滿足負載所需的存儲能力基線、三年時間存儲潛在增長率、存儲擴展能力與解決存儲配置文件,還有擬定相關的采購合同。以存儲虛擬化與雲計算的優勢,購買更大容量的傳統存儲將越來越不實際,尤其在預算仍是購買存儲最大的限制的情況下。以下是一些簡單的存儲購買指導: 除非設計中明確說明,不要購買僅能解決單一問題的存儲方案。這樣的做法將導致購買的存儲架構無法與其他系統共享使用。 ·關注那些支持多協議並提供更高靈活性的存儲解決方案。 ·考慮存儲解決方案所能支持的應用/負載范圍。 ·了解能夠解決存儲問題的技術與方案,例如重復數據刪除與自動化精簡配置等。 ·了解可以降低系統管理成本的存儲管理軟體與自動化工具。 許多組織都已經在內部環境中多少實施了伺服器虛擬化,並考慮如何在現有存儲硬體與伺服器上實現私有雲。存儲預算應用於購買合適的硬體或軟體,這點十分重要。不要將僅將注意力集中在低價格上。相反,以業務問題為出發點,提供解決問題最有價值的存儲解決方案才是王道。

⑹ 如何解決伺服器虛擬化中遇到的存儲問題

但也因為虛擬化的特性,為承載環境中不斷增長的虛擬機,需要擴容存儲以滿足性能與容量的使用需求。IT經理們已經發現,那些因伺服器虛擬化所節省的資金都逐漸投入存儲購買的方案上了。 伺服器虛擬化因虛擬機蔓延、虛擬機中用於備份與災難恢復軟體配置的問題,讓許多組織徹底改變了原有的數據備份與災難恢復策略。一些廠商致力於伺服器虛擬化存儲問題,提供包括存儲虛擬化、重復數據刪除與自動化精簡配置等解決方案。 伺服器虛擬化存儲問題出現在數據中心虛擬化環境中傳統的物理存儲技術。導致虛擬伺服器蔓延的部分原因,在於虛擬伺服器可能比物理伺服器多消耗約30%左右的磁碟空間。還可能存在虛擬機「I/O 攪拌機」問題:傳統存儲架構無法有效管虛擬機產生的混雜模式隨機I/O。虛擬化環境下的虛擬存儲管理遠比傳統環境復雜——管理虛擬機就意味著管理存儲空間。 解決伺服器虛擬化存儲問題 作為一名IT經理,你擁有解決此類伺服器虛擬化存儲問題的幾個選項,我們從一些實用性較低的方案開始介紹。其中一項便是以更慢的速度部署虛擬機。你可以在每台宿主上運行更少的虛擬機,降低「I/O混合器」問題出現的可能性。另外一個方法則是提供額外存儲,但價格不菲。 一個更好的選擇是在采購存儲設備時,選擇更智能的型號並引入諸如存儲虛擬化,重復數據刪除與自動化精簡配置技術。採用這一戰略意味著新技術的應用,建立與新產商的合作關系。 將存儲虛擬化作為解決方案 許多分析師與存儲提供商推薦存儲虛擬化,作為伺服器虛擬化存儲問題的解決方案。即使沒有出現問題,存儲虛擬化也可以減少數據中心開支,提高商業靈活性並成為任何私有雲的重要組件之一。 概念上來說,存儲虛擬化類似伺服器虛擬化。將物理存儲系統抽象,隱藏復雜的物理存儲設備。存儲虛擬化將來自於多個網路存儲設備的資源整合為資源池,對外部來說,相當於單個存儲設備,連同虛擬化的磁碟、塊、磁帶系統與文件系統。存儲虛擬化的一個優勢便是該技術可以幫助存儲管理員管理存儲設備,提高執行諸如備份/恢復與歸檔任務的效率。 存儲虛擬化架構維護著一份虛擬磁碟與其他物理存儲的映射表。虛擬存儲軟體層(邏輯抽象層)介於物理存儲系統與運行的虛擬伺服器之間。當虛擬伺服器需要訪問數據時,虛擬存儲抽象層提供虛擬磁碟與物理存儲設備之間的映射,並在主機與物理存儲間傳輸數據。 只要理解了伺服器虛擬化技術,存儲虛擬化的區別僅在於採用怎樣的技術來實現。容易混淆的主要還是在於存儲提供商用於實現存儲虛擬化的不同方式,可能直接通過存儲控制器也可能通過SAN應用程序。

⑺ 自動精簡配置的簡介

自動精簡配置是解決存儲過量供給的最有效的方式。通過使應用程序只消耗必要的存儲資源來將塊或塊組寫入特定卷,自動精簡配置優化了存儲利用,使你不必再購買或維持超過實際所需的存儲。
但是隨著這項技術成為企業所採用的主流技術之一,用戶在自動精簡配置技術上開始碰到一些問題。根據其使用情況以及所處的數據環境,自動精簡配置實際上所產生的問題可能比它所解決的問題還要多。
對於那些有特別大的數據要求的用戶,應該對他們提出警告。大多數系統允許管理者設定一定的存儲資源專供指定的應用程序所使用,但是如果虛擬存儲池被突然地或過快地充滿地話,有可能在管理者在配置更多的物理存儲資源之前就變得過載。結果就是磁碟和應用程序錯誤使得整個系統運行極其緩慢。
為了維持精簡配置環境所增加的復雜性,可能其本身就開始妨礙其功能。管理一個自動精簡配置的存儲網路需要一定的內在智能和邏輯性。而且如果一旦發生故障,系統恢復的時間可能比傳統的硬碟系統還要慢。 同時也要認識到所有的自動精簡配置系統其內在都是一樣的。不同的特點和功能在不同的周圍環境下,可以幫助系統運作也可能妨害系統運作。
毫無疑問,自動精簡配置技術是一項非常有效的存儲管理工具,特別是在虛擬化對現有可用資源造成過大負擔的情況下。但是和任何發展中的技術一樣,揭開內部會發現一些不協調的地方。

⑻ 什麼是最佳的存儲方案

企業管理者們在編制年預算的過程中都在考慮什麼是最佳存儲方案?下面說一下我認為的最佳存儲建議不是基於任何的「新技術」,而是充分考慮了其實用性和價值,提供借鑒和參考。最佳存儲解決方案1:自動精簡配置(Thin Provisioning)技術自3Par公司被惠普收購之前,自動精簡配置技術在配置存儲容量方面一直發揮著極其重要的作用。我記得在存儲區域網路(SAN)的初期,就有這種假 設:隨著數據增長,有的企業的實際使用的存儲能力要超過預期的存儲能力配置。利用自動精簡配置,可以提供給企業所需要的,同時增加容量需求,而不用擔心超 出的新的LUN(邏輯單元號)。我從3Par內部了解到,該公司的技術來源於公司內部的技術專家為了響應挑戰和區分,這在當時並未意識到其將成就如此強大 的3Par.最佳存儲解決方案2:面向對象的存儲和REST(Representational State Transfer表述性狀態轉移)最初,從雲計算的角度來說,這一技術將帶來巨大的影響力。越來越多的企業習慣於將他們的數據存儲在公共雲服務。HTTP協議將有可能作為一種傳輸手 段,利用REST作為數據移動和存儲數據,同時提供豐富的元數據。最初,我看到的主要用例是通過廣域,但在長期運行狀況下看到其掌握可數據中心也並不感到 驚訝了。最佳存儲解決方案3:廣域網優化可以通過廣域網優化產品,如Riverbed技術獲得效率,這比較是極端的方法。通過刪除重復數據和壓縮其餘的流量,減少跨廣域網發送量,可以顯著 節省存儲空間,減少延遲和降低廣域網帶寬的相關費用。隨著企業可以自己查看和創建世界各地的數據,廣域網優化已然成為了使用戶能保持區域網類型訪問,同時 控制存儲,網路和存儲費用的關鍵。最佳存儲解決方案4:分級存儲隨著企業尋求成本和性能的平衡,通過最好的介質存儲數據的想法,以匹配數據的價值和性能預期變得越發有意義。不經常訪問的數據,不一定要存儲在 SSD或更高性能的磁碟驅動器上。廠商推出的存儲產品,功能基於訪問模式的自動數據布局。Flash可以構成一個存儲層,通常標示為0層,或作為緩存。這 有兩個好處。企業應該了解數據是如何放在介質上的以及模型數據的增長,以便決定購買之前更好地了解擴展容量和性能的成本。最佳存儲解決方案5:向外擴展的NAS(網路附加存儲)我們知道,傳統的NAS會變成一個中小型NAS市場。它將被向外擴展的NAS取代,向外擴展的NAS可以讓企業逐步添加容量和性能,構建一個全局命名空間。存儲配置可以大大簡化,並找到一個單一的存儲管理員管理數據的情況並不少見。可以大大降低總成本。最佳存儲解決方案6:表現層設備設備管理較少關注基於NAS的容量管理。這些存儲數據更關心以最高的效率移動數據。即,一個設備不僅緩存數據,還要加速其其安置。NAS的優化,使IOPS回到NAS,所有繁重的計算交給NAS.其結果是提高了性能並顯著減少資本和運營開支。最佳存儲解決方案7:FCoE(乙太網光纖通道)FCoE可以幫助企業通過在乙太網基礎設施擴展光纖通道。節省花費在基礎設施上的資金,包括電纜和電源管理,這真是一筆不小的開支。具有諷刺意味 的?是,我們不對於FCoE相關的東西了解的太少。我們也沒有聽到或讀到過有關iSCSI和光纖通道之間的競爭。但是,這並不意味著它不重要。乙太網獲 勝。許多企業公開承認有充足的數據塊和文件流量並承認正在尋找的產品來處理它們。雖然基於文件的存儲的增長速度超過塊級存儲,不要指望對於光纖通道或FCoE會很快消失。以上就是簡單介紹的七大最佳存儲解決方案,希望通過本文的介紹能對大家有些許的幫助。

⑼ 大數據 存儲技術必須跟上

大數據:存儲技術必須跟上
「大數據」 通常指的是那些數量巨大、難於收集、處理、分析的數據集,亦指那些在傳統基礎設施中長期保存的數據。這里的「大」有幾層含義,它可以形容組織的大小,而更重要的是,它界定了企業中IT基礎設施的規模。業內對大數據應用寄予了無限的期望 商業信息積累的越多價值也越大 只不過我們需要一個方法把這些價值挖掘出來。
也許人們對大數據的印象主要從存儲容量的廉價性而來,但實際上,企業每天都在創造大量的數據,而且越來越多,而人們正在努力的從浩如煙海的數據中尋覓有價值的商業情報。另一方面,用戶還會保存那些已經分析過的數據,因為這些舊數據可以與未來收集的新數據進行對照,依然有潛在的利用可能。
為什麼要大數據?為什麼是現在?
與以往相比,我們除了有能力存儲更多的數據量之外,還要面對更多的數據類型。這些數據的來源包括網上交易、網路社交活動、自動感測器、移動設備以及科學儀器等等。除了那些固定的數據生產源,各種交易行為還可能加快數據的積累速度。比如說,社交類多媒體數據的爆炸性增長就源於新的網上交易和記錄行為。數據永遠都在增長之中,但是,只有存儲海量數據的能力是不夠的,因為這並不能保證我們能夠成功地從中搜尋出商業價值。
數據是重要的生產要素
信息時代,數據儼然已成為一種重要的生產要素,如同資本、勞動力和原材料等其他要素一樣,而且作為一種普遍需求,它也不再局限於某些特殊行業的應用。各行各業的公司都在收集並利用大量的數據分析結果,盡可能的降低成本,提高產品質量、提高生產效率以及創造新的產品。例如,通過分析直接從產品測試現場收集的數據,能夠幫助企業改進設計。此外,一家公司還可以通過深入分析客戶行為,對比大量的市場數據,從而超越他的競爭對手。
存儲技術必須跟上
隨著大數據應用的爆發性增長,它已經衍生出了自己獨特的架構,而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的,就這個例子來說,我們很明顯的看到大數據分析應用需求正在影響著數據存儲基礎設施的發展。
從另一方面看,這一變化對存儲廠商和其他IT基礎設施廠商未嘗不是一個機會。隨著結構化數據和非結構化數據量的持續增長,以及分析數據來源的多樣化,此前存儲系統的設計已經無法滿足大數據應用的需要。存儲廠商已經意識到這一點,他們開始修改基於塊和文件的存儲系統的架構設計以適應這些新的要求。在這里,我們會討論哪些與大數據存儲基礎設施相關的屬性,看看它們如何迎接大數據的挑戰。
容量問題
這里所說的「大容量」通常可達到PB級的數據規模,因此,海量數據存儲系統也一定要有相應等級的擴展能力。與此同時,存儲系統的擴展一定要簡便,可以通過增加模塊或磁碟櫃來增加容量,甚至不需要停機。基於這樣的需求,客戶現在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節點除了具有一定的存儲容量之外,內部還具備數據處理能力以及互聯設備,與傳統存儲系統的煙囪式架構完全不同,Scale-out架構可以實現無縫平滑的擴展,避免存儲孤島。
「大數據」應用除了數據規模巨大之外,還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題,處理不當的話會影響到系統的擴展能力和性能,而傳統的NAS系統就存在這一瓶頸。所幸的是,基於對象的存儲架構就不存在這個問題,它可以在一個系統中管理十億級別的文件數量,而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力,可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。[page] 延遲問題
「大數據」應用還存在實時性的問題。特別是涉及到與網上交易或者金融類相關的應用。舉個例子來說,網路成衣銷售行業的在線廣告推廣服務需要實時的對客戶的瀏覽記錄進行分析,並准確的進行廣告投放。這就要求存儲系統在必須能夠支持上述特性同時保持較高的響應速度,因為響應延遲的結果是系統會推送「過期」的廣告內容給客戶。這種場景下,Scale-out架構的存儲系統就可以發揮出優勢,因為它的每一個節點都具有處理和互聯組件,在增加容量的同時處理能力也可以同步增長。而基於對象的存儲系統則能夠支持並發的數據流,從而進一步提高數據吞吐量。
有很多「大數據」應用環境需要較高的IOPS性能,比如HPC高性能計算。此外,伺服器虛擬化的普及也導致了對高IOPS的需求,正如它改變了傳統IT環境一樣。為了迎接這些挑戰,各種模式的固態存儲設備應運而生,小到簡單的在伺服器內部做高速緩存,大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
並發訪問 一旦企業認識到大數據分析應用的潛在價值,他們就會將更多的數據集納入系統進行比較,同時讓更多的人分享並使用這些數據。為了創造更多的商業價值,企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題,全局文件系統允許多個主機上的多個用戶並發訪問文件數據,而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。
安全問題
某些特殊行業的應用,比如金融數據、醫療信息以及政府情報等都有自己的安全標准和保密性需求。雖然對於IT管理者來說這些並沒有什麼不同,而且都是必須遵從的,但是,大數據分析往往需要多類數據相互參考,而在過去並不會有這種數據混合訪問的情況,因此大數據應用也催生出一些新的、需要考慮的安全性問題。
成本問題
「大」,也可能意味著代價不菲。而對於那些正在使用大數據環境的企業來說,成本控制是關鍵的問題。想控製成本,就意味著我們要讓每一台設備都實現更高的「效率」,同時還要減少那些昂貴的部件。目前,像重復數據刪除等技術已經進入到主存儲市場,而且現在還可以處理更多的數據類型,這都可以為大數據存儲應用帶來更多的價值,提升存儲效率。在數據量不斷增長的環境中,通過減少後端存儲的消耗,哪怕只是降低幾個百分點,都能夠獲得明顯的投資回報。此外,自動精簡配置、快照和克隆技術的使用也可以提升存儲的效率。[page] 很多大數據存儲系統都包括歸檔組件,尤其對那些需要分析歷史數據或需要長期保存數據的機構來說,歸檔設備必不可少。從單位容量存儲成本的角度看,磁帶仍然是最經濟的存儲介質,事實上,在許多企業中,使用支持TB級大容量磁帶的歸檔系統仍然是事實上的標准和慣例。
對成本控制影響最大的因素是那些商業化的硬體設備。因此,很多初次進入這一領域的用戶以及那些應用規模最大的用戶都會定製他們自己的「硬體平台」而不是用現成的商業產品,這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這一需求,現在越來越多的存儲產品都提供純軟體的形式,可以直接安裝在用戶已有的、通用的或者現成的硬體設備上。此外,很多存儲軟體公司還在銷售以軟體產品為核心的軟硬一體化裝置,或者與硬體廠商結盟,推出合作型產品。
數據的積累
許多大數據應用都會涉及到法規遵從問題,這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全,而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間,因為任何數據都是歷史記錄的一部分,而且數據的分析大都是基於時間段進行的。要實現長期的數據保存,就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。
靈活性
大數據存儲系統的基礎設施規模通常都很大,因此必須經過仔細設計,才能保證存儲系統的靈活性,使其能夠隨著應用分析軟體一起擴容及擴展。在大數據存儲環境中,已經沒有必要再做數據遷移了,因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用,就很難再調整了,因此它必須能夠適應各種不同的應用類型和數據場景。
應用感知
最早一批使用大數據的用戶已經開發出了一些針對應用的定製的基礎設施,比如針對政府項目開發的系統,還有大型互聯網服務商創造的專用伺服器等。在主流存儲系統領域,應用感知技術的使用越來越普遍,它也是改善系統效率和性能的重要手段,所以,應用感知技術也應該用在大數據存儲環境里。
小用戶怎麼辦?
依賴大數據的不僅僅是那些特殊的大型用戶群體,作為一種商業需求,小型企業未來也一定會應用到大數據。我們看到,有些存儲廠商已經在開發一些小型的「大數據」存儲系統,主要吸引那些對成本比較敏感的用戶。