1. 存儲技術發展歷史
最早的外置存儲器可以追溯到19世紀末。為了解決人口普查的需要,霍列瑞斯首先把穿孔紙帶改造成穿孔卡片。
他把每個人所有的調查項目依次排列於一張卡片,然後根據調查結果在相應項目的位置上打孔。在以後的計算機系統里,用穿孔卡片輸入數據的方法一直沿用到20世紀70年代,數據處理也發展成為電腦的主要功能之一。
2、磁帶
UNIVAC-I第一次採用磁帶機作外存儲器,首先用奇偶校驗方法和雙重運算線路來提高系統的可靠性,並最先進行了自動編程的試驗。此時這個磁帶長達1200英寸、包含8個磁軌,每英寸可存儲128bits,每秒可記錄12800個字元,容量也達到史無前例的184KB。從 此之後,磁帶經歷了迅速發展,後來廣泛應用了錄音、影像領域。
3、軟盤(見過這玩意的一定是80後)
1967年 IBM公司推出世界上第一張「軟盤」,直徑32英寸。隨著技術的發展,軟盤的尺寸一直在減小,容量也在不斷提升,大小從8英寸,減到到5.25英寸軟盤,以及到後來的3.5英寸軟盤,容量卻從最早的81KB到後來的1.44MB。在80-90年代3.5英寸軟盤達到了巔峰。直到CD-ROM、USB存儲設備出現後,軟盤銷量才逐漸下滑。
4、CD
CD也就是我們常說的光碟、光碟,誕生於1982年,最早用於數字音頻存儲。1985年,飛利浦和索尼將其引入PC,當時稱之為CD-ROM(只 讀),後來又發展成CD-R(可讀)。因為聲頻CD的巨大成功,今天這種媒體的用途已經擴大到進行數據儲存,目的是數據存檔和傳遞。
5、磁碟
第一台磁碟驅動器是由IBM於1956年生產,可存儲5MB數據,總共使用了50個24英寸碟片。到1973年,IBM推出第一個現代「溫徹斯特」磁碟驅動器3340,使用了密封組件、潤滑主軸和小質量磁頭。此後磁碟的容量一度提升MB到GB再到TB。
6、DVD
數字多功能光碟,簡稱DVD,是一種光碟存儲器。起源於上世紀60年代,荷蘭飛利浦公司的研究人員開始使用激光光束進行記錄和重放信息的研究。1972年,他們的研究獲得了成功,1978年投放市場。最初的產品就是大家所熟知的激光視盤(LD,Laser Vision Disc)系統。它們的直徑多是120毫米左右。容量目前最大可到17.08GB。
7、快閃記憶體
淺談存儲器的進化歷程
快閃記憶體(Flash Memory)是一種長壽命的非易失性(在斷電情況下仍能保持所存儲的數據信+息)的存儲器。包含U盤、SD卡、CF卡、記憶棒等等種類。在1984年,東芝公司的發明人舛岡富士雄首先提出了快速快閃記憶體存儲器(此處簡稱快閃記憶體)的概念。與傳統電腦內存不同,快閃記憶體的特點是非易失性(也就是所存儲的數據在主機掉電後不會丟失),其記錄速度也非常快。Intel是世界上第一個生產快閃記憶體並將其投放市場的公司。到目前為止快閃記憶體形態多樣,存儲容量也不斷擴展到256GB甚至更高。
隨著存儲器的更新換代,存儲容量越來越大,讀寫速度也越來越快,企業級硬碟單盤容量已經達到10TB以上,目前使用的SSD固態硬碟,讀速度達:3000+MB/s,寫速度達:1700MB/s,用起來美滋滋啊。
2. 雲計算塊存儲是什麼,誰能給個解釋呢
什麼是塊存儲?
塊存儲與存儲區域網路(SAN)是同義詞,並且支持網路附加存儲(NAS)系統中使用的文件存儲技術無法實現的存儲服務。塊存儲涉及將數據保存在塊或原始存儲卷中。
這些存儲塊中的每一個可以作為一個單獨的硬碟驅動器出現在外部伺服器操作系統上。操作系統依次使用光纖通道(FC)、乙太網上的光纖通道(FCOE)或ISCSI協議來訪問這些塊。
塊存儲和SAN因此在企業IT環境中很普及的原因是由於其靈活性和性能特徵。塊存儲支持各種需要低延遲、基於網路的存儲操作的工作負載,其中包括業務關鍵型應用程序、虛擬機、RAID實施和資料庫。
雖然不應該將其與文件存儲系統混淆,這種類型使組織能夠通過網路使用NAS-a文件系統為員工提供共享文件服務,可以將其分層存儲在塊存儲上,因為塊存儲顯示為原始存儲到伺服器操作系統。
在雲平台中,塊存儲可從AWS ElasTIc Block Store或AWS EBS等服務獲得,該服務提供可擴展塊存儲,供ElasTIc Compute Cloud(EC2)實例使用。
3. 對象存儲、文件存儲和塊存儲的聯系是什麼
對象存儲、文件存儲和塊存儲的聯系:
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
(3)以下存儲技術中屬於塊存儲的擴展閱讀:
對象存儲、文件存儲和塊存儲的區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲: HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲。
4. 存儲技術的分類
網路存儲技術(NetworkStorageTechnologies)是基於數據存儲的一種通用網路術語。網路存儲結構大致分為3種:直連式存儲(DirectAttachedStorage,DAS)、網路存儲設備(NetworkAttachedStorage,NAS)和存儲網路(StorageAreaNetwork,SAN)。
1.DAS
DAS是一種直接與主機系統相連接的存儲設備,如作為伺服器的計算機內部硬體驅動。到目前為止,DAS仍是計算機系統中最常用的數據存儲方法。DAS英文全稱是DirectAttachedStorage,中文翻譯成「直接附加存儲」。顧名思義,在這種方式中,存儲設備是通過電纜(通常是SCSI介面電纜)直接連接到伺服器的。I/O(輸入/輸出)請求直接發送到存儲設備。DAS也可稱為伺服器附加存儲(Server-AttachedStorage,SAS)。它依賴於伺服器,其本身是硬體的堆疊,不帶有任何存儲操作系統。
2.NAS
NAS的中文意思是「網路附加存儲」。按字面意思簡單地理解就是連接在網路上,具備資料存儲功能的裝置,因此也稱為「網路存儲器」或者「網路磁碟陣列」。從結構上講,NAS是功能單一的精簡型計算機,因此在架構上不像個人計算機那麼復雜,在外觀上就像家電產品,只需電源與簡單的控制鈕。
NAS是一種專業的網路文件存儲及文件備份設備,它是基於LAN(區域網)的,按照TCP/IP協議進行通信,以文件的I/O方式進行數據傳輸。在LAN環境下,NAS已經完全可以實現異構平台之間的數據級共享,比如NT、Unix等平台的共享。
一個NAS系統包括處理器、文件服務管理模塊和多個硬碟驅動器(用於數據的存儲)。NAS可以應用在任何網路環境當中。主伺服器和客戶端可以非常方便地在NAS上存取任意格式的文件,包括SMB格式(Windows)、NFS格式(Unix,Linux)和CIFS(CommonInternetFileSystem)格式等。
3.SAN
SAN是指存儲設備相互連接且與一台伺服器或一個伺服器群相連的網路。其中的伺服器用作SAN的接入點。在有些配置中,SAN也與網路相連。SAN將特殊交換機當作連接設備,這些特殊交換機看起來很像常規的乙太網絡交換機,是SAN中的連通點。SAN使得在各自網路上實現相互通信成為可能,同時帶來了很多有利條件。
具體來說,SAN是一種通過光纖集線器、光纖路由器、光纖交換機等連接設備將磁碟陣列、磁帶等存儲設備與相關伺服器連接起來的高速專用子網。SAN由3個基本的組件構成:介面(如SCSI、光纖通道、ESCON等)、連接設備(交換設備、網關、路由器、集線器等)和通信控制協議(如IP和SCSI等)。這3個組件再加上附加的存儲設備和獨立的SAN伺服器,就構成一個SAN系統。SAN提供一個專用的、高可靠性的基於光通道的存儲網路,SAN允許獨立地增加存儲容量,也使得管理及集中控制(特別是對於全部存儲設備都集群在一起的時候)更加簡化。而且,光纖介面提供了10km的連接長度,這使得物理上分離的遠距離存儲變得更容易。
5. iSCSI存儲技術
因為每個應用環境都是不同的,即使在一個地方表現良好,那也不能保證在其他地方同樣合適。對於伺服器虛擬化環境來說,光纖通道存儲是比較傳統的選擇。但現在iSCSI和NAS的普及程度也越來越高,畢竟它們的性價比更加突出。下面本文就來看看每一種網路存儲技術的規格特性,並逐一分析它們的優勢和不足。光纖通道存儲單從性能和可靠性的角度看,光纖通道無疑是出色的存儲架構,其它產品很難與之PK.但凡事都有兩面性,使用光纖通道存儲的確獲得了高性能,可用戶卻不得不承擔更高的成本,以及面對更復雜的技術架構。不過,光纖通道技術在數據中心領域的應用歷史很長,基礎非常好,因此比較大的虛擬化環境通常都傾向於選擇光纖通道,這些用戶主要還是考慮速度和可靠性的因素(光纖通道當前的帶寬是8Gbps,下一代是16Gbps)。另外,光纖通道存儲網路一直是相對獨立的,因此與基於乙太網的存儲設備相比安全性更好。可問題是,光纖通道需要特殊的HBA主機適配器、特殊的交換機,而且這些配件比乙太網絡使用的同類配件更加昂貴。客觀的說,如果要從零開始構建一個光纖通道網路代價是很高的。除此之外,光纖通道環境的部署和管理也更復雜,與傳統網路架構相比,它配置起來難度很大,熟悉此項技術的人才也偏少。當前,很多公司都有技術熟練的網路管理員,但其中卻很少有光纖通道存儲網路方面的管理人才。設計並管理一個SAN架構通常需要經過特殊的培訓,這無形中又進一步增加了實施的費用。光纖通道存儲的優勢:FC是部署企業級存儲架構的首選,而且許多應用環境本身就已經在使用SAN了;由於具有更高的可用帶寬,通常情況下性能表現最好;獨立的光纖通道網路更安全;還有LUNzoning和LUNmasking等訪問控制機制;支持bootfromSAN(從存儲啟動系統),伺服器本地不再需要硬碟;基於block的塊存儲類型,可以使用VMwarevSphere自帶的VMFS卷(一種文件系統)。光纖通道存儲的不足:從零開始構建的話,部署成本會很高;需要特殊的、昂貴的配件,比如交換機、線纜和HBA卡;實施和管理也許更復雜,通常需要專職的存儲管理員;可用的安全控制功能較少,實現認證和加密比較復雜。如果用戶的物理伺服器上准備運行多個虛擬機,且應用類型對磁碟I/O有較高的要求,那麼為了得到最佳的性能,用戶或許應該認真考慮使用光纖通道存儲系統。此外,FCoE也是一個選擇,它相當於在傳統的乙太網設備上承載光纖通道協議。但目前FCoE必須部署在同樣昂貴的10Gbps乙太網環境,需要特殊的交換設備。如果用戶的應用環境中已經有了FCSAN,那麼在構建虛擬化平台時使用光纖通道儲存是很合適的。擴展一個已有的SAN環境很容易,而且比部署一個全新的環境要便宜許多。如果用戶的預算充足,而且有管理復雜環境的技術能力,那麼選擇光纖通道存儲一定沒錯。
6. 對象存儲、文件存儲和塊存儲的區別
對象存儲、文件存儲和塊存儲的區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲: HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲。
(6)以下存儲技術中屬於塊存儲的擴展閱讀:
對象存儲、文件存儲和塊存儲的聯系:
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
7. ceph這款雲存儲技術怎麼樣
Ceph是一套高性能,易擴展的,無單點的分布式文件存儲系統,基於Sage A. Weil的論文開發,主要提供以下三個存儲服務: 對象存儲(Object Storage),既可以通過使用Ceph的庫,利用C, C++, Java, Python, PHP代碼,也可以通過Restful網關以對象的形式訪問或存儲數據,兼容亞馬遜的S3和OpenStack的Swift。 塊存儲(Block Storage),作為塊設備像硬碟一樣直接掛載。 文件系統(File System) ,如同網路文件系統一樣掛載,兼容POSIX介面。 Ceph的結構,對象存儲由LIBRADOS和RADOSGW提供,塊存儲由RBD提供,文件系統由CEPH FS提供,而RADOSGW, RBD, CEPH FS均需要調用LIBRADOS的介面,而最終都是以對象的形式存儲於RADOS里。 Ceph集群的節點有三種角色: Monitor,監控集群的健康狀況,向客戶端發送最新的CRUSH map(含有當前網路的拓撲結構) OSD,維護節點上的對象,響應客戶端請求,與其他OSD節點同步 MDS,提供文件的Metadata,如果不使用CephFS可以不安裝
8. 對象存儲、文件存儲和塊存儲的區別是什麼
對象存儲、文件存儲和塊存儲的區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲: HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲。
(8)以下存儲技術中屬於塊存儲的擴展閱讀:
對象存儲、文件存儲和塊存儲的聯系:
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
9. 對象存儲、文件存儲和塊存儲有什麼區別
區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲:HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲;
(9)以下存儲技術中屬於塊存儲的擴展閱讀:
文件存儲的優缺點:
優點
(1)、造價低:隨便一台機器就可以,另外普通的乙太網就可以,根本不需要專用的SAN網路,所以造價低。
(2)、方便文件共享。
缺點
(1)、讀寫速率低,傳輸速率慢:乙太網,上傳下載速度較慢,另外所有讀寫都要1台伺服器裡面的硬碟來承受,相比起磁碟陣列動不動就十幾上百塊硬碟同時讀寫,速率慢了許多。