① 大數據的概念和作用
大數據的概念和作用：
概念：大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
作用：大數據的處理分析正成為新一代信息技術融合應用的結點。移動互聯網、數字家庭、物聯網、社交網路、電子商務等是新一代信息技術的應用形態,這些應用不斷產生大數據。
2.大數據是信息產業持續高速增長的新引擎。面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。
3.大數據利用將成為提高核心競爭力的關鍵因素。各行各業的決策對大數據的分析越來越重視,對大數據的分析可以使零售商實時掌握市場動態並迅速做出應對
② 什麼是大數據存儲
Hadoop是一個開源分布式計算平台，它提供了一種建立平台的方法，這個平台由標准化硬體(伺服器和內部伺服器存儲)組成，並形成集群能夠並行處理大數據請求。在存儲方面來看，這個開源項目的關鍵組成部分是Hadoop分布式文件系統(HDFS)，該系統具有跨集群中多個成員存儲非常大文件的能力。HDFS通過創建多個數據塊副本，然後將其分布在整個集群內的計算機節點，這提供了方便可靠極其快速的計算能力。
③ 大數據概述及基本概念
大數據的定義首先，還是要重新審視大數據的定義。
行業里對大數據的定義有很多，有廣義的定義，也有狹義的定義。
廣義的定義，有點哲學味道——大數據，是指物理世界到數字世界的映射和提煉。通過發現其中的數據特徵，從而做出提升效率的決策行為。
狹義的定義，是技術工程師給的——大數據，是通過獲取、存儲、分析，從大容量數據中挖掘價值的一種全新的技術架構。
相比較而言，我還是喜歡技術定義，哈哈。
大家注意，關鍵詞我都在上面原句加粗了哈！
要做什麼？——獲取數據、存儲數據、分析數據
對誰做？——大容量數據
目的是什麼？——挖掘價值
獲取數據、存儲數據、分析數據，這一系列的行為，都不算新奇。我們每天都在用電腦，每天都在干這個事。
例如，每月的月初，考勤管理員會獲取每個員工的考勤信息，錄入Excel表格，然後存在電腦里，統計分析有多少人遲到、缺勤，然後扣TA工資。
但是，同樣的行為，放在大數據身上，就行不通了。換言之，傳統個人電腦，傳統常規軟體，無力應對的數據級別，才叫「大數據」。
2.大數據，到底有多大？
我們傳統的個人電腦，處理的數據，是GB/TB級別。例如，我們的硬碟，現在通常是1TB/2TB/4TB的容量。
TB、GB、MB、KB的關系，大家應該都很熟悉了：
1 KB = 1024 B (KB - kilobyte)
1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
而大數據是什麼級別呢？PB/EB級別。
大部分人都沒聽過。其實也就是繼續翻1024倍：
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
只是看這幾個字母的話，貌似不是很直觀。我來舉個例子吧。
1TB，只需要一塊硬碟可以存儲。容量大約是20萬張照片或20萬首MP3音樂，或者是671部《紅樓夢》小說。
1PB，需要大約2個機櫃的存儲設備。容量大約是2億張照片或2億首MP3音樂。如果一個人不停地聽這些音樂，可以聽1900年。
1EB，需要大約2000個機櫃的存儲設備。如果並排放這些機櫃，可以連綿1.2公里那麼長。如果擺放在機房裡，需要21個標准籃球場那麼大的機房，才能放得下。
阿里、網路、騰訊這樣的互聯網巨頭，數據量據說已經接近EB級。
EB還不是最大的。目前全人類的數據量，是ZB級。
1 ZB = 1024 EB (ZB - zettabyte)
2011年，全球被創建和復制的數據總量是1.8ZB。
而到2020年，全球電子設備存儲的數據，將達到35ZB。如果建一個機房來存儲這些數據，那麼，這個機房的面積將比42個鳥巢體育場還大。
數據量不僅大，增長還很快——每年增長50%。也就是說，每兩年就會增長一倍。
目前的大數據應用，還沒有達到ZB級，主要集中在PB/EB級別。
大數據的級別定位：1 KB = 1024 B (KB - kilobyte)
1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
1 ZB = 1024 EB (ZB - zettabyte)
3.數據的來源
數據的增長，為什麼會如此之快？
說到這里，就要回顧一下人類社會數據產生的幾個重要階段。
大致來說，是三個重要的階段。
第一個階段，就是計算機被發明之後的階段。尤其是資料庫被發明之後，使得數據管理的復雜度大大降低。各行各業開始產生了數據，從而被記錄在資料庫中。
這時的數據，以結構化數據為主（待會解釋什麼是「結構化數據」）。數據的產生方式，也是被動的。如果你對大數據開發感興趣，想系統學習大數據的話，可以戳我加入大數據技術學習交流群，私信管理員即可免費領取開發工具以及入門學習資料
第二個階段，是伴隨著互聯網2.0時代出現的。互聯網2.0的最重要標志，就是用戶原創內容。
隨著互聯網和移動通信設備的普及，人們開始使用博客、facebook、youtube這樣的社交網路，從而主動產生了大量的數據。
第三個階段，是感知式系統階段。隨著物聯網的發展，各種各樣的感知層節點開始自動產生大量的數據，例如遍布世界各個角落的感測器、攝像頭。
經過了「被動-主動-自動」這三個階段的發展，最終導致了人類數據總量的極速膨脹。
4.大數據的4Vs
行業里對大數據的特點，概括為4個V。前面所說的龐大數據體量，就是Volume（海量化）。除了Volume之外，剩下三個，分別是Variety、Velocity、Value。
我們一個一個來介紹。
Variety（多樣化）
Velocity（時效性）
Value（價值密度）
數據的形式是多種多樣的，包括數字（價格、交易數據、體重、人數等）、文本（郵件、網頁等）、圖像、音頻、視頻、位置信息（經緯度、海拔等），等等，都是數據。
數據又分為結構化數據和非結構化數據。
從名字可以看出，結構化數據，是指可以用預先定義的數據模型表述，或者，可以存入關系型資料庫的數據。
例如，一個班級所有人的年齡、一個超市所有商品的價格，這些都是結構化數據。
而網頁文章、郵件內容、圖像、音頻、視頻等，都屬於非結構話數據。
在互聯網領域里，非結構化數據的佔比已經超過整個數據量的80%。
大數據，就符合這樣的特點：數據形式多樣化，且非結構化數據佔比高。
大數據還有一個特點，那就是時效性。從數據的生成到消耗，時間窗口非常小。數據的變化速率，還有處理過程，越來越快。例如變化速率，從以前的按天變化，變成現在的按秒甚至毫秒變化。
我們還是用數字來說話：
就在剛剛過去的這一分鍾，數據世界裡發生了什麼？
Email：2.04億封被發出
Google：200萬次搜索請求被提交
Youtube：2880分鍾的視頻被上傳
Facebook：69.5萬條狀態被更新
Twitter：98000條推送被發出
12306：1840張車票被賣出
……
怎麼樣？是不是瞬息萬變？
最後一個特點，就是價值密度。
大數據的數據量很大，但隨之帶來的，就是價值密度很低，數據中真正有價值的，只是其中的很少一部分。
例如通過監控視頻尋找犯罪分子的相貌，也許幾TB的視頻文件，真正有價值的，只有幾秒鍾。
④ 大數據存儲需要具備什麼
大數據之大大是相對而言的概念。例如，對於像SAPHANA那樣的內存資料庫來說，2TB可能就已經是大容量了；而對於像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB大數據存儲需要具備什麼？
⑤ 大數據是什麼意思,大數據概念怎麼理解
大數據(bigdata,megadata)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
對於「大數據」（Bigdata）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘，但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
隨著雲時代的來臨，大數據（Bigdata）也吸引了越來越多的關注。《著雲台》的分析師團隊認為，大數據（Bigdata）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據應用的弊端
雖然大數據的擁護者看到了使用大數據的巨大潛力，但也有隱私倡導者擔心，因為越來越多的人開始收集相關數據，無論是他們是否會故意透露這些數據或通過社交媒體張貼，甚至他們在不知不覺中通過分享自己的生活而公布了一些具體的數字細節。
分析這些巨大的數據集會使我們的預測能力產生虛假的信息，將導致作出許多重大和有害的錯誤決定。此外，數據被強大的人或機構濫用，自私的操縱議程達到他們想要的結果。
⑥ 大數據的基本概念是什麼
大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 [1] 中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。
⑦ 什麼是大數據存儲管理
1.分布式存儲
傳統化集中式存儲存在已有一段時間。但大數據並非真的適合集中式存儲架構。Hadoop設計用於將計算更接近數據節點，同時採用了HDFS文件系統的大規模橫向擴展功能。
雖然，通常解決Hadoop管理自身數據低效性的方案是將Hadoop 數據存儲在SAN上。但這也造成了它自身性能與規模的瓶頸。現在，如果你把所有的數據都通過集中式SAN處理器進行處理，與Hadoop的分布式和並行化特性相悖。你要麼針對不同的數據節點管理多個SAN，要麼將所有的數據節點都集中到一個SAN。
但Hadoop是一個分布式應用，就應該運行在分布式存儲上，這樣存儲就保留了與Hadoop本身同樣的靈活性，不過它也要求擁抱一個軟體定義存儲方案，並在商用伺服器上運行，這相比瓶頸化的Hadoop自然更為高效。
2.超融合VS分布式
注意，不要混淆超融合與分布式。某些超融合方案是分布式存儲，但通常這個術語意味著你的應用和存儲都保存在同一計算節點上。這是在試圖解決數據本地化的問題，但它會造成太多資源爭用。這個Hadoop應用和存儲平台會爭用相同的內存和CPU。Hadoop運行在專有應用層，分布式存儲運行在專有存儲層這樣會更好。之後，利用緩存和分層來解決數據本地化並補償網路性能損失。
3.避免控制器瓶頸(Controller Choke Point)
實現目標的一個重要方面就是——避免通過單個點例如一個傳統控制器來處理數據。反之，要確保存儲平台並行化，性能可以得到顯著提升。
此外，這個方案提供了增量擴展性。為數據湖添加功能跟往裡面扔x86伺服器一樣簡單。一個分布式存儲平台如有需要將自動添加功能並重新調整數據。
4.刪重和壓縮
掌握大數據的關鍵是刪重和壓縮技術。通常大數據集內會有70%到90%的數據簡化。以PB容量計，能節約數萬美元的磁碟成本。現代平台提供內聯(對比後期處理)刪重和壓縮，大大降低了存儲數據所需能力。
5.合並Hadoop發行版
很多大型企業擁有多個Hadoop發行版本。可能是開發者需要或是企業部門已經適應了不同版本。無論如何最終往往要對這些集群的維護與運營。一旦海量數據真正開始影響一家企業時，多個Hadoop發行版存儲就會導致低效性。我們可以通過創建一個單一，可刪重和壓縮的數據湖獲取數據效率
6.虛擬化Hadoop
虛擬化已經席捲企業級市場。很多地區超過80%的物理伺服器現在是虛擬化的。但也仍有很多企業因為性能和數據本地化問題對虛擬化Hadoop避而不談。
7.創建彈性數據湖
創建數據湖並不容易，但大數據存儲可能會有需求。我們有很多種方法來做這件事，但哪一種是正確的?這個正確的架構應該是一個動態，彈性的數據湖，可以以多種格式(架構化，非結構化，半結構化)存儲所有資源的數據。更重要的是，它必須支持應用不在遠程資源上而是在本地數據資源上執行。
不幸的是，傳統架構和應用(也就是非分布式)並不盡如人意。隨著數據集越來越大，將應用遷移到數據不可避免，而因為延遲太長也無法倒置。
理想的數據湖基礎架構會實現數據單一副本的存儲，而且有應用在單一數據資源上執行，無需遷移數據或製作副本
8.整合分析
分析並不是一個新功能，它已經在傳統RDBMS環境中存在多年。不同的是基於開源應用的出現，以及資料庫表單和社交媒體，非結構化數據資源(比如，維基網路)的整合能力。關鍵在於將多個數據類型和格式整合成一個標準的能力，有利於更輕松和一致地實現可視化與報告製作。合適的工具也對分析/商業智能項目的成功至關重要。
9. 大數據遇見大視頻
大數據存儲問題已經讓人有些焦頭爛額了，現在還出現了大視頻現象。比如，企業為了安全以及操作和工業效率逐漸趨於使用視頻監控，簡化流量管理，支持法規遵從性和幾個其它的使用案例。很短時間內這些資源將產生大量的內容，大量必須要處理的內容。如果沒有專業的存儲解決方案很可能會導致視頻丟失和質量降低的問題。
10.沒有絕對的贏家
Hadoop的確取得了一些進展。那麼隨著大數據存儲遍地開花，它是否會成為贏家，力壓其它方案，其實不然。
比如，基於SAN的傳統架構在短期內不可取代，因為它們擁有OLTP，100%可用性需求的內在優勢。所以最理想的辦法是將超融合平台與分布式文件系統和分析軟體整合在一起。而成功的最主要因素則是存儲的可擴展性因素。