Ⅰ 對於社交網路的數據挖掘應該如何入手，使用哪些演算法
3月13日下午，南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代APP微講座欄目作了題為《大數據時代的數據挖掘》的主題分享，深度詮釋了大數據及大數據時代下的數據挖掘。
眾所周知，大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代，數據的產生和收集是基礎，數據挖掘是關鍵，數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言，數據挖掘也稱為DataMining，或知識發現Knowledge Discovery from Data，泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解，但個人認為，數據挖掘的特性主要有以下四個方面：
1.應用性（A Combination of Theory and Application）：數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求，挖掘的數據來自於具體應用，同時通過數據挖掘發現的知識又要運用到實踐中去，輔助實際決策。所以，數據挖掘來自於應用實踐，同時也服務於應用實踐，數據是根本，數據挖掘應以數據為導向，其中涉及到演算法的設計與開發都需考慮到實際應用的需求，對問題進行抽象和泛化，將好的演算法應用於實際中，並在實際中得到檢驗。
2.工程性（An Engineering Process）：數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用，而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中，典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性（A Collection of Functionalities）：數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎，而且每一個功能都有不同的演算法支撐。
4.交叉性（An Interdisciplinary Field）：數據挖掘是一門交叉學科，它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結，最重要的是它更側重於應用。
綜上所述，應用性是數據挖掘的一個重要特性，是其區別於其他學科的關鍵，同時，其應用特性與其他特性相輔相成，這些特性在一定程度上決定了數據挖掘的研究與發展，同時，也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看，實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析（market basket analysis）、多媒體數據挖掘（multimedia data mining）、隱私保護數據挖掘（privacy-preserving data mining）到文本數據挖掘（text mining）和Web挖掘（Web mining），再到社交媒體挖掘（social media mining）都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中，工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能，而如何將多種功能聯系和結合起來，從一定程度上影響了數據挖掘研究方法的發展。比如，20世紀90年代中期，數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末，研究人員開始研究基於關聯規則和時間序列模式的分類演算法（如classification based on association），將兩種不同的數據挖掘功能有機地結合起來。21世紀初，一個研究的熱點是半監督學習（semi-supervised learning）和半監督聚類（semi-supervised clustering），也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類（subspace clustering）（特徵抽取和聚類的結合）和圖分類（graph classification）（圖挖掘和分類的結合）也是將多種功能聯系和結合在一起。最後，交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響，另外，數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見，對培養研究生、本科生均有一些指導意見，如應用性在指導數據挖掘時，應熟悉應用的業務和需求，需求才是數據挖掘的目的，業務和演算法、技術的緊密結合非常重要，了解業務、把握需求才能有針對性地對數據進行分析，挖掘其價值。因此，在實際應用中需要的是一種既懂業務，又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力，一個好的數據額挖掘人員首先是一名工程師，有很強大的處理大規模數據和開發原型系統的能力，這相當於在培養數據挖掘工程師時，對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時，要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此，這些特性均是數據挖掘的特點，通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據（bigdata）一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念，進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為，大數據具有標準的「4V」特徵：
1.Volume（大量）：數據體量巨大，從TB級別躍升到PB級別。
2.Variety（多樣）：數據類型繁多，如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity（高速）：處理速度快，實時分析，這也是和傳統的數據挖掘技術有著本質的不同。
4.Value（價值）：價值密度低，蘊含有效價值高，合理利用低密度價值的數據並對其進行正確、准確的分析，將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而，實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看，大數據還具有如下新的「4V」特點：
5.Variability（變化）：在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化，因此，在實際研究中要考慮具體的上下文場景（Context）。
6.Veracity（真實性）：獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility（波動性）/Variance（差異）：由於數據本身含有噪音及分析流程的不規范性，導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization（可視化）：在大數據環境下，通過數據可視化可以更加直觀地闡釋數據的意義，幫助理解數據，解釋結果。
綜上所述，以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代，數據挖掘需考慮以下四個問題：
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的，來源於實踐，海量數據產生於應用之中。需用具體的應用數據作為驅動，以演算法、工具和平台作為支撐，最終將發現的知識和信息應用到實踐中去，從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動，同時在實際問題中得到應用和驗證，而演算法的實現和應用需要高效的處理平台，這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據，及時對多元數據進行集成，同時有力支持數據化對演算法及數據可視化的執行，並對數據分析的流程進行規范。
總之，應用、演算法、數據、平台這四個方面相結合的思想，是對大數據時代的數據挖掘理解與認識的綜合提煉，體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構，這四個架構具體從以下四個層面展開：
應用層（Application）：關心的是數據的收集與演算法驗證，關鍵問題是理解與應用相關的語義和領域知識。
數據層（Data）：數據的管理、存儲、訪問與安全，關心的是如何進行高效的數據使用。
演算法層（Algorithm）：主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層（Infrastructure）：數據的訪問和計算，計算平台處理分布式大規模的數據。
綜上所述，數據挖掘的演算法分為多個層次，在不同的層面有不同的研究內容，可以看到目前在做數據挖掘時的主要研究方向，如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據；挖掘復雜動態變化的數據；測試通過局部學習和模型融合所得到的全局知識，並反饋相關信息給預處理階段；對數據並行分布化，達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長，促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中，如醫療保健、高端製造、金融等，一個典型的數據挖掘任務往往需要復雜的子任務配置，整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此，在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法，同時，需要一個高效的平台。因此，大數據時代的數據挖掘和應用的當務之急，便是開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer，它們提供了友好的界面，方便用戶進行分析，然而這些工具並不適合進行大規模的數據分析，同時，在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK，這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM，它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的，對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性，我們團隊開發了一個新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比，FIU-Miner提供了一組新的功能，能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比，它提供了一些新的功能，主要有以下幾個方面：
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式，FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面，用戶可以通過將現有演算法直接組裝成工作流，輕松完成一個復雜數據挖掘問題的任務配置，而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中，以此對分析工具集合進行擴充和管理。同時，由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上，所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中（包括圖形工作站、單個計算機、和伺服器等）運行數據挖掘任務。FIU-Miner綜合考慮各種因素（包括演算法實現、伺服器負載平衡和數據位置）來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置，整合多種不同類型的挖掘演算法。因此，開發和建立這樣的計算平台和工具，支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面：如高端製造業、倉庫智能管理、空間數據處理等，TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句，更重要的是可根據用戶的不同要求，進行空間數據挖掘，渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程，提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此，製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量，從而提高企業的競爭力。
在空間數據處理方面，TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言，其難點在於MapQL語句比較難寫，任務之間的關系比較復雜，順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言，大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象，核心是挖掘數據中蘊含的潛在信息，並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。
-
-
Ⅱ 大數據處理有哪些關鍵技術
大數據關鍵技術涵蓋數據存儲、處理、應用等多方面的技術，根據大數據的處理過程，可將其分為大數據採集、大數據預處理、大數據存儲及管理、大數據處理、大數據分析及挖掘、大數據展示等。
1、大數據採集技術
大數據採集技術是指通過 RFID 數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。
因為數據源多種多樣，數據量大，產生速度快，所以大數據採集技術也面臨著許多技術挑戰，必須保證數據採集的可靠性和高效性，還要避免重復數據。
2、大數據預處理技術
大數據預處理技術主要是指完成對已接收數據的辨析、抽取、清洗、填補、平滑、合並、規格化及檢查一致性等操作。
因獲取的數據可能具有多種結構和類型，數據抽取的主要目的是將這些復雜的數據轉化為單一的或者便於處理的結構，以達到快速分析處理的目的。
3、大數據存儲及管理技術
大數據存儲及管理的主要目的是用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。
4、大數據處理
大數據的應用類型很多，主要的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲後處理，而流處理則是直接處理。
大數據無處不在，大數據應用於各個行業，包括金融、汽車、餐飲、電信、能源、體能和娛樂等在內的社會各行各業都已經融入了大數據的印跡。
1、製造業，利用工業大數據提升製造業水平，包括產品故障診斷與預測、分析工藝流程、改進生產工藝，優化生產過程能耗、工業供應鏈分析與優化、生產計劃與排程。
2、金融行業，大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。
3、汽車行業，利用大數據和物聯網技術的無人駕駛汽車，在不遠的未來將走入我們的日常生活。
4、互聯網行業，藉助於大數據技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。
5、電信行業，利用大數據技術實現客戶離網分析，及時掌握客戶離網傾向，出台客戶挽留措施。
Ⅲ 社交網路如何設計存儲好友關系的資料庫的
社交網路，他們都有，各自的資料庫來對你的，各個數據信息，來進行獨立的儲存，所以好友關系也是他們資料庫中的一條信息而已
Ⅳ 大數據時代下的存儲形態
大數據時代下的存儲形態
大數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。
傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。
基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。
尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。
目前市場上的存儲架構如下：
(1) 基於嵌入式架構的存儲系統
節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。
(2)基於X86架構的存儲系統
平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IP SAN或FC SAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。
此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IP SAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、 硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FC SAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FC SAN構建相對獨立的存儲子系統，可以有效解決上述問題。
面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高;從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。
該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。
平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。
(3)基於雲技術的存儲方案
當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著客觀的應用前景。
與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。
一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。
高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。
針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄->子目錄->文件->定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。
雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。
對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。
雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。
結語
高清視頻監控對存儲系統的性能、可靠性、擴展性、管理效能、節能環保和開放性都提出了很高的要求。新一代的雲存儲解決方案，可為用戶提供智能存儲、分析等服務，特別適合大規模的視頻監控部署。針對不同的市場應用場合，如何選擇切實可行且高效的存儲解決方案，是擺在安防行業眾多建設者面前的一道難題。相信隨著時間的推移和技術的演變，高清視頻數據存儲會得到更加完美的解決。
Ⅳ 社交網路的起源，發展歷程及未來的發展趨勢。越詳細越好啊，多謝了各位
社交網路的起源
六度分割原理及社交網路的興起與發展
有一個數學領域的猜想，名為SixDegreesofSeparation，中文翻譯包括以下幾種：六度分割理論或小世界理論等。理論指出：你和任何一個陌生人之間所間隔的人不會超過六個，也就是說，最多通過六個人你就能夠認識任何一個陌生人。
虛擬雖然是網路世界的一種優勢，但是和商業社會所要求的實名、信用隔著一條鴻溝。通過熟人之間，通過「六度分割」產生的聚合，將產生一個可信任的網路，這其中的商業潛能的確是無可估量的。社會、網路、地域、商業、Blog、SNS，這些詞彙你也許都聽麻木了。然而一旦那些預見先機的人找到聚合它們的商業價值，被改變的絕不僅僅是網路世界。
「社交網路」是近些年最受關注的互聯網名詞，它的英文縮寫是SNS，第一個S是Social社會化，第二個N代表Networking網路，第三個S是Services服務。SNS的概念起源於社會網路研究者提出的「六度理論」，即最多通過六個人你就能夠認識任何一個陌生人。SNS將現實中的人際關系搬到了互聯網上，讓世界上的任何一個人都能聯絡彼此。
總體來看，社交網路不僅僅是一些新潮的商業模式，從歷史維度來看，它更是一個推動互聯網向現實世界無限靠近的關鍵力量。目前，社交網路含蓋以人類社交為核心的所有網路服務形式，互聯網是一個能夠相互交流，相互溝通，相互參與的互動平台，社交網路使得互聯網從研究部門、學校、政府、商業應用平台擴展成一個人類社會交流的工具。現在社交網路更是把其范圍拓展到移動手機平台領域，藉助手機的普遍性和無線網路的應用，利用各種交友/即時通訊/郵件收發器等軟體，使手機成為新的社交網路的載體。
2.國內社交網路的發展歷史及現狀
中國社交網路的從無到有
隨著國外社交網站的日漸盛行，社交網路也開始踏入中國的互聯網世界。2003年，Uuzone在南京成立，又名優友地帶。優友是一個Web2.0公司，社交網路，你可以在優友寫Blog，使用網路IP電話，建立自己的小圈子，它是一個面向18到25歲受過良好教育的年輕人的網路社交平台。UU地帶致力於以網路溝通人與人，倡導通過網路拓展人際關系圈，讓用戶盡情享受社交和溝通的樂趣。UU地帶以提高網路誠信、建立信任溝通為己任，為互聯網應用帶來清新健康的新風尚。同時，Uuzone也定位在滿足用戶在網路「非約會、非商務」的廣泛性網路交往。
越來越多的用戶帶來社交新樂趣用戶使用UU地帶的服務，可以通過自己的朋友結識朋友的朋友，朋友的朋友的朋友„„從而獲得更多高質量的、可信任的朋友，即為優友，並創建誠信安全的個人社交圈，從結交朋友、休閑娛樂、商務投資、學習探討等等一系列的交流活動中獲得樂趣。
作為中國早期的社交網站，在中國互聯網剛剛起步的時期，確實取得了不小的成績，其用戶數量超過300萬。然而，盈利模式的不清晰，導致其後來的發展一直差強人意，同時，優友地帶有據可查的融資紀錄，除了晨興創投的100萬美元外再無其他資金注入。而目前SNS網站的廣告收入與成本支出有極大差距，盈利遙遙無期。因此，優友地帶最終於2009年停止了所有的服務，成為SNS社區洗牌中的第一個犧牲者。（二）各類社交網站層出不窮
隨著時間的推移，國內各種社交網站如雨後春筍般的出現在世人面前，諸如校內網（現人人網）、開心網、51.com、騰訊朋友、新浪微博等。
51.com成立於2005年8月。51.com致力於為用戶提供穩定安全的數據存儲空間和便捷的交流平台。51.com是由美國紅杉資本中國基金（SequoiaCapitalChina）、巨人網路集團（GiantInteractiveGroup）、海納亞洲創投（SusquehannaInternationalGroup）、英特爾資本（IntelCapital）、紅點創投（RedpointVentures）等國際著名的企業和風險基金聯合投資而成。2006年07月，入圍全球著名風險投資業媒體RedHerring2006年亞洲最具發展潛力百強排行榜。2006年09月，位於IWebChoice排名之全球華語網站21名。2006年11月，注冊用戶破5000萬。2007年05月，成功並購虛擬形象平台「Pixoart」。2007年06月，注冊用戶突破7000萬。2007年07月，與英特爾資本、紅點創投、美國紅杉資本中國基金、海納亞洲創投完成第二輪超過1500萬美元投資協議。2008年01月，注冊用戶突破1億，月獨立用戶超過2500萬。2008年01月，網路發布《2007中國空間社區（博客）研究報告》顯示，總體流量次於騰訊位居第二，用戶活躍度（以獨立IP平均頁面瀏覽量為標准）居國內首位。2008年05月，上海總部遷居至浦東新區張江高科技園區。2008年07月，與巨人網路集團、上海浦東科委等投資者完成第三輪超過5000萬美元投資協議。2008年07月，與巨人網路集團、上海浦東科委等投資者完成第三輪超過5000萬美元投資協議。2008年12月，合作廣告品牌客戶累計超過200家。2009年04月，第一款游戲產品「51游戲」上線運營，進軍網遊行業。2009年07月，推出聊天軟體「彩虹」（51掛掛升級版），形成完整的網站、游戲、IM三大產品線。2009年12月，即時交友軟體「彩虹」正式上線。2009年12月，注冊用戶突破1.78億，月獨立用戶超過4000萬。
開心網由北京開心人信息技術有限公司創辦於2008年3月，是國內第一家以辦公室白領用戶群體為主的社交網站。開心網為廣大用戶提供包括日記、相冊、動態記錄、轉帖、社交遊戲在內的豐富易用的社交工具，使其與家人、朋友、同學、同事在輕松互動中保持更加緊密的聯系。自創辦以來，開心網以發掘和滿足用戶需求、完善用戶體驗為導向，以技術和產品的不斷創新為動力，致力於為廣大用戶提供一個真實、輕松的社交互動平台。在產品方面，開心網組件主要分為基礎工具、社交遊戲和其他應用三大類，其中社交遊戲類別包括「開心城市」、「開心庄園」、「開心餐廳」等眾多熱門游戲；其他應用類別包括「天氣預報」、「在線購票」、「模擬炒股」等眾多實用工具。開心網提供的優質產品和服務深受用戶的歡迎，先後獲得「網民最喜歡的SNS類社區」、「2009年度最有價值網站（社交類）」等多項獎勵。在技術領域，開心網團隊始終致力於自主技術研發，採用國際領先的互聯網技術，包括先進的共享交互網路、數據傳輸方案、分布式存儲解決方案等，以滿足大規模用戶的各種復雜應用與海量數據交互，引領新一代互聯網科技的發展，並且通過技術創新滿足了用戶更深層次的需求。
人人網是由千橡集團將旗下著名的校內網更名而來。2009年8月4日，將旗下著名的校內網更名為人人網，社會上所有人都可以來到這里，從而跨出了校園內部這個范圍。人人網為整個中國互聯網用戶提供服務的SNS社交網站，給不同身份的人提供了一個互動交流平台，提高用戶之間的交流效率，通過提供發布日誌、保存相冊、音樂視頻等站內外資源分享等功能搭建了一個功能豐富高效的用戶交流互動平台。
朋友網原名QQ校友，是騰訊公司打造的真實社交平台，為用戶提供行業、公司、學校、班級、熟人等真實的社交場景。2011年7月5日，騰訊公司正式宣布旗下社區騰訊朋友更名為朋友網。
新浪微博是一個由新浪網推出，提供微型博客服務的類Twitter網站。用戶可以通過網頁、WAP頁面、手機簡訊、彩信發布消息或上傳圖片。新浪可以把微博理解為「微型博客」或者「一句話博客」。您可以將您看到的、聽到的、想到的事情寫成一句話，或發一張圖片，通過電腦或者手機隨時隨地分享給朋友，一起分享、討論。您還可以關注您的朋友，即時看到朋友們發布的信息（字數140字以內）。
總體來說，中國社交網站在此階段經歷了爆炸式的發展，至今形成了多家並立的局面
3.對國內社交網路的未來發展的展望
社交網路將繼續促進信息的自由流動，促進社會的進步，在和用戶交互的過程中促進人影響人。
社交網站正在成為以人際關系為聯接的互聯網互動應用的集成平台。在不久的將來，由於社交網站學生和青年白領這兩部分數量占優的網民用戶群體的特殊需求的滿足及社交網路的病毒式營銷、口碑相傳的推廣方式，將推動中國社交網站用戶的爆發式增長。由於添加了互動游戲，娛樂類社交網站的高頻次游戲應用將直接影響網站的使用頻率，將使用戶具備更高的用戶黏度。最終實現網站和用戶雙方的可延續價值更大化。
而商務社交網站出發點是商務人脈拓展，目的性較強，用戶傾向於在有特定需求時使用網站，使用頻次較低，但隨著時間的推移，商務社交網站也紛紛開始在平台上構建更多的互動，有利於商務人脈的深層次培養，商務社交網站使用頻率低的情況正在得到改善。社交網站是基於人與人之間關系的應用，親友之間口碑相傳的推廣是最有效的渠道。有近八成用戶獲知正在使用的社交網站是來自朋友、同學、同事的推薦，佔到74.6%，其他渠道獲知的均少於20%。
由於社交網站的流行，它所帶來的商業價值也是各大商家的必爭利益，因此社交網站的熱行亦將促進社會的經濟發展，促進社會進步。目前數據顯示，中國Top50位的SNS站點中，其中36個SNS站點部署了頁面廣告。廣告是目前SNS網站的主要收入來源，但在未來，除了第三方個人和公司聯合平台開發商繼續開發插件並聯合運營外，SNS站點還有可能聯合專業的網頁游戲開發商聯合開發並運營，實現更大的盈利。
社交網路在於人的現實生活中有更多的融合點，隱私問題短期內將無法解。
在最近的一次調查中，有75.8%的用戶表示，在社交網站上的好友是現實中的朋友。因此隨著網路滲透率的提升和網民對於網路應用的深入，社交網站用戶規模將會得到進一步擴大，越來越多的用戶會將更多現實生活中的人際關系延伸到網路。社交網路將與人的現實生活有更多的融合點。
由於社交網路基於對用戶真實身份的營銷，SNS網站的精準完全基於網站用戶的真實性，作為真實關系網路延伸的SNS網站會員的信息真實度較高，同時我們也可以依據用戶信息和朋友圈子去判斷一個用戶的真實程度。因此，任何網友都可以輕易地了解到每一個用戶的基本用戶屬性，也可以從用戶的使用行為中分析得出興趣、經歷、偏好、朋友圈、購物記錄，從而用戶的隱私就被暴露無遺。隨之出現社會上一些不法分子利用這些掌握的用戶人口統計和行為信息進行不法活動。
雲服務、移動計算和社交網路等技術將走向成熟並相互交融，從而形成一個全新的主流平台
過去幾年來，轉型一直是IDC（國際數據公司）年度預測的主題。這一次，迫於全球經濟衰退的壓力，一波顛覆性技術的浪潮已經形成，並在逐漸發展壯大。IDC預計，在2011年及以後的時間里，雲服務、移動計算和社交網路等技術將走向成熟並相互交融，從而形成一個全新的主流平台，無論對IT業還是其所服務的其它行業均是如此。
「2011年，我們預計這些轉型技術會發生重大轉變，即從初步接納狀態演變為初步主流態勢。」IDC高級副總裁兼首席分析師FrankGens說。「因此，我們將會看到，IT行業的活動會越來越多地圍繞著這個下一代主力平台的構建和採用來展開，其主要特點為移動、基於雲的應用和服務交付，以及社交業務和林林總總分析手段的價值發掘。這種平台的變遷將會在另一個IT支出得以強勢回升的年份飛速發展。全球IT行業的支出也將得益於新興市場的加速恢復，它將佔到2011年全球所有新增IT凈支出的一半以上。
社交網路具備更加實用的功能，富媒體化、多元化趨勢將更加明顯
網路社交不僅僅是一些新潮的商業模式，從歷史維度來看，它更是一個推動互聯網向現實世界無限靠近的關鍵力量。
隨著社交網路的發展，越來越模糊的組織邊界、越來越細分的人群以及越來越強大的個體出現在中國的主流社交網站中，所以更多媒體的嵌入，更多元化元素的滲透已經成為一種趨勢去促成社交網路的不斷更新與完善。
參考資料
六度空間理論
CNNIC中國互聯網路信息中心社交網路統計數據中國的社交媒體騰訊社交網路分析
2011社交共享發展趨勢
2010-2011年中國社交網路市場研究報告中國社交網路走向何方
Ⅵ 社交網路的數據大小是有上限的對嗎
社交網路的數據大小是有上限的，因為這個取決於存儲空間的大小，而存儲空間都是有限的！
Ⅶ 存儲伺服器的應用包括哪些
應用一、存儲和調用數據兼重的應用 如視頻伺服器，用戶資料庫伺服器，社交網路伺服器，簡訊和聊天伺服器，網游伺服器等等。存儲伺服器DIY組裝時，考慮到應用的不同，需要採用不同的伺服器架構，以方便將來的實際工作，切不可組裝時省錢應用起來耗時耗功。中高端存儲伺服器一般採用主流的雙路伺服器主板，配合RAID磁碟備份，軟體系統盡可能精減，並安裝思創科達SDBS8.0等數據備份軟體，以方便網路管理人員的操作管理。
應用二、以單純存儲數據為主的應用 偶爾有數據查詢和調用的，這多用低端伺服器配合海量硬碟，如單路伺服器和大量硬碟，比如安全視頻監控所用伺服器，企業生產數據備份伺服器等等。這類單路存儲伺服器可以使用英特爾單路伺服器主板，並配合Xeon3400/3200系列多核處理器，並配合RAID使用，主板如Intel S3420GPLC/Intel S3200SH等都是不錯的選擇。當然有人使用高端台式機主板，這並不是一個負責任的選擇，試想萬一主板損壞，一二天不能做數據備份損失並不是一塊主板的錢可以彌補的。
Ⅷ 社交網路的起源，發展歷程及未來的發展趨勢。越詳細越好啊，多謝了各位
社交網路源自網路社交，網路社交的起點是電子郵件。互聯網本質上就是計算機之間的聯網，早期的E-mail解決了遠程的郵件傳輸的問題，至今它也是互聯網上最普及的應用，同時它也是網路社交的起點。BBS則更進了一步，把「群發」和「轉發」常態化，理論上實現了向所有人發布信息並討論話題的功能（疆界是BBS的訪問者數量）。BBS把網路社交推進了一步，從單純的點對點交流的成本降低，推進到了點對面交流成本的降低。即時通信（IM）和博客（Blog）更像是前面兩個社交工具的升級版本，前者提高了即時效果（傳輸速度）和同時交流能力（並行處理）；後者則開始體現社會學和心理學的理論——信息發布節點開始體現越來越強的個體意識，因為在時間維度上的分散信息開始可以被聚合，進而成為信息發布節點的「形象」和「性格」。比如從RSS、flickr到最近的YouTube、Digg、Mini-feed、Twitter、Fexion、Video-Mail都解決或改進了單一功能，是豐富網路社交的工具。 隨著網路社交的悄悄演進，一個人在網路上的形象更加趨於完整，這時候社交網路出現了。 交友只是社交網路的一個開端，就像Google的開端只是每個網頁的backlinks那麼普通一樣，社交網路的開端只是獲取你的個人資料和好友列表。社交網路大體經歷了這樣一個發展過程：早期概念化階段——SixDegrees代表的六度分隔理論；結交陌生人階段——Friendster幫你建立弱關系從而帶來更高社會資本的理論；娛樂化階段——MySpace創造的豐富的多媒體個性化空間吸引注意力的理論；社交圖階段——Facebook復制線下真實人際網路來到線上低成本管理的理論。整個SNS發展的過程是循著人們逐漸將線下生活的更完整的信息流轉移到線上進行低成本管理，這讓虛擬社交越來越 網路說吧
與現實世界的社交出現交叉。 人類歷史上，大凡重要的技術革命都伴隨媒介革命，人類任何活動本質上都是信息活動，信息流的傳遞介質、管理方式的不同將決定你接受信息的不同，所有有關信息流媒介的變革一定是底層的變革——網路社交也是如此。從網路社交的演進歷史來看，它一直在遵循「低成本替代」原則。網路社交一直在降低人們社交的時間和物質成本，或者說是降低管理和傳遞信息的成本。與此同時，網路社交一直在努力通過不斷豐富的手段和工具，來替代傳統社交來滿足人類這種社會性動物的交流需求，並且正在按照從「增量性的娛樂」到「常量性的生活」這條軌跡不斷接近基本需求。 如果說在網路社交的起點——電子郵件時代，網路僅僅可以滿足人們5％的社交需求，那麼今天豐富的社交網路已經可以把這個數字至少提升了10倍，除了「接觸型」的社交行為，或者說是「接觸型」信息的收集和發布之外，網路社交已經開始承擔大部分傳統社交的作用。實際上，「非接觸型」的社交原本就占據了人類社交的80%以上，這意味著網路社交對傳統世界必然會帶來巨大的影響。 說到底，網路社交不僅僅是一些新潮的商業模式，從歷史維度來看，它更是一個推動互聯網向現實世界無限靠近的關鍵力量。目前，社交網路含蓋以人類社交為核心的所有網路服務形式，互聯網是一個能夠相互交流，相互溝通，相互參與的互動平台，互聯網的發展早已超越了當初ARPANET的軍事和技術目的，社交網路使得互聯網從研究部門、學校、政府、商業應用平台擴展成一個人類社會交流的工具。現在網路社交更是把其范圍拓展到移動手機平台領域，藉助手機的普遍性和無線網路的應用，利用各種交友/即時通訊/郵件收發器等軟體，使手機成為新的社交網路的載體。 社交網路，也就是網路+社交的意思。通過網路這一載體把人們連接起來，從而形成具有某一特點的團體。
編輯本段產品
UCenterHome
UCenterHome是一套採用PHP+MYSQL構建的社會化網路軟體（SocialNetworkSoftware，簡稱SNS）。通過UCenterHome，建站者可以輕松構建一個以好友關系為核心的交流網路，讓站點用戶可以用迷你博客一句話記錄生活中的點點滴滴；方便快捷地發布日誌、上傳圖片；更可以十分方便的與其好友們一起分享信息、討論感興趣的話題；輕鬆快捷的了解好友最新動態。UCenterHome強調「家」的理念，充分認可每一個站點用戶的個人隱私重要性。提供強大豐富的隱私設置功能。每一個人都有許可權設置自己的個人主頁、資料、日誌、相冊等是否公開、或只好友可看、或指定特別好友可看、或僅自己可看、或者需要輸入密碼才可看；並可完全控制將自己的哪些動作可以產生動態推送到好友面前。UCenterHome強調只提供用戶願意關注的信息，在信息噪音方面有著多級篩選控制。每一個人都可以將自己的好友進行分組，並選擇屏蔽哪些用戶組的動態；同時，可針對特定的好友、特定的動態進行單獨屏蔽，確保因好友增多帶來的信息噪音問題。
iweb SNS
作為一款大型高並發高負載的開源SNS軟體，iwebSNS功能強大，易於擴展，具有良好的伸縮性和穩定性。 它基於iweb SuperInteraction(簡稱iweb SI)框架開發。藉助iwebSI平台，站點可以輕松獲得支持熱插拔及快速增加新節點的集群計算與處理能力（分布式計算與存儲/高可用性/負載均衡），以方便管理web2.0類站點持續增長的數據量。SI的web層、db層負載均衡，基於內存的分布式緩存系統、dfs（分布式文件系統）、分布式數據存儲等可以輕松支持站點擁有服務於百萬甚至千萬級龐大用戶群的能力，並且不管這些互動式服務的請求是來自計算機還是移動終端。另外，Jooyea技術團隊還提供了一個輕量級的支持庫，這使iwebSNS也可以輕松部署在虛擬主機上。 iwebSNS為站點用戶提供一個友好易用的個人信息和消息管理ajax界面。通過它，建站者可以輕松構建一個以好友關系為核心的交流網路，讓站點用戶可以通過空間、日誌、動態、好友圈、群組、相冊、站內信、留言板、心情等功能模塊記錄、展示和分享生活；了解好友動態。 如果你已經擁有大用戶群，想向SNS方向擴展；或者你想部署一個能滿足用戶持續快速增長，並且平滑實現規模化的SNS站點，那麼iwebSNS正適合你。
Elgg
Elgg是一個開源社交網路平台。擁有:個人用戶信息管理。Blog功能。文檔管理。通過各種方式（如Email、內部消息等，允許利用插件擴展通知方式如通過手機簡訊）了解你的朋友當前正在做些什麼。創建圈子，支持圈內討論，文件共享等。 Elgg原來是為教育設計, 但它的功能卻讓它成為很不錯的社交平台。
ThinkSNS
ThinkSNS基於許多優秀的開源軟體開發，提供全方位的社交網路(SNS)解決方案。 ThinkSNS全部基於開源項目，同時也作為開源項目，免費提供給用戶使用。項目框架都有完善的文檔和實例，非常適合二次開發。國際化支持：多模版，多語言支持。基於ThinkPHP框架優秀的設計，ThinkSNS生來就具備優秀的國際化能力，支持多語言，多模版。 ThinkSNS不僅僅是個web端的程序，伴隨著ThinkSNS成長，我們還會開發相關的IM和客戶端支持。 ThinkPHP內置支持WordPress式插件開發，我們還會提供完善的API，和其他系統無縫集成。
OpenPNE
OpenPNE是株式會社手嶋屋主持開發的開源sns引擎,搭載了豐富的sns機能，在PC和手機上都可以免費使用。作為公司內部和各種社區的交流工具，『OpenPNE』的應用領域非常廣泛, 涉及到手機服務、視頻服務、企業內部人力資源管理、招聘、交友/婚介、商品搜索購物、行業SNS商務人脈擴展、健康/美容、教育等服務領域。
編輯本段安全
據來自安全軟體公司Webroot的一份最新調查顯示，社交網站用戶更容易遭遇財務信息丟失、身份信息被盜和惡意軟體感染等安全威脅，而且其嚴重性可能超乎用戶自己的想像。 該調查發現，三分之二的受訪者並沒有對自己的社交網站個人信息採取嚴密保護措施，其它人可以通過Google\Bai等搜索引擎查看這些敏感信息，另外有半數以上受訪者不知道誰能查看他們的個人資料。大約三分之一受訪者表示，其社交網站個人資料中至少包含三種個人身份識別信息，而且超過三分之一的人在多個網站上使用同一個密碼。另外，三分之一的人接受來自陌生人的好友請求。 Webroot消費者業務的首席技術官邁克·克朗貝格(Mike Kronenberg)表示，「社交網站的增長已經成為黑客的一個巨大目標。去年人們花費在Facebook等社交網站上的時間以整個互聯網增長速率的三倍進行增長。」克朗貝格表示，「我們調查的人中有十分之三在社交網站上經歷過安全攻擊，包括個人身份信息被竊、惡意軟體感染、垃圾郵件、未經授權的密碼修改和釣魚欺詐。實現安全保護的第一步是認清安全威脅類型，然後了解如何防護它們。」計算機犯罪分子使用不同類型的騙術和惡意軟體來利用風險行為。一個比較常見的策略是釣魚，黑客欺騙用戶下載一個被感染的文件、訪問社交網站之外的風險網站或匯錢給一個「處於困境的朋友。」Webroot表示，最近幾個月社交網站上的此類攻擊呈上漲趨勢。黑客在劫持了某個社交網站用戶的賬號後，向其聯系人發送消息，欺騙對方進行不當行為
Ⅸ 交互數據指來自相互作用的社交網路中數據一般包括機器交互和社交媒體交互的新
摘要 什麼是數據交互
Ⅹ 請問大數據的關鍵技術有哪些
分布式計算，非結構化資料庫，分類、聚類等演算法。
大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。據IDC的調查報告顯示：企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。
(10)社交網路數據存儲擴展閱讀：
大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。
大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。