sql因子分析方法

⑴ 因子分析的簡介

因子分析的方法約有10多種，如重心法、影像分析法，最大似然解、最小平方法、阿爾發抽因法、拉奧典型抽因法等等。這些方法本質上大都屬近似方法，是以相關系數矩陣為基礎的，所不同的是相關系數矩陣對角線上的值，採用不同的共同性□2估值。在社會學研究中，因子分析常採用以主成分分析為基礎的反覆法。
主成分分析為基礎的反覆法主成分分析的目的與因子分析不同，它不是抽取變數群中的共性因子，而是將變數□1，□2，…,□□進行線性組合，成為互為正交的新變數□1，□2，…,□□，以確保新變數具有最大的方差：
在求解中，正如因子分析一樣,要用到相關系數矩陣或協方差矩陣。其特徵值□1，□2，…，□□,正是□1，□2,…，□□的方差，對應的標准化特徵向量，正是方程中的系數□，□，…，□。如果□1>□2,…，□□，則對應的□1，□2，…，□□分別稱作第一主成分,第二主成分，……,直至第□主成分。如果信息無需保留100%，則可依次保留一部分主成分□1，□2，…，□□(□<□)。
當根據主成分分析，決定保留□個主成分之後，接著求□個特徵向量的行平方和，作為共同性□：
□並將此值代替相關數矩陣對角線之值，形成約相關矩陣。根據約相關系數矩陣，可進一步通過反復求特徵值和特徵向量方法確定因子數目和因子的系數。
因子旋轉為了確定因子的實際內容,還須進一步旋轉因子，使每一個變數盡量只負荷於一個因子之上。這就是簡單的結構准則。常用的旋轉有直角旋轉法和斜角旋轉法。作直角旋轉時，各因素仍保持相對獨立。在作斜角旋轉時，允許因素間存在一定關系。
Q型因子分析 上述從變數群中提取共性因子的方法，又稱R型因子分析和R型主要成分分析。但如果研究個案群的共性因子，則稱Q型因子分析和Q型主成分分析。這時只須把調查的□個方案，當作□個變數，其分析方法與R型因子分析完全相同。
因子分析是社會研究的一種有力工具，但不能肯定地說一項研究中含有幾個因子，當研究中選擇的變數變化時，因子的數量也要變化。此外對每個因子實際含意的解釋也不是絕對的。

⑵ 因子分析的基本步驟

因子分析是指研究從變數群中提取共性因子的統計技術。最早由英國心理學家C.E.斯皮爾曼提出。他發現學生的各科成績之間存在著一定的相關性，一科成績好的學生，往往其他各科成績也比較好，從而推想是否存在某些潛在的共性因子，或稱某些一般智力條件影響著學生的學習成績。因子分析可在許多變數中找出隱藏的具有代表性的因子。將相同本質的變數歸入一個因子，可減少變數的數目，還可檢驗變數間關系的假設。因子分析的前提條件

由於因子分析的主要任務之一是對原有變數進行濃縮，即將原有變數中的信息重疊部分提取和綜合成因子，進而最終實現減少變數個數的目的。因此它要求原有變數之間應存在較強的相關關系。否則，如果原有變數相互獨立，相關程度很低，不存在信息重疊，它們不可能有共同因子，那麼也就無法將其綜合和濃縮，也就無需進行因子分析。本步驟正是希望通過各種方法分析原有變數是否存在相關關系，是否適合進行因子分析。SPSS提供了四個統計量可幫助判斷觀測數據是否適合作因子分析：

（1）計算相關系數矩陣Correlation Matrix

在進行提取因子等分析步驟之前，應對相關矩陣進行檢驗，如果相關矩陣中的大部分相關系數小於0.3，則不適合作因子分析；當原始變數個數較多時，所輸出的相關系數矩陣特別大，觀察起來不是很方便，所以一般不會採用此方法或即使採用了此方法，也不方便在結果匯報中給出原始分析報表。

（2）計算反映象相關矩陣Anti-image correlation matrix

反映象矩陣重要包括負的協方差和負的偏相關系數。偏相關系數是在控制了其他變數對兩變數影響的條件下計算出來的凈相關系數。如果原有變數之間確實存在較強的相互重疊以及傳遞影響，也就是說，如果原有變數中確實能夠提取出公共因子，那麼在控制了這些影響後的偏相關系數必然很小。觀察反映象相關矩陣，如果反映象相關矩陣中除主對角元素外，其他大多數元素的絕對值均小，對角線上元素的值越接近1，則說明這些變數的相關性較強，適合進行因子分析。與方法（1）中最後所述理由相同，一般少採用此方法

（3）巴特利特球度檢驗Bartlett test of sphericity

Bartlett球體檢驗的目的是檢驗相關矩陣是否是單位矩陣（identity matrix），如果是單位矩陣，則認為因子模型不合適。Bartlett球體檢驗的虛無假設為相關矩陣是單位陣，如果不能拒絕該假設的話，就表明數據不適合用於因子分析。一般說來，顯著水平值越小（<0.05）表明原始變數之間越可能存在有意義的關系，如果顯著性水平很大（如0.10以上）可能表明數據不適宜於因子分析。

（4）KMO（Kaiser-Meyer-OklinMeasure of Smapling Adequacy）

KMO是Kaiser-Meyer-Olkin的取樣適當性量數。KMO測度的值越高（接近1.0時），表明變數間的共同因子越多，研究數據適合用因子分析。通常按以下標准解釋該指標值的大小：KMO值達到0.9以上為非常好，0.8～0.9為好，0.7～0.8為一般，0.6～0.7為差，0.5～0.6為很差。如果KMO測度的值低於0.5時，表明樣本偏小，需要擴大樣本。

⑶ 簡述因子分析的基本過程和常用標量。

簡述因子分析的基本過程和常用標量：

一、基本過程：

2、構造因子變數;

3、利用旋轉方法使因子變數具有可解釋性;

4、計算每個樣本的因子變數得分

二、常用標量：

變數是用在方程中的, 選擇變數是過濾個案的

⑷ 大數據分析方法有哪些

1、因子分析方法

所謂因子分析是指研究從變數群中提取共性因子的統計技術。因子分析就是從大量的數據中尋找內在的聯系，減少決策的困難。因子分析的方法約有10多種，如影像分析法，重心法、最大似然法、最小平方法、α抽因法、拉奧典型抽因法等等。

2、回歸分析方法

回歸分析方法就是指研究一個隨機變數Y對另一個(X)或一組變數的相依關系的統計分析方法。回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法。回歸分析方法運用十分廣泛，回歸分析按照涉及的自變數的多少，可分為一元回歸分析和多元回歸分析;按照自變數和因變數之間的關系類型，可分為線性回歸分析和非線性回歸分析。

3、相關分析方法

相關分析是研究現象之間是否存在某種依存關系，並對具體有依存關系的現象探討其相關方向以及相關程度。相關關系是一種非確定性的關系。

4、聚類分析方法

聚類分析指將物理或抽象對象的集合分組成為由類似的對象組成的多個類的分析過程。聚類是將數據分類到不同的類或者簇這樣的一個過程，所以同一個簇中的對象有很大的相似性，而不同簇間的對象有很大的相異性。聚類分析是一種探索性的分析，在分類的過程中，不需要事先給出一個分類的標准，聚類分析能夠從樣本數據出發，自動進行分類。

5、方差分析方法

方差數據方法就是用於兩個及兩個以上樣本均數差別的顯著性檢驗。由於各種因素的影響，研究所得的數據呈現波動狀。方差分析是從觀測變數的方差入手，研究諸多控制變數中哪些變數是對觀測變數有顯著影響的變數。

6、對應分析方法

對應分析是通過分析由定性變數構成的交互匯總表來揭示變數間的聯系。可以揭示同一變數的各個類別之間的差異，以及不同變數各個類別之間的對應關系。對應分析的基本思想是將一個聯列表的行和列中各元素的比例結構以點的形式在較低維的空間中表示出來。

⑸ 因子分析法的概念

1.主成分分析
主成分分析主要是一種探索性的技術，在分析者進行多元數據分析之前，用他來分析數據，讓自己對數據有一個大致的了解，這是非常有必要的。主成分分析一般很少單獨使用：a、了解數據。（screening the data），b、和cluster analysis（聚類分析）一起使用，c、和判別分析一起使用，比如當變數很多，個案數不多，直接使用判別分析可能無解，這時候可以使用主成分對變數簡化（rece dimensionality），d、在多元回歸中，主成分分析可以幫助判斷是否存在共線性（條件指數），還可以用來處理共線性。
1、因子分析中是把變數表示成各因子的線性組合，而主成分分析中則是把主成分表示成各變數的線性組合。
2、主成分分析的重點在於解釋各變數的總方差，而因子分析則把重點放在解釋各變數之間的協方差。
3、主成分分析中不需要有假設（assumptions），因子分析則需要一些假設。因子分析的假設包括：各個共同因子之間不相關，特殊因子（specific factor）之間也不相關，共同因子和特殊因子之間也不相關。
4、主成分分析中，當給定的協方差矩陣或者相關矩陣的特徵值是唯一的時候，主成分一般是獨特的；而因子分析中因子不是獨特的，可以旋轉得到不同的因子。
5、在因子分析中，因子個數需要分析者指定（spss根據一定的條件自動設定，只要是特徵值大於1的因子進入分析），而指定的因子數量不同而結果不同。在主成分分析中，成分的數量是一定的，一般有幾個變數就有幾個主成分。和主成分分析相比，由於因子分析可以使用旋轉技術幫助解釋因子，在解釋方面更加有優勢。大致說來，當需要尋找潛在的因子，並對這些因子進行解釋的時候，更加傾向於使用因子分析，並且藉助旋轉技術幫助更好解釋。而如果想把現有的變數變成少數幾個新的變數（新的變數幾乎帶有原來所有變數的信息）來進入後續的分析，則可以使用主成分分析。當然，這種情況也可以使用因子得分做到。所以這種區分不是絕對的。
在演算法上，主成分分析和因子分析很類似，不過在因子分析中所採用的協方差矩陣的對角元素不再是變數的方差，而是和變數對應的共同度（變數方差中被各因子所解釋的部分）。
2.聚類分析（Cluster Analysis)
聚類分析是直接比較各事物之間的性質，將性質相近的歸為一類，將性質差別較大的歸入不同的類的分析技術。
在市場研究領域，聚類分析主要應用方面是幫助我們尋找目標消費群體，運用這項研究技術，我們可以劃分出產品的細分市場，並且可以描述出各細分市場的人群特徵，以便於客戶可以有針對性的對目標消費群體施加影響，合理地開展工作。
3.判別分析（Discriminatory Analysis)
判別分析（Discriminatory Analysis）的任務是根據已掌握的1批分類明確的樣品，建立較好的判別函數，使產生錯判的事例最少，進而對給定的1個新樣品，判斷它來自哪個總體。根據資料的性質，分為定性資料的判別分析和定量資料的判別分析；採用不同的判別准則，又有費歇、貝葉斯、距離等判別方法。
費歇（FISHER）判別思想是投影，使多維問題簡化為一維問題來處理。選擇一個適當的投影軸，使所有的樣品點都投影到這個軸上得到一個投影值。對這個投影軸的方向的要求是：使每一類內的投影值所形成的類內離差盡可能小，而不同類間的投影值所形成的類間離差盡可能大。貝葉斯（BAYES）判別思想是根據先驗概率求出後驗概率，並依據後驗概率分布作出統計推斷。所謂先驗概率，就是用概率來描述人們事先對所研究的對象的認識的程度；所謂後驗概率，就是根據具體資料、先驗概率、特定的判別規則所計算出來的概率。它是對先驗概率修正後的結果。
距離判別思想是根據各樣品與各母體之間的距離遠近作出判別。即根據資料建立關於各母體的距離判別函數式，將各樣品數據逐一代入計算，得出各樣品與各母體之間的距離值，判樣品屬於距離值最小的那個母體。
4.對應分析（Correspondence Analysis)
對應分析是一種用來研究變數與變數之間聯系緊密程度的研究技術。
運用這種研究技術，我們可以獲取有關消費者對產品品牌定位方面的圖形，從而幫助您及時調整營銷策略，以便使產品品牌在消費者中能樹立起正確的形象。
這種研究技術還可以用於檢驗廣告或市場推廣活動的效果，我們可以通過對比廣告播出前或市場推廣活動前與廣告播出後或市場推廣活動後消費者對產品的不同認知圖來看出廣告或市場推廣活動是否成功的向消費者傳達了需要傳達的信息。
5.典型相關分析
典型相關分析是分析兩組隨機變數間線性密切程度的統計方法，是兩變數間線性相關分析的拓廣。各組隨機變數中既可有定量隨機變數，也可有定性隨機變數（分析時須F6說明為定性變數）。本法還可以用於分析高維列聯表各邊際變數的線性關系。
注意
1．嚴格地說，一個典型相關系數描述的只是一對典型變數之間的相關，而不是兩個變數組之間的相關。而各對典型變數之間構成的多維典型相關才共同揭示了兩個觀測變數組之間的相關形式。
2．典型相關模型的基本假設和數據要求
要求兩組變數之間為線性關系，即每對典型變數之間為線性關系；
每個典型變數與本組所有觀測變數的關系也是線性關系。如果不是線性關系，可先線性化：如經濟水平和收入水平與其他一些社會發展水之間並不是線性關系，可先取對數。即log經濟水平，log收入水平。
3．典型相關模型的基本假設和數據要求
所有觀測變數為定量數據。同時也可將定性數據按照一定形式設為虛擬變數後，再放入典型相關模型中進行分析。
6.多維尺度分析（Multi-dimension Analysis)
多維尺度分析（Multi-dimension Analysis) 是市場研究的一種有力手段，它可以通過低維空間（通常是二維空間）展示多個研究對象（比如品牌）之間的聯系，利用平面距離來反映研究對象之間的相似程度。由於多維尺度分析法通常是基於研究對象之間的相似性（距離）的，只要獲得了兩個研究對象之間的距離矩陣，我們就可以通過相應統計軟體做出他們的相似性知覺圖。
在實際應用中，距離矩陣的獲得主要有兩種方法：一種是採用直接的相似性評價，先將所有評價對象進行兩兩組合，然後要求被訪者所有的這些組合間進行直接相似性評價，這種方法我們稱之為直接評價法；另一種為間接評價法，由研究人員根據事先經驗，找出影響人們評價研究對象相似性的主要屬性，然後對每個研究對象，讓被訪者對這些屬性進行逐一評價，最後將所有屬性作為多維空間的坐標，通過距離變換計算對象之間的距離。
多維尺度分析的主要思路是利用對被訪者對研究對象的分組，來反映被訪者對研究對象相似性的感知，這種方法具有一定直觀合理性。同時該方法實施方便，調查中被訪者負擔較小，很容易得到理解接受。當然，該方法的不足之處是犧牲了個體距離矩陣，由於每個被訪者個體的距離矩陣只包含1與0兩種取值，相對較為粗糙，個體距離矩陣的分析顯得比較勉強。但這一點是完全可以接受的，因為對大多數研究而言，我們並不需要知道每一個體的空間知覺圖。
多元統計分析是統計學中內容十分豐富、應用范圍極為廣泛的一個分支。在自然科學和社會科學的許多學科中，研究者都有可能需要分析處理有多個變數的數據的問題。能否從表面上看起來雜亂無章的數據中發現和提煉出規律性的結論，不僅對所研究的專業領域要有很好的訓練，而且要掌握必要的統計分析工具。對實際領域中的研究者和高等院校的研究生來說，要學習掌握多元統計分析的各種模型和方法，手頭有一本好的、有長久價值的參考書是非常必要的。這樣一本書應該滿足以下條件：首先，它應該是「淺入深出」的，也就是說，既可供初學者入門，又能使有較深基礎的人受益。其次，它應該是既側重於應用，又兼顧必要的推理論證，使學習者既能學到「如何」做，而且在一定程度上了解「為什麼」這樣做。最後，它應該是內涵豐富、全面的，不僅要基本包括各種在實際中常用的多元統計分析方法，而且還要對現代統計學的最新思想和進展有所介紹、交代。
主成分分析通過線性組合將原變數綜合成幾個主成分，用較少的綜合指標來代替原來較多的指標（變數）。在多變數分析中，某些變數間往往存在相關性。是什麼原因使變數間有關聯呢？是否存在不能直接觀測到的、但影響可觀測變數變化的公共因子？因子分析法（Factor Analysis）就是尋找這些公共因子的模型分析方法，它是在主成分的基礎上構築若干意義較為明確的公因子，以它們為框架分解原變數，以此考察原變數間的聯系與區別。
例如，隨著年齡的增長，兒童的身高、體重會隨著變化，具有一定的相關性，身高和體重之間為何會有相關性呢？因為存在著一個同時支配或影響著身高與體重的生長因子。那麼，我們能否通過對多個變數的相關系數矩陣的研究，找出同時影響或支配所有變數的共性因子呢？因子分析就是從大量的數據中「由表及裡」、「去粗取精」，尋找影響或支配變數的多變數統計方法。
可以說，因子分析是主成分分析的推廣，也是一種把多個變數化為少數幾個綜合變數的多變數分析方法，其目的是用有限個不可觀測的隱變數來解釋原始變數之間的相關關系。
因子分析主要用於：1、減少分析變數個數；2、通過對變數間相關關系探測，將原始變數進行分類。即將相關性高的變數分為一組，用共性因子代替該組變數。

⑹ 什麼是因子分析法

因子分析法，是指在盡可能不損失信息或少損失信息的情況下，將多個變數減少為少數幾個潛在的因子，這幾個因子可以高度概括大量數據中的信息，既減少變數個數，又同樣地能再現變數之間的內在聯系。

⑺ 因子分析可分為哪三個步驟

職務分析是一項技術性很強的工作，需要做周密的准備。同時還需具有與人力資源管理活動相匹配的科學的、合理的操作程序。 (一)准備階段 1、建立工作分析小組。小組成員通常由分析專家構成。所謂分析專家，是指具有分析專長，並對組織結構及組織內各項工作有明確概念的人員。一旦小組成員確定之後，賦予他們進行分析活動的許可權，以保證分析工作的協調和順利進行。 2、明確工作分析的總目標、總任務。根據總目標、總任務，對企業現狀進行初步了解，掌握各種數據和資料。 3、明確工作分析的目的。有了明確的目的，才能正確確定分析的范圍、對象和內容，規定分析的方式、方法，並弄清應當收集什麼資料，到哪兒去收集，用什麼方法去收集。 4、明確分析對象。為保證分析結果的正確性，應該選擇有代表性、典型性的工作。 5、建立良好的工作關系。為了搞好工作分析，還應做好員工的心理准備工作，建立起友好的合作關系。 (二)調查階段 分析人員應制定工作分析的時間計劃進度表，以保證這項工作能夠按部就班的進行調查。同時搜集有關職位的相關信息。這一階段包括以下幾項內容： 1、選擇信息來源。信息主要來源於：工作執行者本人、管理監督者、顧客、分析專家、職業名稱辭典以及以往的分析資料。 2、選擇收集信息的方法和系統。信息收集的方法和分析信息適用的系統由工作分析人員根據企業的實際需要靈活運用。 3、搜集職位的相關信息 (三)分析階段 工作分析就是審查、分析企業某個工作有關的信息的過程。也就是說，該階段包括信息的整理、審查、分析三個相關活動，是整個工作分析過程的主要部分。 1、工作名稱該名稱必須明確，使人看到工作名稱，就可以大致了解工作內容。如果該工作已完成了工作評價，在工資上已有固定的等級，則名稱上可加上等級。 2、聘用人員數目同一工作所聘用工作人員的數目和性別，應予以記錄。 3、工作單位工作單位是顯示工作所在的單位及其上下左右的關系，也就是說明工作的組織位置。 4、職責所謂職責，就是這項工作的許可權和責任有多大，主要包括以下幾方面： 5、工作知識工作知識是為圓滿完成某項工作，工作人員應具備的實際知識。這種知識應包括任用後為執行其工作任務所需獲得的知識，以及任用前已具備的知識。 6、智力要求智力要求指在執行過程中所需運用的智力，包括判斷、決策、警覺、主動、積極、反應、適應等。

⑻ 因子分析法的分析步驟

因子分析的核心問題有兩個：一是如何構造因子變數；二是如何對因子變數進行命名解釋。因此，因子分析的基本步驟和解決思路就是圍繞這兩個核心問題展開的。
（i）因子分析常常有以下四個基本步驟：
⑴確認待分析的原變數是否適合作因子分析。
⑵構造因子變數。
⑶利用旋轉方法使因子變數更具有可解釋性。
⑷計算因子變數得分。
（ii）因子分析的計算過程：
⑴將原始數據標准化，以消除變數間在數量級和量綱上的不同。
⑵求標准化數據的相關矩陣；
⑶求相關矩陣的特徵值和特徵向量；
⑷計算方差貢獻率與累積方差貢獻率；
⑸確定因子：
設F1，F2，…， Fp為p個因子，其中前m個因子包含的數據信息總量（即其累積貢獻率）不低於80%時，可取前m個因子來反映原評價指標；
⑹因子旋轉：
若所得的m個因子無法確定或其實際意義不是很明顯，這時需將因子進行旋轉以獲得較為明顯的實際含義。
⑺用原指標的線性組合來求各因子得分：
採用回歸估計法，Bartlett估計法或Thomson估計法計算因子得分。
⑻綜合得分
以各因子的方差貢獻率為權，由各因子的線性組合得到綜合評價指標函數。
F = (w1F1+w2F2+…+wmFm)/(w1+w2+…+wm )
此處wi為旋轉前或旋轉後因子的方差貢獻率。
⑼得分排序：利用綜合得分可以得到得分名次。
在採用多元統計分析技術進行數據處理、建立宏觀或微觀系統模型時，需要研究以下幾個方面的問題：
· 簡化系統結構，探討系統內核。可採用主成分分析、因子分析、對應分析等方法，在眾多因素中找出各個變數最佳的子集合，從子集合所包含的信息描述多變數的系統結果及各個因子對系統的影響。「從樹木看森林」，抓住主要矛盾，把握主要矛盾的主要方面，舍棄次要因素，以簡化系統的結構，認識系統的內核。
· 構造預測模型，進行預報控制。在自然和社會科學領域的科研與生產中，探索多變數系統運動的客觀規律及其與外部環境的關系，進行預測預報，以實現對系統的最優控制，是應用多元統計分析技術的主要目的。在多元分析中，用於預報控制的模型有兩大類。一類是預測預報模型，通常採用多元線性回歸或逐步回歸分析、判別分析、雙重篩選逐步回歸分析等建模技術。另一類是描述性模型，通常採用聚類分析的建模技術。
· 進行數值分類，構造分類模式。在多變數系統的分析中，往往需要將系統性質相似的事物或現象歸為一類。以便找出它們之間的聯系和內在規律性。過去許多研究多是按單因素進行定性處理，以致處理結果反映不出系統的總的特徵。進行數值分類，構造分類模式一般採用聚類分析和判別分析技術。
如何選擇適當的方法來解決實際問題，需要對問題進行綜合考慮。對一個問題可以綜合運用多種統計方法進行分析。例如一個預報模型的建立，可先根據有關生物學、生態學原理，確定理論模型和試驗設計；根據試驗結果，收集試驗資料；對資料進行初步提煉；然後應用統計分析方法（如相關分析、逐步回歸分析、主成分分析等）研究各個變數之間的相關性，選擇最佳的變數子集合；在此基礎上構造預報模型，最後對模型進行診斷和優化處理，並應用於生產實際。

⑼ SQL中如何實現大數據量共現分析

1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如 果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術
數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取： 關系資料庫、NOSQL、SQL等。
基礎架構： 雲存儲、分布式文件存儲等。
數據處理： 自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。
統計分析： 假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、 卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、 因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數據挖掘： 分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測 ：預測模型、機器學習、建模模擬。
結果呈現： 雲計算、標簽雲、關系圖等。

大數據的處理
1. 大數據處理之一：採集
大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的 數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除 此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶 來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間 進行負載均衡和分片的確是需要深入的思考和設計。
2. 大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這 些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使 用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3. 大數據處理之三：統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通 的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於 MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4. 大數據處理之四：挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數 據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於 統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並 且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。