大數據量高並發訪問資料庫結構的設計
如果不能設計一個合理的資料庫模型，不僅會增加客戶端和伺服器段程序的編程和維護的難度，而且將會影響系統實際運行的性能。所以，在一個系統開始實施之前，完備的資料庫模型的設計是必須的。
在一個系統分析、設計階段，因為數據量較小，負荷較低。我們往往只注意到功能的實現，而很難注意到性能的薄弱之處，等到系統投入實際運行一段時間後，才發現系統的性能在降低，這時再來考慮提高系統性能則要花費更多的人力物力，而整個系統也不可避免的形成了一個打補丁工程。
所以在考慮整個系統的流程的時候，我們必須要考慮，在高並發大數據量的訪問情況下，我們的系統會不會出現極端的情況。（例如：對外統計系統在7月16日出現的數據異常的情況，並發大數據量的的訪問造成，資料庫的響應時間不能跟上數據刷新的速度造成。具體情況是：在日期臨界時（00：00：00），判斷資料庫中是否有當前日期的記錄，沒有則插入一條當前日期的記錄。在低並發訪問的情況下，不會發生問題，但是當日期臨界時的訪問量相當大的時候，在做這一判斷的時候，會出現多次條件成立，則資料庫里會被插入多條當前日期的記錄，從而造成數據錯誤。），資料庫的模型確定下來之後，我們有必要做一個系統內數據流向圖，分析可能出現的瓶頸。
為了保證資料庫的一致性和完整性，在邏輯設計的時候往往會設計過多的表間關聯，盡可能的降低數據的冗餘。（例如用戶表的地區，我們可以把地區另外存放到一個地區表中）如果數據冗餘低，數據的完整性容易得到保證，提高了數據吞吐速度，保證了數據的完整性，清楚地表達數據元素之間的關系。而對於多表之間的關聯查詢（尤其是大數據表）時，其性能將會降低，同時也提高了客戶端程序的編程難度，因此，物理設計需折衷考慮，根據業務規則，確定對關聯表的數據量大小、數據項的訪問頻度，對此類數據表頻繁的關聯查詢應適當提高數據冗餘設計但增加了表間連接查詢的操作，也使得程序的變得復雜，為了提高系統的響應時間，合理的數據冗餘也是必要的。設計人員在設計階段應根據系統操作的類型、頻度加以均衡考慮。
另外，最好不要用自增屬性欄位作為主鍵與子表關聯。不便於系統的遷移和數據恢復。對外統計系統映射關系丟失（******************）。
原來的表格必須可以通過由它分離出去的表格重新構建。使用這個規定的好處是，你可以確保不會在分離的表格中引入多餘的列，所有你創建的表格結構都與它們的實際需要一樣大。應用這條規定是一個好習慣，不過除非你要處理一個非常大型的數據，否則你將不需要用到它。（例如一個通行證系統，我可以將USERID，USERNAME，USERPASSWORD，單獨出來作個表，再把USERID作為其他表的外鍵）
表的設計具體注意的問題：
1、數據行的長度不要超過8020位元組，如果超過這個長度的話在物理頁中這條數據會佔用兩行從而造成存儲碎片，降低查詢效率。
2、能夠用數字類型的欄位盡量選擇數字類型而不用字元串類型的（電話號碼），這會降低查詢和連接的性能，並會增加存儲開銷。這是因為引擎在處理查詢和連接回逐個比較字元串中每一個字元，而對於數字型而言只需要比較一次就夠了。
3、對於不可變字元類型char和可變字元類型varchar都是8000位元組,char查詢快，但是耗存儲空間，varchar查詢相對慢一些但是節省存儲空間。在設計欄位的時候可以靈活選擇，例如用戶名、密碼等長度變化不大的欄位可以選擇CHAR，對於評論等長度變化大的欄位可以選擇VARCHAR。
4、欄位的長度在最大限度的滿足可能的需要的前提下，應該盡可能的設得短一些，這樣可以提高查詢的效率，而且在建立索引的時候也可以減少資源的消耗。
5、基本表及其欄位之間的關系, 應盡量滿足第三範式。但是，滿足第三範式的資料庫設計，往往不是最好的設計。為了提高資料庫的運行效率，常常需要降低範式標准：適當增加冗餘，達到以空間換時間的目的。
6、若兩個實體之間存在多對多的關系，則應消除這種關系。消除的辦法是，在兩者之間增加第三個實體。這樣，原來一個多對多的關系，現在變為兩個一對多的關系。要將原來兩個實體的屬性合理地分配到三個實體中去。這里的第三個實體，實質上是一個較復雜的關系，它對應一張基本表。一般來講，資料庫設計工具不能識別多對多的關系，但能處理多對多的關系。
7、主鍵PK的取值方法，PK是供程序員使用的表間連接工具，可以是一無物理意義的數字串, 由程序自動加1來實現。也可以是有物理意義的欄位名或欄位名的組合。不過前者比後者好。當PK是欄位名的組合時，建議欄位的個數不要太多，多了不但索引佔用空間大，而且速度也慢。
8、主鍵與外鍵在多表中的重復出現, 不屬於數據冗餘，這個概念必須清楚，事實上有許多人還不清楚。非鍵欄位的重復出現, 才是數據冗餘！而且是一種低級冗餘，即重復性的冗餘。高級冗餘不是欄位的重復出現，而是欄位的派生出現。
〖例4〗：商品中的「單價、數量、金額」三個欄位，「金額」就是由「單價」乘以「數量」派生出來的，它就是冗餘，而且是一種高級冗餘。冗餘的目的是為了提高處理速度。只有低級冗餘才會增加數據的不一致性，因為同一數據，可能從不同時間、地點、角色上多次錄入。因此，我們提倡高級冗餘(派生性冗餘)，反對低級冗餘(重復性冗餘)。
9、中間表是存放統計數據的表，它是為數據倉庫、輸出報表或查詢結果而設計的，有時它沒有主鍵與外鍵(數據倉庫除外)。臨時表是程序員個人設計的，存放臨時記錄，為個人所用。基表和中間表由DBA維護，臨時表由程序員自己用程序自動維護。
10、防止資料庫設計打補丁的方法是「三少原則」
(1) 一個資料庫中表的個數越少越好。只有表的個數少了，才能說明系統的E--R圖少而精，去掉了重復的多餘的實體，形成了對客觀世界的高度抽象，進行了系統的數據集成，防止了打補丁式的設計；
(2) 一個表中組合主鍵的欄位個數越少越好。因為主鍵的作用，一是建主鍵索引，二是做為子表的外鍵，所以組合主鍵的欄位個數少了，不僅節省了運行時間，而且節省了索引存儲空間；
(3) 一個表中的欄位個數越少越好。只有欄位的個數少了，才能說明在系統中不存在數據重復，且很少有數據冗餘，更重要的是督促讀者學會「列變行」，這樣就防止了將子表中的欄位拉入到主表中去，在主表中留下許多空餘的欄位。所謂「列變行」，就是將主表中的一部分內容拉出去，另外單獨建一個子表。這個方法很簡單，有的人就是不習慣、不採納、不執行。
資料庫設計的實用原則是：在數據冗餘和處理速度之間找到合適的平衡點。「三少」是一個整體概念，綜合觀點，不能孤立某一個原則。該原則是相對的，不是絕對的。「三多」原則肯定是錯誤的。試想：若覆蓋系統同樣的功能，一百個實體(共一千個屬性) 的E--R圖，肯定比二百個實體(共二千個屬性)的E--R圖，要好得多。
提倡「三少」原則，是叫讀者學會利用資料庫設計技術進行系統的數據集成。數據集成的步驟是將文件系統集成為應用資料庫，將應用資料庫集成為主題資料庫，將主題資料庫集成為全局綜合資料庫。集成的程度越高，數據共享性就越強，信息孤島現象就越少，整個企業信息系統的全局E—R圖中實體的個數、主鍵的個數、屬性的個數就會越少。
提倡「三少」原則的目的，是防止讀者利用打補丁技術，不斷地對資料庫進行增刪改，使企業資料庫變成了隨意設計資料庫表的「垃圾堆」，或資料庫表的「大雜院」，最後造成資料庫中的基本表、代碼表、中間表、臨時表雜亂無章，不計其數，導致企事業單位的信息系統無法維護而癱瘓。
「三多」原則任何人都可以做到，該原則是「打補丁方法」設計資料庫的歪理學說。「三少」原則是少而精的原則，它要求有較高的資料庫設計技巧與藝術，不是任何人都能做到的，因為該原則是杜絕用「打補丁方法」設計資料庫的理論依據。
11、在給定的系統硬體和系統軟體條件下，提高資料庫系統的運行效率的辦法是：
(1) 在資料庫物理設計時，降低範式，增加冗餘, 少用觸發器, 多用存儲過程。
(2) 當計算非常復雜、而且記錄條數非常巨大時(例如一千萬條)，復雜計算要先在資料庫外面，以文件系統方式用編程語言計算處理完成之後，最後才入庫追加到表中去。
(3) 發現某個表的記錄太多，例如超過一千萬條，則要對該表進行水平分割。水平分割的做法是，以該表主鍵PK的某個值為界線，將該表的記錄水平分割為兩個表。若發現某個表的欄位太多，例如超過八十個，則垂直分割該表，將原來的一個表分解為兩個表。
(4) 對資料庫管理系統DBMS進行系統優化，即優化各種系統參數，如緩沖區個數。
(5) 在使用面向數據的sql語言進行程序設計時，盡量採取優化演算法。
總之，要提高資料庫的運行效率，必須從資料庫系統級優化、資料庫設計級優化、程序實現級優化，這三個層次上同時下功夫。
主鍵設計：
1、不建議用多個欄位做主鍵，單個表還可以，但是關聯關系就會有問題，主鍵自增是高性能的。
2、一般情況下，如果有兩個外鍵，不建議採用兩個外鍵作為聯合住建，另建一個欄位作為主鍵。除非這條記錄沒有邏輯刪除標志，且該表永遠只有一條此聯合主鍵的記錄。
3、一般而言，一個實體不能既無主鍵又無外鍵。在E—R 圖中, 處於葉子部位的實體, 可以定義主鍵，也可以不定義主鍵(因為它無子孫), 但必須要有外鍵(因為它有父親)。
主鍵與外鍵的設計，在全局資料庫的設計中，佔有重要地位。當全局資料庫的設計完成以後，有個美國資料庫設計專家說：「鍵，到處都是鍵，除了鍵之外，什麼也沒有」，這就是他的資料庫設計經驗之談，也反映了他對信息系統核心(數據模型)的高度抽象思想。因為：主鍵是實體的高度抽象，主鍵與、外鍵的配對，表示實體之間的連接。
② 數據量大，列比較多，請問資料庫表該如何設計
基本的建立主鍵，索引什麼的，我就不說了，
表設計可以採取拆分表的方式
縱向拆分表：根據欄位拆分為多個表，每個表都有關聯欄位，可以將他們關聯起來
（例如：訂單表，幾個根據欄位拆分的表中都有1個訂單號欄位）
橫向拆分表：不知道你具體什麼數據，假定其中有時間欄位，根據時間來拆分
（例如：1年有12個月，1個月的數據放入一個表中）
③ 資料庫設計
說起資料庫設計，相信大家都明白怎麼回事，但說起資料庫設計的重要性，我想大家也只是停留在概念上而已，到底如何重要？怎麼重要呢？今天就將我至今為止的理解向大家闡述下。
一個不良的資料庫設計，必然會造成很多問題，輕則增減欄位，重則系統無法運行。我先來說說資料庫設計不合理的表現吧：
1. 與需求不符
因為這個原因造成的改動量往往是最大。如果進入編碼階段的話，很可能會直接讓你崩潰掉。
2. 性能低下
含有大數據量的表之間的關聯過多；沒有合理的欄位設計來用於查詢而造成的SQL查詢語句很復雜；對於大數據量的表沒有採用有效的手段去處理；濫用視圖等。
3. 數據完整性喪失
含有主外鍵關系的表之間關聯欄位的設計方式不合理，造成更新與刪除操作後程序容易出錯或不完善；使用了已經刪除或丟失掉的數據。
4. 可擴展性性太差
表設計的與業務綁定的太緊密、單一，造成表的可拓展性、可修改性太差，無法新需求的要求。
5. 非必要數據冗餘量太大
沒用的垃圾數據存儲過多，不僅佔用資源，還影響查詢效率。
6. 不利於計算或統計
缺少必要的聯系性或統計性欄位或用於計算統計的欄位分散於多個表中，造成計算統計的步驟繁瑣，甚至無法計算統計。
7. 沒有詳盡的數據記錄信息
缺少必要的欄位，造成無法跟蹤數據變化、用戶操作，也無法進行數據分析。
8. 表之間的耦合性太大
多張表之間關聯的過於緊密，造成一張表發生變化而影響到其他表。
9. 欄位設計考慮不周
欄位長度過短或欄位類型過於明確，造成可發揮、可拓展的空間太小。
大多數的程序員對於軟體開發的出發點認識不是很明確，總是認為實現功能才是重要的，在簡單了解完基本需求後就急忙進入編碼階段，對於資料庫設計思考的比較少、比較簡單，大多設計都只停留在表面上，這往往是要命的，會為系統留下很多隱患。要麼是寫代碼開發過程中才發現問題，要麼就是系統上線運轉後沒多久就出現問題，還有可能給後期維護增加了很多工作量。如果到了那個時候再想修改資料庫設計或進行優化等同於推翻重來。
資料庫是整個軟體應用的根基，是軟體設計的起點，它起著決定性的質變作用，因此我們必須對資料庫設計高度重視起來，培養設計良好資料庫的習慣，是一個優秀的軟體設計師所必須具備的基本素質條件！
那麼我們要做到什麼程度才是對的呢？下面就說說資料庫設計的原則
1. 資料庫設計最起碼要佔用整個項目開發的40%以上的時間
資料庫是需求的直觀反應和表現，因此設計時必須要切實符合用戶的需求，要多次與用戶溝通交流來細化需求，將需求中的要求和每一次的變化都要一一體現在資料庫的設計當中。如果需求不明確，就要分析不確定的因素，設計表時就要事先預留出可變通的欄位，正所謂「有備無患」。
2. 資料庫設計不僅僅停留於頁面demo的表面
頁面內容所需要的欄位，在資料庫設計中只是一部分，還有系統運轉、模塊交互、中轉數據、表之間的聯系等等所需要的欄位，因此資料庫設計絕對不是簡單的基本數據存儲，還有邏輯數據存儲。
3. 資料庫設計完成後，項目80%的設計開發在你腦海中就已經完成了
每個欄位的設計都是有他必要的意義的，你在設計每一個欄位的同時，就應該已經想清楚程序中如何去運用這些欄位，多張表的聯系在程序中是如何體現的。換句話說，你完成資料庫設計後，程序中所有的實現思路和實現方式在你的腦海中就已經考慮過了。如果達不到這種程度，那當進入編碼階段後，才發現要運用的技術或實現的方式資料庫無法支持，這時再改動資料庫就會很麻煩，會造成一系列不可預測的問題。
4. 資料庫設計時就要考慮到效率和優化問題
一開始就要分析哪些表會存儲較多的數據量，對於數據量較大的表的設計往往是粗粒度的，也會冗餘一些必要的欄位，已達到盡量用最少的表、最弱的表關系去存儲海量的數據。並且在設計表時，一般都會對主鍵建立聚集索引，含有大數據量的表更是要建立索引以提供查詢性能。對於含有計算、數據交互、統計這類需求時，還要考慮是否有必要採用存儲過程。
5. 添加必要的（冗餘）欄位
像「創建時間」、「修改時間」、「備注」、「操作用戶IP」和一些用於其他需求（如統計）的欄位等，在每張表中必須都要有，不是說只有系統中用到的數據才會存到資料庫中，一些冗餘欄位是為了便於日後維護、分析、拓展而添加的，這點是非常重要的，比如黑客攻擊，篡改了數據，我們便就可以根據修改時間和操作用戶IP來查找定位。
6. 設計合理的表關聯
若多張表之間的關系復雜，建議採用第三張映射表來關聯維護兩張表之間的關系，以降低表之間的直接耦合度。若多張表涉及到大數據量的問題，表結構盡量簡單，關聯也要盡可能避免。
7. 設計表時不加主外鍵等約束性關聯，系統編碼階段完成後再添加約束性關聯
這樣做的目的是有利於團隊並行開發，減少編碼時所遇到的問題，表之間的關系靠程序來控制。編碼完成後再加關聯並進行測試。不過也有一些公司的做法是乾脆就不加表關聯。
8. 選擇合適的主鍵生成策略
主鍵生成策略大致可分：int自增長類型（identity、sequence）、手動增長類型（建立單獨一張表來維護）、手動維護類型（如userId）、字元串類型（uuid、guid）。int型的優點是使用簡單、效率高，但多表之間數據合並時就很容易出現問題，手動增長類型和字元串類型能很好解決多表數據合並的問題，但同樣也都有缺點：前者的缺點是增加了一次資料庫訪問來獲取主鍵，並且又多維護一張主鍵表，增加了復雜度；而後者是非常佔用存儲空間，且表關聯查詢的效率低下，索引的效率也不高，跟int類型正好相反。
終上所述，我們可見資料庫設計在整個軟體開發的起到的舉足輕重的作用，尤其是我說的設計原則的第一點，資料庫與需求是相輔相成的，我經常把軟體開發比作汽車製造。汽車製造會經過圖紙設計，模型製作，樣車製造，小批量試生產，最後是批量生產等步驟。整個過程環環相扣，後一過程是建立在前一過程正確的前提基礎之上的。如果在圖紙設計階段發現了一個紕漏，我們可以重新進行圖紙設計，如果到了樣車製造階段發現這個錯誤，那麼我們就要把從圖紙設計到樣車製造的階段重來，越到後面發現設計上的問題，所付出的代價越大，修改的難度也越大。
資料庫設計難度其實要比單純的技術實現的難很多，他充分體現了一個人的全局設計能力和掌控能力，所以在今後的項目中大家一定要著重培養這方面的能力，這里我將我的經驗分享給了大家，希望能對大家有所幫助。
④ 如何設計資料庫 實現大數據分析
資料庫開發工程師的日常工作是設計、開發資料庫系統和資料庫應用軟體，因此與軟體研發的過程一樣，會覆蓋需求、設計、編程和測試四個階段：
需求：深入調研用戶市場需求，認清項目的應用場景，解決的問題，性能指標等，需要與資料庫系統使用方反復溝通，確定具體的需求。
設計：根據收集整理的需求文檔設計資料庫系統軟體的模型和架構，劃分模塊分別進行概要和詳細設計。
編程：按照模塊分工和設計文檔，進行編碼和調試。
測試：將開發完成的資料庫系統交給測試人員進行測試，主要使用的測試方法有黑盒測試、白盒測試、壓力測試、性能測試等，測試全部通過後即可等待發布。
⑤ 如何設計一個資料庫，能夠存下如此「大量」的數據
海量資料庫的設計，首先要考慮使用什麼樣的數據軟體。有些資料庫軟體適合大數據。然後就考慮表，視圖，資料庫的安排，如何才能最大程度的提升效率，節約資源。
⑥ 說明在設計資料庫表時你是如何考慮的
資料庫是整個軟體應用的根基，是軟體設計的起點，它起著決定性的質變作用，因此我們必須對資料庫設計高度重視起來，培養設計良好資料庫的習慣，是一個優秀的軟體設計師所必須具備的基本素質條件！ 那麼我們要做到什麼程度才是對的呢？下面就說說資料庫設計的原則： （1）、資料庫設計最起碼要佔用整個項目開發的40%以上的時間
資料庫是需求的直觀反應和表現，因此設計時必須要切實符合用戶的需求，要多次與用戶溝通交流來細化需求，將需求中的要求和每一次的變化都要一一體現在資料庫的設計當中。如果需求不明確，就要分析不確定的因素，設計表時就要事先預留出可變通的欄位，正所謂「有備無患」。 （2）、資料庫設計不僅僅停留於頁面demo的表面 頁面內容所需要的欄位，在資料庫設計中只是一部分，還有系統運轉、模塊交互、中轉數據、表之間的聯系等等所需要的欄位，因此資料庫設計絕對不是簡單的基本數據存儲，還有邏輯數據存儲。 （3）、資料庫設計完成後，項目80%的設計開發在你腦海中就已經完成了 每個欄位的設計都是有他必要的意義的，你在設計每一個欄位的同時，就應該已經想清楚程序中如何去運用這些欄位，多張表的聯系在程序中是如何體現的。換句話說，你完成資料庫設計後，程序中所有的實現思路和實現方式在你的腦海中就已經考慮過了。如果達不到這種程度，那當進入編碼階段後，才發現要運用的技術或實現的方式資料庫無法支持，這時再改動資料庫就會很麻煩，會造成一系列不可預測的問題。 （4）、資料庫設計時就要考慮到效率和優化問題 一開始就要分析哪些表會存儲較多的數據量，對於數據量較大的表的設計往往是粗粒度的，也會冗餘一些必要的欄位，已達到盡量用最少的表、最弱的表關系去存儲海量的數據。並且在設計表時，一般都會對主鍵建立聚集索引，含有大數據量的表更是要建立索引以提供查詢性能。對於含有計算、數據交互、統計這類需求時，還要考慮是否有必要採用存儲過程。 （5）、添加必要的（冗餘）欄位 像「創建時間」、「修改時間」、「備注」、「操作用戶IP」和一些用於其他需求（如統計）的欄位等，在每張表中必須都要有，不是說只有系統中用到的數據才會存到資料庫中，一些冗餘欄位是為了便於日後維護、分析、拓展而添加的，這點是非常重要的，比如黑客攻擊，篡改了數據，我們便就可以根據修改時間和操作用戶IP來查找定位。 （6）、設計合理的表關聯 若多張表之間的關系復雜，建議採用第三張映射表來關聯維護兩張表之間的關系，以降低表之間的直接耦合度。若多張表涉及到大數據量的問題，表結構盡量簡單，關聯也要盡可能避免。 （7）、設計表時不加主外鍵等約束性關聯，系統編碼階段完成後再添加約束性關聯 這樣做的目的是有利於團隊並行開發，減少編碼時所遇到的問題，表之間的關系靠程序來控制。編碼完成後再加關聯並進行測試。不過也有一些公司的做法是乾脆就不加表關聯。 （8）、選擇合適的主鍵生成策略
⑦ 大數據常用哪些資料庫
通常資料庫分為關系型資料庫和非關系型資料庫，關系型資料庫的優勢到現在也是無可替代的，比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Access等等資料庫，這些資料庫支持復雜的SQL操作和事務機制，適合小量數據讀寫場景；但是到了大數據時代，人們更多的數據和物聯網加入的數據已經超出了關系資料庫的承載范圍。
大數據時代初期，隨著數據請求並發量大不斷增大，一般都是採用的集群同步數據的方式處理，就是將資料庫分成了很多的小庫，每個資料庫的數據內容是不變的，都是保存了源資料庫的數據副本，通過同步或者非同步方式保證數據的一致性，每個庫設定特定的讀寫方式，比如主資料庫負責寫操作，從資料庫是負責讀操作，等等根據業務復雜程度以此類推，將業務在物理層面上進行了分離，但是這種方式依舊存在一定的負載壓力的問題，企業數據在不斷的擴增中，後面就採用分庫分表的方式解決，對讀寫負載進行分離，但是這種實現依舊存在不足，且需要不斷進行資料庫伺服器擴容。
NoSQL資料庫大致分為5種類型
1、列族資料庫：BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等，下面簡單介紹幾個
（1）Cassandra：Cassandra是一個列存儲資料庫，支持跨數據中心的數據復制。它的數據模型提供列索引，log-structured修改，支持反規范化，實體化視圖和嵌入超高速緩存。
（2）HBase：Apache Hbase源於Google的Bigtable，是一個開源、分布式、面向列存儲的模型。在Hadoop和HDFS之上提供了像Bigtable一樣的功能。
（3）Amazon SimpleDB：Amazon SimpleDB是一個非關系型數據存儲，它卸下資料庫管理的工作。開發者使用Web服務請求存儲和查詢數據項
（4）Apache Accumulo：Apache Accumulo的有序的、分布式鍵值數據存儲，基於Google的BigTable設計，建立在Apache Hadoop、Zookeeper和Thrift技術之上。
（5）Hypertable：Hypertable是一個開源、可擴展的資料庫，模仿Bigtable，支持分片。
（6）Azure Tables：Windows Azure Table Storage Service為要求大量非結構化數據存儲的應用提供NoSQL性能。表能夠自動擴展到TB級別，能通過REST和Managed API訪問。
2、鍵值資料庫：Redis、SimpleDB、Scalaris、Memcached等，下面簡單介紹幾個
（1）Riak：Riak是一個開源，分布式鍵值資料庫，支持數據復制和容錯。（2）Redis：Redis是一個開源的鍵值存儲。支持主從式復制、事務，Pub/Sub、Lua腳本，還支持給Key添加時限。
（3）Dynamo：Dynamo是一個鍵值分布式數據存儲。它直接由亞馬遜Dynamo資料庫實現；在亞馬遜S3產品中使用。
（4）Oracle NoSQL Database：來自Oracle的鍵值NoSQL資料庫。它支持事務ACID（原子性、一致性、持久性和獨立性）和JSON。
（5）Oracle NoSQL Database：具備數據備份和分布式鍵值存儲系統。
（6）Voldemort：具備數據備份和分布式鍵值存儲系統。
（7）Aerospike：Aerospike資料庫是一個鍵值存儲，支持混合內存架構，通過強一致性和可調一致性保證數據的完整性。
3、文檔資料庫：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面簡單介紹幾個
（1）MongoDB：開源、面向文檔，也是當下最人氣的NoSQL資料庫。
（2）CounchDB：Apache CounchDB是一個使用JSON的文檔資料庫，使用Javascript做MapRece查詢，以及一個使用HTTP的API。
（3）Couchbase：NoSQL文檔資料庫基於JSON模型。
（4）RavenDB：RavenDB是一個基於.NET語言的面向文檔資料庫。
（5）MarkLogic：MarkLogic NoSQL資料庫用來存儲基於XML和以文檔為中心的信息，支持靈活的模式。
4、圖資料庫：Neo4J、InfoGrid、OrientDB、GraphDB，下面簡單介紹幾個
（1）Neo4j：Neo4j是一個圖資料庫；支持ACID事務（原子性、獨立性、持久性和一致性）。
（2）InfiniteGraph：一個圖資料庫用來維持和遍歷對象間的關系，支持分布式數據存儲。
（3）AllegroGraph：AllegroGraph是結合使用了內存和磁碟，提供了高可擴展性，支持SPARQ、RDFS++和Prolog推理。
5、內存數據網格：Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面簡單介紹幾個
（1）Hazelcast：Hazelcast CE是一個開源數據分布平台，它允許開發者在資料庫集群之上共享和分割數據。
（2）Oracle Coherence：Oracle的內存數據網格解決方案提供了常用數據的快速訪問能力，一致性支持事務處理能力和數據的動態劃分。
（3）Terracotta BigMemory：來自Terracotta的分布式內存管理解決方案。這項產品包括一個Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop連接器。
（4）GemFire：Vmware vFabric GemFire是一個分布式數據管理平台，也是一個分布式的數據網格平台，支持內存數據管理、復制、劃分、數據識別路由和連續查詢。
（5）Infinispan：Infinispan是一個基於Java的開源鍵值NoSQL數據存儲，和分布式數據節點平台，支持事務，peer-to-peer 及client/server 架構。
（6）GridGain：分布式、面向對象、基於內存、SQL+NoSQL鍵值資料庫。支持ACID事務。
（7）GigaSpaces：GigaSpaces內存數據網格能夠充當應用的記錄系統，並支持各種各樣的高速緩存場景。
⑧ mysql千萬或者上億的數據怎麼設計資料庫
單表一億？還是全庫1億？
1.首先可以考慮業務層面優化，即垂直分表。
垂直分表就是把一個數據量很大的表,可以按某個欄位的屬性或使用頻繁程度分類,拆分為多個表。
如有多種業務類型，每種業務類型入不同的表，table1,table2,table3.
如果日常業務不需要使用所有數據，可以按時間分表，比如說月表。每個表只存一個月記錄。
2.架構上的優化，即水平分表。
水平分表就是根據一列或多列數據的值把數據行放到多個獨立的表裡，這里不具備業務意義。
如按照id分表，末尾是0-9的數據分別插入到10個表裡面。
可能你要問，這樣看起來和剛才說的垂直分表沒什麼區別。只不過是否具備業務意義的差異，都是按欄位的值來分表。
實際上，水平分表現在最流行的實現方式，是通過水平分庫來實現的。即剛才所說的10個表，分布在10個mysql資料庫上。這樣可以通過多個低配置主機整合起來，實現高性能。
最常見的解決方案是cobar，這個帖子介紹的比較完善，可以看看。
http://blog.csdn.net/shagoo/article/details/8191346
cobar的邏輯層次圖：
不過這種分庫方式也是有一定局限性的，需要應用程序做相應的配合，比如說分庫的情況下，雖然可以實現跨庫查詢，但是不能進行相關的group by計算。
另外，之前關於水平分表的實現方式，也可以通過表分區來實現。
mysql優化的方式有很多，選擇上主要還是要考慮個人的實際情況，如代碼不可控的情況下，就不適合選擇按欄位屬性分表的情況，這樣可能會帶來大量的重構以及很多不可預期的風險。
而架構的優化，雖然對應用是透明的，但對sql的寫法有很多局限性，比如說不能使用聚合函數等等，同時也需要有充足的硬體資源，只有一台伺服器的情況下是沒有意義的。
相比起來，代價最低的是按時間分表或分區，這兩種辦法對應用來說都是透明的。
分區只需要一次本地數據遷移的操作。
而通過分表把現網數據和歷史數據分離，唯一的代價是定期的數據維護。
一般如果表裡面有1億數據的情況下，索引的問題應該是常識了，這方面我就不說了。
⑨ 大數據量的資料庫表設計技巧
大數據量的資料庫表設計技巧
即使是一個非常簡單的資料庫應用系統，它的數據量增加到一定程度也會引起發一系列問題。如果在設計資料庫的時候，就提前考慮這些問題，可以避免由於系統反映遲緩而引起的用戶抱怨。
技巧1：盡量不要使用代碼。比如性別這個欄位常見的做法：1代表男，0代表女。這樣的做法意味著每一次查詢都需要關聯代碼表。
技巧2：歷史數據中所有欄位與業務表不要有依賴關系。如保存列印發票的時候，不要只保留單位代碼，而應當把單位名稱也保存下來。
技巧3：使用中間表。比如職工工資，可以把每一位職工工資的合計保存在一張中間表中，當職工某一工資項目發生變化的時候，同時對中間表的數據做相應更新。
技巧4：使用統計表。需要經常使用的統計數據，生成之後可以用專門的表來保存。
技巧5：分批保存歷史數據。歷史數據可以分段保存，比如2003年的歷史數據保存在 《2003表名》中，而2004年的歷史數據則保存在《2004表名》中。
技巧6：把不常用的數據從業務表中移到歷史表。比如職工檔案表，當某一職工離開公司以後，應該把他的職工檔案表中的信息移動到《離職職工檔案表》中。
1、經常查詢的和不常用的分開幾個表，也就是橫向切分
2、把不同類型的分成幾個表，縱向切分
3、常用聯接的建索引
4、伺服器放幾個硬碟，把數據、日誌、索引分盤存放，這樣可以提高IO吞吐率
5、用優化器，優化你的查詢
6、考慮冗餘，這樣可以減少連接
7、可以考慮建立統計表，就是實時生成總計表，這樣可以避免每次查詢都統計一次
8、用極量數據測試一下數據
速度，影響它的因數太多了，且數據量越大越明顯。
1、存儲將硬碟分成NTFS格式，NTFS比FAT32快，並看你的數據文件大小，1G以上你可以採用多資料庫文件，這樣可以將存取負載分散到多個物理硬碟或磁碟陣列上。
2、tempdbtempdb也應該被單獨的物理硬碟或磁碟陣列上,建議放在RAID0上，這樣它的性能最高,不要對它設置最大值讓它自動增長
3、日誌文件日誌文件也應該和數據文件分開在不同的理硬碟或磁碟陣列上，這樣也可以提高硬碟I/O性能。
4、分區視圖就是將你的數據水平分割在集群伺服器上，它適合大規模OLTP,SQL群集上，如果你資料庫不是訪問特別大不建議使用。
5、簇索引你的表一定有個簇索引，在使用簇索引查詢的時候，區塊查詢是最快的，如用between，應為他是物理連續的，你應該盡量減少對它的updaet,應為這可以使它物理不連續。
6、非簇索引非簇索引與物理順序無關，設計它時必須有高度的可選擇性，可以提高查詢速度，但對表update的時候這些非簇索引會影響速度，且佔用空間大，如果你願意用空間和修改時間換取速度可以考慮。
7、索引視圖如果在視圖上建立索引,那視圖的結果集就會被存儲起來，對與特定的查詢性能可以提高很多，但同樣對update語句時它也會嚴重減低性能，一般用在數據相對穩定的數據倉庫中。
8、維護索引你在將索引建好後，定期維護是很重要的，用dbccshowcontig來觀察頁密度、掃描密度等等，及時用dbccindexdefrag來整理表或視圖的索引,在必要的時候用dbccdbreindex來重建索引可以受到良好的效果。
不論你是用幾個表1、2、3點都可以提高一定的性能，5、6、8點你是必須做的，至於4、7點看你的需求，我個人是不建議的。