① hbase存儲物理模型中有哪些
1、 從通常是單因素的簡單邏輯思維到多因素的復雜邏輯思維（包括判斷、推理、假設、歸納、分析演繹等）的過度是第三個原因。
初中生進入高一以後普遍不會解題，要麼就亂套公式，瞎做一氣。其中一個重要的原因就是缺乏較為復雜的邏輯思維能力。不善於判斷和推理，不會聯想，缺乏分析、歸納、演繹的能力。在這一點上，學生與學生之間存在的個體差異也是很大的。
1、 從通常是單因素的簡單邏輯思維到多因素的復雜邏輯思維（包括判斷、推理、假設、歸納、分析演繹等）的過度是第三個原因。
初中生進入高一以後普遍不會解題，要麼就亂套公式，瞎做一氣。其中一個重要的原因就是缺乏較為復雜的邏輯思維能力。不善於判斷和推理，不會聯想，缺乏分析、歸納、演繹的能力。在這一點上，學生與學生之間存在的個體差異也是很大的。
② 1.Hbase的數據模型是什麼,通過哪些元素定義
HBASE是列式存儲，主要有表名，列族，rowkey，列，timestamp定義
③ 大數據專業需要學習什麼樣的知識
第一階段：大數據技術入門
1大數據入門：介紹當前流行大數據技術，數據技術原理，並介紹其思想，介紹大數據技術培訓課程，概要介紹。
2Linux大數據必備：介紹Lniux常見版本，VMware虛擬機安裝Linux系統，虛擬機網路配置，文件基本命令操作，遠程連接工具使用，用戶和組創建，刪除，更改和授權，文件/目錄創建，刪除，移動，拷貝重命名，編輯器基本使用，文件常用操作，磁碟基本管理命令，內存使用監控命令，軟體安裝方式，介紹LinuxShell的變數，控制，循環基本語法，LinuxCrontab定時任務使用，對Lniux基礎知識，進行階段性實戰訓練，這個過程需要動手操作，將理論付諸實踐。
3CM&CDHHadoop的Cloudera版：包含Hadoop，HBase，Hiva，Spark，Flume等，介紹CM的安裝，CDH的安裝，配置，等等。
第二階段：海量數據高級分析語言
Scala是一門多範式的編程語言，類似於java，設計的初衷是實現可伸縮的語言，並集成面向對象編程和函數式編程的多種特性，介紹其優略勢，基礎語句，語法和用法， 介紹Scala的函數，函數按名稱調用，使用命名參數函數，函數使用可變參數，遞歸函數，默認參數值，高階函數，嵌套函數，匿名函數，部分應用函數，柯里函數，閉包，需要進行動手的操作。
第三階段：海量數據存儲分布式存儲
1HadoopHDFS分布式存儲：HDFS是Hadoop的分布式文件存儲系統，是一個高度容錯性的系統，適合部署在廉價的機器上，HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用，介紹其的入門基礎知識，深入剖析。
2HBase分布式存儲：HBase-HadoopDatabase是一個高可靠性，高性能，面向列，可伸縮的分布式存儲系統，利用HBase技術可在廉價PC上搭建起大規模結構化存儲集群，介紹其入門的基礎知識，以及設計原則，需實際操作才能熟練。
第四階段：海量數據分析分布式計算
1HadoopMapRece分布式計算：是一種編程模型，用於打過莫數據集的並行運算。
2Hiva數據挖掘：對其進行概要性簡介，數據定義，創建，修改，刪除等操作。
3Spare分布式計算：Spare是類MapRece的通用並行框架。
第五階段：考試
1技術前瞻：對全球最新的大數據技術進行簡介。
2考前輔導：自主選擇報考工信部考試，對通過者發放工信部大數據技能認證書。
上面的內容包含了大數據學習的所有的課程，所以，如果有想學大數據的可以從這方面下手，慢慢的了解大數據。
④ 大數據都需要學什麼軟體
學習大數據一般分為以下幾個階段：
第一階段：大數據基礎
Java基礎——Java語法基礎。掌握JAVA的開發環境搭建以及基礎知識等.能夠熟練使用邏輯語法進行代碼編寫
數據結構——數組、鏈表、棧、隊列、排序、二分查找、散列表、哈希表、二叉樹，紅黑樹、遞歸樹，堆和棧。繼續提升大家的計算機素養，掌握演算法初步。
Mysql基礎——mysql安裝、基本SQL語句、SQL優化。掌握資料庫的基本應用。
Javaweb——tomacat、servlet、JSP 、MVC。掌握web開發的相關內容，理解數據來源
高級java——面向對象、網路編程、反射、多線程。理解分布式程序運行原理，為以後閱讀大數據框架打下基礎。
linux基礎——虛擬機安裝、常用linux命令、shell腳本。學會使用linux操作系統，為部署大數據集群做准備。
第二階段：大數據框架
Hadoop——分布式存儲、分布式計算、公共通用介面。掌握部署大數據集群，熟練編寫map-rece程序。
Zookeeper——Zookeeper協調機制、選舉機制。搭建高可用集群。
Hive——數據倉庫搭建、數據導入和分析。初步掌握數據倉庫的概念，為後續企業級數倉做准備。
Hbase——Hbase集群搭建、大數據資料庫工作原理、列式存儲、高吞吐量應用開發。掌握大數據資料庫Hbase的應用，科學的行鍵設計，熱點數據處理。
Kafka——理解消息隊列、Kafka集群部署、高並發高可用數據採集框架搭建。掌握高可以高並發數據隊列系統設計、能處理峰值問題。
Scala——Scala語法基礎、常用運算元、非同步通信。掌握優秀的數據處理語言Scala
Spark——Spark集群搭建、離線數據處理、實時數據處理、機器學習、圖計算。掌握一棧式解決方案Spark，它是大數據的核心模塊。
常用輔助框架——Sqoop、Flume、Presto、impala、Phoenix、oozie、ElasticSearch、kylin、MongoDB、Redi、Druid。掌握常用工具和與大數據緊密相關的框架，提高工作效率，拓展框架功能。
第三階段：機器學習
python基礎——python基礎語法、面向對象、Numpy。掌握python基礎語法和機器學習相關的基礎框架。
數學基礎——線性代數、微積分、概率、凸優化。本部分內容理解即可，對優化模型很重要。
常用演算法——回歸、KNN、決策樹、聚類、集成學習、SVM、多分類、貝葉斯、EM、隱馬模型、深度學習。掌握常用計算器學習演算法的原理，能夠根據數據特性選擇合適的模型，訓練泛化能力強的模型。
第四階段：項目實操
雲和數據有大數據專業，可以詳細了解一下，看看這個專業的職業發展。
⑤ Hadoop有哪幾個組成部分-ITJOB
1、Hadoop Common ：Hadoop體系最底層的一個模塊，為Hadoop各子項目提供各種工具，如：配置文件和日誌操作等。
2、HDFS：分布式文件系統，提供高吞吐量的應用程序數據訪問，對外部客戶機而言，HDFS就像一個傳統的分級文件系統。可以創建、刪除、移動或重命名文件，等等。但是 HDFS的架構是基於一組特定的節點構建的，這是由它自身的特點決定的。這些節點包括 NameNode（僅一個），它在 HDFS內部提供元數據服務；DataNode，它為 HDFS提供存儲塊。由於僅存在一個 NameNode，因此這是 HDFS的一個缺點（單點失敗）。
存儲在 HDFS中的文件被分成塊，然後將這些塊復制到多個計算機中（DataNode）。這與傳統的 RAID架構大不相同。塊的大小（通常為 64MB）和復制的塊數量在創建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內部的所有通信都基於標準的 TCP/IP協議。
3、MapRece ：一個分布式海量數據處理的軟體框架集計算集群。
4、Avro ：doug cutting主持的RPC項目，主要負責數據的序列化。有點類似Google的protobuf和Facebook的thrift。avro用來做以後hadoop的RPC，使hadoop的RPC模塊通信速度更快、數據結構更緊湊。
5、Hive ：類似CloudBase，也是基於hadoop分布式計算平台上的提供data warehouse的sql功能的一套軟體。使得存儲在hadoop裡面的海量數據的匯總，即席查詢簡單化。hive提供了一套QL的查詢語言，以sql為基礎，使用起來很方便。
6、HBase ：基於Hadoop Distributed File System，是一個開源的，基於列存儲模型的可擴展的分布式資料庫，支持大型表的存儲結構化數據。
7、Pig ：是一個並行計算的高級的數據流語言和執行框架 ，SQL-like語言，是在MapRece上構建的一種高級查詢語言，把一些運算編譯進MapRece模型的Map和Rece中，並且用戶可以定義自己的功能。
8、ZooKeeper ：Google的Chubby一個開源的實現。它是一個針對大型分布式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務，將簡單易用的介面和性能高效、功能穩定的系統提供給用戶。
9、Chukwa ：一個管理大型分布式系統的數據採集系統由yahoo貢獻。
10、Cassandra ：無單點故障的可擴展的多主資料庫。
11、Mahout ：一個可擴展的機器學習和數據挖掘庫。
⑥ 為什麼說hbase是一個面向列的資料庫
在說HBase之前，我想再嘮叨幾句。做互聯網應用的哥們兒應該都清楚，互聯網應用這東西，你沒辦法預測你的系統什麼時候會被多少人訪問，你面臨的用戶到底有多少，說不定今天你的用戶還少，明天系統用戶就變多了，結果您的系統應付不過來了了，不幹了，這豈不是咱哥幾個的悲哀，說時髦點就叫「杯具啊」。
其實說白了，這些就是事先沒有認清楚互聯網應用什麼才是最重要的。從系統架構的角度來說，互聯網應用更加看重系統性能以及伸縮性，而傳統企業級應用都是比較看重數據完整性和數據安全性。那麼我們就來說說互聯網應用伸縮性這事兒.對於伸縮性這事兒，哥們兒我也寫了幾篇博文，想看的兄弟可以參考我以前的博文，對於web server,app server的伸縮性，我在這里先不說了，因為這部分的伸縮性相對來說比較容易一點，我主要來回顧一些一個慢慢變大的互聯網應用如何應對資料庫這一層的伸縮。
首先剛開始，人不多，壓力也不大,搞一台資料庫伺服器就搞定了，此時所有的東東都塞進一個Server里，包括web server,app server,db server,但是隨著人越來越多，系統壓力越來越多，這個時候可能你把web server,app server和db server分離了，好歹這樣可以應付一陣子，但是隨著用戶量的不斷增加，你會發現，資料庫這哥們不行了，速度老慢了，有時候還會宕掉，所以這個時候，你得給資料庫這哥們找幾個伴，這個時候Master-Salve就出現了，這個時候有一個Master Server專門負責接收寫操作，另外的幾個Salve Server專門進行讀取，這樣Master這哥們終於不抱怨了，總算讀寫分離了，壓力總算輕點了,這個時候其實主要是對讀取操作進行了水平擴張，通過增加多個Salve來克服查詢時CPU瓶頸。一般這樣下來，你的系統可以應付一定的壓力，但是隨著用戶數量的增多，壓力的不斷增加，你會發現Master server這哥們的寫壓力還是變的太大，沒辦法，這個時候怎麼辦呢？你就得切分啊，俗話說「只有切分了，才會有伸縮性嘛」，所以啊，這個時候只能分庫了，這也是我們常說的資料庫「垂直切分」，比如將一些不關聯的數據存放到不同的庫中，分開部署，這樣終於可以帶走一部分的讀取和寫入壓力了，Master又可以輕松一點了，但是隨著數據的不斷增多，你的資料庫表中的數據又變的非常的大，這樣查詢效率非常低，這個時候就需要進行「水平分區」了，比如通過將User表中的數據按照10W來劃分，這樣每張表不會超過10W了。
綜上所述，一般一個流行的web站點都會經歷一個從單台DB，到主從復制，到垂直分區再到水平分區的痛苦的過程。其實資料庫切分這事兒，看起來原理貌似很簡單，如果真正做起來，我想凡是sharding過資料庫的哥們兒都深受其苦啊。對於資料庫伸縮的文章，哥們兒可以看看後面的參考資料介紹。
好了，從上面的那一堆廢話中，我們也發現資料庫存儲水平擴張scale out是多麼痛苦的一件事情，不過幸好技術在進步，業界的其它弟兄也在努力，09年這一年出現了非常多的NoSQL資料庫，更准確的應該說是No relation資料庫，這些資料庫多數都會對非結構化的數據提供透明的水平擴張能力，大大減輕了哥們兒設計時候的壓力。下面我就拿Hbase這分布式列存儲系統來說說。
一 Hbase是個啥東東？
在說Hase是個啥傢伙之前，首先我們來看看兩個概念，面向行存儲和面向列存儲。面向行存儲，我相信大夥兒應該都清楚，我們熟悉的RDBMS就是此種類型的，面向行存儲的資料庫主要適合於事務性要求嚴格場合，或者說面向行存儲的存儲系統適合OLTP，但是根據CAP理論，傳統的RDBMS，為了實現強一致性，通過嚴格的ACID事務來進行同步，這就造成了系統的可用性和伸縮性方面大大折扣，而目前的很多NoSQL產品，包括Hbase，它們都是一種最終一致性的系統，它們為了高的可用性犧牲了一部分的一致性。好像，我上面說了面向列存儲，那麼到底什麼是面向列存儲呢？Hbase,Casandra,Bigtable都屬於面向列存儲的分布式存儲系統。看到這里，如果您不明白Hbase是個啥東東，不要緊，我再總結一下下：
Hbase是一個面向列存儲的分布式存儲系統，它的優點在於可以實現高性能的並發讀寫操作，同時Hbase還會對數據進行透明的切分，這樣就使得存儲本身具有了水平伸縮性。
二 Hbase數據模型
HBase,Cassandra的數據模型非常類似，他們的思想都是來源於Google的Bigtable，因此這三者的數據模型非常類似，唯一不同的就是Cassandra具有Super cloumn family的概念，而Hbase目前我沒發現。好了，廢話少說，我們來看看Hbase的數據模型到底是個啥東東。
在Hbase裡面有以下兩個主要的概念，Row key,Column Family，我們首先來看看Column family,Column family中文又名「列族」，Column family是在系統啟動之前預先定義好的，每一個Column Family都可以根據「限定符」有多個column.下面我們來舉個例子就會非常的清晰了。
假如系統中有一個User表，如果按照傳統的RDBMS的話，User表中的列是固定的，比如schema 定義了name,age,sex等屬性，User的屬性是不能動態增加的。但是如果採用列存儲系統，比如Hbase，那麼我們可以定義User表，然後定義info 列族，User的數據可以分為：info:name = zhangsan,info:age=30,info:sex=male等，如果後來你又想增加另外的屬性，這樣很方便只需要info:newProperty就可以了。
也許前面的這個例子還不夠清晰，我們再舉個例子來解釋一下，熟悉SNS的朋友，應該都知道有好友Feed，一般設計Feed，我們都是按照「某人在某時做了標題為某某的事情」，但是同時一般我們也會預留一下關鍵字，比如有時候feed也許需要url，feed需要image屬性等，這樣來說，feed本身的屬性是不確定的，因此如果採用傳統的關系資料庫將非常麻煩，況且關系資料庫會造成一些為null的單元浪費，而列存儲就不會出現這個問題，在Hbase里，如果每一個column 單元沒有值，那麼是佔用空間的。下面我們通過兩張圖來形象的表示這種關系：
上圖是傳統的RDBMS設計的Feed表，我們可以看出feed有多少列是固定的，不能增加，並且為null的列浪費了空間。但是我們再看看下圖，下圖為Hbase，Cassandra,Bigtable的數據模型圖，從下圖可以看出，Feed表的列可以動態的增加，並且為空的列是不存儲的，這就大大節約了空間，關鍵是Feed這東西隨著系統的運行，各種各樣的Feed會出現，我們事先沒辦法預測有多少種Feed，那麼我們也就沒有辦法確定Feed表有多少列，因此Hbase,Cassandra,Bigtable的基於列存儲的數據模型就非常適合此場景。說到這里，採用Hbase的這種方式，還有一個非常重要的好處就是Feed會自動切分，當Feed表中的數據超過某一個閥值以後，Hbase會自動為我們切分數據，這樣的話，查詢就具有了伸縮性，而再加上Hbase的弱事務性的特性，對Hbase的寫入操作也將變得非常快。
上面說了Column family，那麼我之前說的Row key是啥東東，其實你可以理解row key為RDBMS中的某一個行的主鍵，但是因為Hbase不支持條件查詢以及Order by等查詢，因此Row key的設計就要根據你系統的查詢需求來設計了額。我還拿剛才那個Feed的列子來說，我們一般是查詢某個人最新的一些Feed，因此我們Feed的Row key可以有以下三個部分構成<userId><timestamp><feedId>，這樣以來當我們要查詢某個人的最進的Feed就可以指定Start Rowkey為<userId><0><0>，End Rowkey為<userId><Long.MAX_VALUE><Long.MAX_VALUE>來查詢了，同時因為Hbase中的記錄是按照rowkey來排序的，這樣就使得查詢變得非常快。
三 Hbase的優缺點
1 列的可以動態增加，並且列為空就不存儲數據,節省存儲空間.
2 Hbase自動切分數據，使得數據存儲自動具有水平scalability.
3 Hbase可以提供高並發讀寫操作的支持
Hbase的缺點：
1 不能支持條件查詢，只支持按照Row key來查詢.
2 暫時不能支持Master server的故障切換,當Master宕機後,整個存儲系統就會掛掉.
四.補充
1.數據類型，HBase只有簡單的字元類型，所有的類型都是交由用戶自己處理，它只保存字元串。而關系資料庫有豐富的類型和存儲方式。
2.數據操作：HBase只有很簡單的插入、查詢、刪除、清空等操作，表和表之間是分離的，沒有復雜的表和表之間的關系，而傳統資料庫通常有各式各樣的函數和連接操作。
3.存儲模式：HBase是基於列存儲的，每個列族都由幾個文件保存，不同的列族的文件時分離的。而傳統的關系型資料庫是基於表格結構和行模式保存的
4.數據維護，HBase的更新操作不應該叫更新，它實際上是插入了新的數據，而傳統資料庫是替換修改
5.可伸縮性，Hbase這類分布式資料庫就是為了這個目的而開發出來的，所以它能夠輕松增加或減少硬體的數量，並且對錯誤的兼容性比較高。而傳統資料庫通常需要增加中間層才能實現類似的功能
⑦ mysql怎樣高效率隨機獲取n條數據
資料庫優化有很多可以講，按照支撐的數據量來分可以分為兩個階段：單機資料庫和分庫分表，前者一般可以支撐500W或者10G以內的數據，超過這個值則需要考慮分庫分表。另外，一般大企業面試往往會從單機資料庫問起，一步一步問到分庫分表，中間會穿插很多資料庫優化的問題。本文試圖描述單機資料庫優化的一些實踐，資料庫基於mysql，如有不合理的地方，歡迎指正。
1、表結構優化
在開始做一個應用的時候，資料庫的表結構設計往往會影響應用後期的性能，特別是用戶量上來了以後的性能。因此，表結構優化是一個很重要的步驟。
1.1、字元集
一般來說盡量選擇UTF-8，雖然在存中午的時候GBK比UTF-8使用的存儲空間少，但是UTF-8兼容各國語言，其實我們不必為了這點存儲空間而犧牲了擴展性。事實上，後期如果要從GBK轉為UTF-8所要付出的代價是很高的，需要進行數據遷移，而存儲空間完全可以用花錢擴充硬碟來解決。
1.2、主鍵
在使用mysql的innodb的時候，innodb的底層存儲模型是B+樹，它使用主鍵作為聚簇索引，使用插入的數據作為葉子節點，通過主鍵可以很快找到葉子節點，從而快速獲取記錄。因此在設計表的時候需要增加一個主鍵，而且最好要自增。因為自增主鍵可以讓插入的數據按主鍵順序插入到底層的B+樹的葉子節點中，由於是按序的，這種插入幾乎不需要去移動已有的其它數據，所以插入效率很高。如果主鍵不是自增的，那麼每次主鍵的值近似隨機，這時候就有可能需要移動大量數據來保證B+樹的特性，增加了不必要的開銷。
1.3、欄位
1.3.1、建了索引的欄位必須加上not null約束，並且設置default值
1.3.2、不建議使用float、double來存小數，防止精度損失，建議使用decimal
1.3.3、不建議使用Text/blob來保存大量數據，因為對大文本的讀寫會造成比較大的I/O開銷，同時佔用mysql的緩存，高並發下會極大的降低資料庫的吞吐量，建議將大文本數據保存在專門的文件存儲系統中，mysql中只保存這個文件的訪問地址，比如博客文章可以保存在文件中，mysql中只保存文件的相對地址。
1.3.4、varchar類型長度建議不要超過8K。
1.3.5、時間類型建議使用Datetime，不要使用timestamp，雖然Datetime佔用8個位元組，而timestamp只佔用4個位元組，但是後者要保證非空，而且後者是對時區敏感的。
1.3.6、建議表中增加gmt_create和gmt_modified兩個欄位，用來記錄數據創建的修改時間。這兩個欄位建立的原因是方便查問題。
1.4、索引創建
1.4.1、這個階段由於對業務並不了解，所以盡量不要盲目加索引，只為一些一定會用到索引的欄位加普通索引。
1.4.2、創建innodb單列索引的長度不要超過767bytes，如果超過會用前255bytes作為前綴索引
1.4.3、創建innodb組合索引的各列索引長度不要超過767bytes，一共加起來不要超過3072bytes
2、SQL優化
一般來說sql就那麼幾種：基本的增刪改查，分頁查詢，范圍查詢，模糊搜索，多表連接
2.1、基本查詢
一般查詢需要走索引，如果沒有索引建議修改查詢，把有索引的那個欄位加上，如果由於業務場景沒法使用這個欄位，那麼需要看這個查詢調用量大不大，如果大，比如每天調用10W+，這就需要新增索引，如果不大，比如每天調用100+，則可以考慮保持原樣。另外，select * 盡量少用，用到什麼欄位就在sql語句中加什麼，不必要的欄位就別查了，浪費I/O和內存空間。
2.2、高效分頁
limit m,n其實質就是先執行limit m+n，然後從第m行取n行，這樣當limit翻頁越往後翻m越大，性能越低。比如
select * from A limit 100000,10，這種sql語句的性能是很差的，建議改成下面的版本:
selec id,name,age from A where id >=(select id from A limit 100000,1) limit 10
2.3、范圍查詢
范圍查詢包括between、大於、小於以及in。Mysql中的in查詢的條件有數量的限制，若數量較小可以走索引查詢，若數量較大，就成了全表掃描了。而between、大於、小於等，這些查詢不會走索引，所以盡量放在走索引的查詢條件之後。
2.4、模糊查詢like
使用 like %name%這樣的語句是不會走索引的，相當於全表掃描，數據量小的時候不會有太大的問題，數據量大了以後性能會下降的很厲害，建議數據量大了以後使用搜索引擎來代替這種模糊搜索，實在不行也要在模糊查詢前加個能走索引的條件。
2.5、多表連接
子查詢和join都可以實現在多張表之間取數據，但是子查詢性能較差，建議將子查詢改成join。對於mysql的join，它用的是Nested Loop Join演算法，也就是通過前一個表查詢的結果集去後一個表中查詢，比如前一個表的結果集是100條數據，後一個表有10W數據，那麼就需要在100*10W的數據集合中去過濾得到最終的結果集。因此，盡量用小結果集的表去和大表做join，同時在join的欄位上建立索引，如果建不了索引，就需要設置足夠大的join buffer size。如果以上的技巧都無法解決join所帶來的性能下降的問題，那乾脆就別用join了，將一次join查詢拆分成兩次簡單查詢。另外，多表連接盡量不要超過三張表，超過三張表一般來說性能會很差，建議拆分sql。
3、資料庫連接池優化
資料庫連接池本質上是一種緩存，它是一種抗高並發的手段。資料庫連接池優化主要是對參數進行優化，一般我們使用DBCP連接池，它的具體參數如下：
3.1 initialSize
初始連接數，這里的初始指的是第一次getConnection的時候，而不是應用啟動的時候。初始值可以設置為並發量的歷史平均值
3.2、minIdle
最小保留的空閑連接數。DBCP會在後台開啟一個回收空閑連接的線程，當該線程進行空閑連接回收的時候，會保留minIdle個連接數。一般設置為5，並發量實在很小可以設置為1.
3.3、maxIdle
最大保留的空閑連接數，按照業務並發高峰設置。比如並發高峰為20，那麼當高峰過去後，這些連接不會馬上被回收，如果過一小段時間又來一個高峰，那麼連接池就可以復用這些空閑連接而不需要頻繁創建和關閉連接。
3.4、maxActive
最大活躍連接數，按照可以接受的並發極值設置。比如單機並發量可接受的極值是100，那麼這個maxActive設置成100後，就只能同時為100個請求服務，多餘的請求會在最大等待時間之後被拋棄。這個值必須設置，可以防止惡意的並發攻擊，保護資料庫。
3.5、maxWait
獲取連接的最大等待時間，建議設置的短一點，比如3s，這樣可以讓請求快速失敗，因為一個請求在等待獲取連接的時候，線程是不可以被釋放的，而單機的線程並發量是有限的，如果這個時間設置的過長，比如網上建議的60s，那麼這個線程在這60s內是無法被釋放的，只要這種請求一多，應用的可用線程就少了，服務就變得不可用了。
3.6、minEvictableIdleTimeMillis
連接保持空閑而不被回收的時間，默認30分鍾。
3.7、validationQuery
用於檢測連接是否有效的sql語句，一般是一條簡單的sql，建議設置
3.8、testOnBorrow
申請連接的時候對連接進行檢測，不建議開啟，嚴重影響性能
3.9、testOnReturn
歸還連接的時候對連接進行檢測，不建議開啟，嚴重影響性能
3.10、testWhileIdle
開啟了以後，後台清理連接的線程會沒隔一段時間對空閑連接進行validateObject，如果連接失效則會進行清除，不影響性能，建議開啟
3.11、numTestsPerEvictionRun
代表每次檢查鏈接的數量，建議設置和maxActive一樣大，這樣每次可以有效檢查所有的鏈接。
3.12、預熱連接池
對於連接池，建議在啟動應用的時候進行預熱，在還未對外提供訪問之前進行簡單的sql查詢，讓連接池充滿必要的連接數。
4、索引優化
當數據量增加到一定程度後，靠sql優化已經無法提升性能了，這時候就需要祭出大招：索引。索引有三級，一般來說掌握這三級就足夠了，另外，對於建立索引的欄位，需要考慮其選擇性。
4.1、一級索引
在where後面的條件上建立索引，單列可以建立普通索引，多列則建立組合索引。組合索引需要注意最左前綴原則。
4.2、二級索引
如果有被order by或者group by用到的欄位，則可以考慮在這個欄位上建索引，這樣一來，由於索引天然有序，可以避免order by以及group by所帶來的排序，從而提高性能。
4.3、三級索引
如果上面兩招還不行，那麼就把所查詢的欄位也加上索引，這時候就形成了所謂的索引覆蓋，這樣做可以減少一次I/O操作，因為mysql在查詢數據的時候，是先查主鍵索引，然後根據主鍵索引去查普通索引，然後根據普通索引去查相對應的記錄。如果我們所需要的記錄在普通索引里都有，那就不需要第三步了。當然，這種建索引的方式比較極端，不適合一般場景。
4.4、索引的選擇性
在建立索引的時候，盡量在選擇性高的欄位上建立。什麼是選擇性高呢？所謂選擇性高就是通過這個欄位查出來的數據量少，比如按照名字查一個人的信息，查出來的數據量一般會很少，而按照性別查則可能會把資料庫一半的數據都查出來，所以，名字是一個選擇性高的欄位，而性別是個選擇性低的欄位。
5、歷史數據歸檔
當數據量到了一年增加500W條的時候，索引也無能為力，這時候一般的思路都是考慮分庫分表。如果業務沒有爆發式增長，但是數據的確在緩慢增加，則可以不考慮分庫分表這種復雜的技術手段，而是進行歷史數據歸檔。我們針對生命周期已經完結的歷史數據，比如6個月之前的數據，進行歸檔。我們可以使用quartz的調度任務在凌晨定時將6個月之前的數據查出來，然後存入遠程的hbase伺服器。當然，我們也需要提供歷史數據的查詢介面，以備不時之需。
以上就是對mysql 單機資料庫的優化資料整理，後續繼續補充相關資料，謝謝大家對本站的支持！
⑧ 請教關於hbase的強一致模型的理解
說道HBase的強一致性模型，其實應該去理解事務。傳統關系型資料庫做到了跨行、跨表的事務，但是原生的HBase僅支持單行的事務，僅這一點，其實是可以得到HBase強一致性的結論。所以這篇帖中，有同學提到了這點，只是那時候我不太理解HBase怎麼實現行的事務的，所以我直接飄過了。事務的ACID特徵中的C其實講的就是一致性，所以只要承認了HBase的行事務，也就說明了HBase的強一致性了。
⑨ 大數據學習需要哪些課程
01.Tableau全套課程免費下載
鏈接:https://pan..com/s/1UpiYkNZI3su99CQQYUmL9g
01.Tableau全套課程|04.Tableau更新專區|03.Tableau實戰|02.Tableau進階|01.Tableau入門|03.Tableau基礎教程視頻（中文+英文） 8課|02.Tableau從零開始學習視頻（中文+英文） 7課|01.Tableau8.0快速入門視頻教程 10課|
⑩ 淘寶為什麼使用HBase及如何優化的
1 前言
hbase是從hadoop中 分離出來的apache頂級開源項目。由於它很好地用java實現了google的bigtable系統大部分特性，因此在數據量猛增的今天非常受到歡 迎。對於淘寶而言，隨著市場規模的擴大，產品與技術的發展，業務數據量越來越大，對海量數據的高效插入和讀取變得越來越重要。由於淘寶擁有也許是國內最大 的單一hadoop集群(雲梯)，因此對hadoop系列的產品有比較深入的了解，也就自然希望使用hbase來做這樣一種海量數據讀寫服務。本篇文章將 對淘寶最近一年來在online應用上使用和優化hbase的情況做一次小結。
2 原因
為什麼要使用hbase？
淘寶在2011年之前所有的後端持久化存儲基本上都是在mysql上進行的(不排除少量oracle/bdb/tair/mongdb等)，mysql由於開源，並且生態系統良好，本身擁有分庫分表等多種解決方案，因此很長一段時間內都滿足淘寶大量業務的需求。
但是由於業務的多樣化發展，有越來越多的業務系統的需求開始發生了變化。一般來說有以下幾類變化：
a) 數據量變得越來越多，事實上現在淘寶幾乎任何一個與用戶相關的在線業務的數據量都在億級別，每日系統調用次數從億到百億都有，且歷史數據不能輕易刪除。這需要有一個海量分布式文件系統，能對TB級甚至PB級別的數據提供在線服務
b) 數據量的增長很快且不一定能准確預計，大多數應用系統從上線起在一段時間內數據量都呈很快的上升趨勢，因此從成本的角度考慮對系統水平擴展能力有比較強烈的需求，且不希望存在單點制約
c) 只需要簡單的kv讀取，沒有復雜的join等需求。但對系統的並發能力以及吞吐量、響應延時有非常高的需求，並且希望系統能夠保持強一致性
d) 通常系統的寫入非常頻繁，尤其是大量系統依賴於實時的日誌分析
e) 希望能夠快速讀取批量數據
f ) schema靈活多變，可能經常更新列屬性或新增列
g) 希望能夠方便使用，有良好且語義清晰的java介面
以上需求綜合在一起，我們認為hbase是一種比較適合的選擇。首先它的數據由hdfs天然地做了數據冗餘，雲梯三年的穩定運行，數據100%可靠 己經證明了hdfs集群的安全性，以及服務於海量數據的能力。其次hbase本身的數據讀寫服務沒有單點的限制，服務能力可以隨伺服器的增長而線性增長， 達到幾十上百台的規模。LSM-Tree模式的設計讓hbase的寫入性能非常良好，單次寫入通常在1-3ms內即可響應完成，且性能不隨數據量的增長而 下降。
region（相當於資料庫的分表）可以ms級動態的切分和移動，保證了負載均衡性。由於hbase上的數據模型是按rowkey排序存儲的，而讀 取時會一次讀取連續的整塊數據做為cache，因此良好的rowkey設計可以讓批量讀取變得十分容易，甚至只需要1次io就能獲取幾十上百條用戶想要的 數據。最後，淘寶大部分工程師是java背景的同學，因此hbase的api對於他們來說非常容易上手，培訓成本相對較低。
當然也必須指出，在大數據量的背景下銀彈是不存在的，hbase本身也有不適合的場景。比如，索引只支持主索引（或看成主組合索引），又比如服務是 單點的，單台機器宕機後在master恢復它期間它所負責的部分數據將無法服務等。這就要求在選型上需要對自己的應用系統有足夠了解。
3 應用情況
我們從2011年3月開始研究hbase如何用於在線服務。盡管之前在一淘搜索中己經有了幾十節點的離線服務。這是因為hbase早期版本的目標就 是一個海量數據中的離線服務。2009年9月發布的0.20.0版本是一個里程碑，online應用正式成為了hbase的目標，為此hbase引入了 zookeeper來做為backupmaster以及regionserver的管理。2011年1月0.90.0版本是另一個里程碑，基本上我們今天 看到的各大網站，如facebook/ebay/yahoo內所使用於生產的hbase都是基於這一個版本(fb所採用的0.89版本結構與0.90.x 相近)。bloomfilter等諸多屬性加入了進來，性能也有極大提升。基於此，淘寶也選用了0.90.x分支作為線上版本的基礎。
第一個上線的應用是數據魔方中的prom。prom原先是基於redis構建的，因為數據量持續增大以及需求的變化，因此我們用hbase重構了它 的存儲層。准確的說prom更適合0.92版本的hbase，因為它不僅需要高速的在線讀寫，更需要count/group by等復雜應用。但由於當時0.92版本尚未成熟，因此我們自己單獨實現了coprocessor。prom的數據導入是來源於雲梯，因此我們每天晚上花 半個小時將數據從雲梯上寫入hbase所在的hdfs，然後在web層做了一個client轉發。經過一個月的數據比對，確認了速度比之redis並未有 明顯下降，以及數據的准確性，因此得以順利上線。
第二個上線的應用是TimeTunnel，TimeTunnel是一個高效的、可靠的、可擴展的實時數據傳輸平台，廣泛應用於實時日誌收集、數據實 時監控、廣告效果實時反饋、資料庫實時同步等領域。它與prom相比的特點是增加了在線寫。動態的數據增加使hbase上compact/balance /split/recovery等諸多特性受到了極大的挑戰。TT的寫入量大約一天20TB，讀的量約為此的1.5倍，我們為此准備了20台 regionserver的集群，當然底層的hdfs是公用的，數量更為龐大（下文會提到）。每天TT會為不同的業務在hbase上建不同的表，然後往該 表上寫入數據，即使我們將region的大小上限設為1GB，最大的幾個業務也會達到數千個region這樣的規模，可以說每一分鍾都會有數次 split。在TT的上線過程中，我們修復了hbase很多關於split方面的bug，有好幾個commit到了hbase社區，同時也將社區一些最新 的patch打在了我們的版本上。split相關的bug應該說是hbase中會導致數據丟失最大的風險之一，這一點對於每個想使用hbase的開發者來 說必須牢記。hbase由於採用了LSM-Tree模型，從架構原理上來說數據幾乎沒有丟失的可能，但是在實際使用中不小心謹慎就有丟失風險。原因後面會 單獨強調。TT在預發過程中我們分別因為Meta表損壞以及split方面的bug曾經丟失過數據，因此也單獨寫了meta表恢復工具，確保今後不發生類 似問題(hbase-0.90.5以後的版本都增加了類似工具)。另外，由於我們存放TT的機房並不穩定，發生過很多次宕機事故，甚至發生過假死現象。因 此我們也著手修改了一些patch，以提高宕機恢復時間，以及增強了監控的強度。
CTU以及會員中心項目是兩個對在線要求比較高的項目，在這兩個項目中我們特別對hbase的慢響應問題進行了研究。hbase的慢響應現在一般歸 納為四類原因：網路原因、gc問題、命中率以及client的反序列化問題。我們現在對它們做了一些解決方案(後面會有介紹)，以更好地對慢響應有控制 力。
和Facebook類似，我們也使用了hbase做為實時計算類項目的存儲層。目前對內部己經上線了部分實時項目，比如實時頁面點擊系 統，galaxy實時交易推薦以及直播間等內部項目，用戶則是散布到公司內各部門的運營小二們。與facebook的puma不同的是淘寶使用了多種方式 做實時計算層，比如galaxy是使用類似affa的actor模式處理交易數據，同時關聯商品表等維度表計算排行(TopN)，而實時頁面點擊系統則是 基於twitter開源的storm進行開發，後台通過TT獲取實時的日誌數據，計算流將中間結果以及動態維表持久化到hbase上，比如我們將 rowkey設計為url+userid，並讀出實時的數據，從而實現實時計算各個維度上的uv。
最後要特別提一下歷史交易訂單項目。這個項目實際上也是一個重構項目，目的是從以前的solr+bdb的方案上遷移到hbase上來。由於它關繫到 己買到頁面，用戶使用頻率非常高，重要程度接近核心應用，對數據丟失以及服務中斷是零容忍。它對compact做了優化，避免大數據量的compact在 服務時間內發生。新增了定製的filter來實現分頁查詢，rowkey上對應用進行了巧妙的設計以避免了冗餘數據的傳輸以及90%以上的讀轉化成了順序 讀。目前該集群存儲了超過百億的訂單數據以及數千億的索引數據，線上故障率為0。
隨著業務的發展，目前我們定製的hbase集群己經應用到了線上超過二十個應用，數百台伺服器上。包括淘寶首頁的商品實時推薦、廣泛用於賣家的實時量子統計等應用，並且還有繼續增多以及向核心應用靠近的趨勢。
4 部署、運維和監控
Facebook之前曾經透露過Facebook的hbase架構，可以說是非常不錯的。如他們將message服務的hbase集群按用戶分為數 個集群，每個集群100台伺服器，擁有一台namenode以及分為5個機架，每個機架上一台zookeeper。可以說對於大數據量的服務這是一種優良 的架構。對於淘寶來說，由於數據量遠沒有那麼大，應用也沒有那麼核心，因此我們採用公用hdfs以及zookeeper集群的架構。每個hdfs集群盡量 不超過100台規模（這是為了盡量限制namenode單點問題）。在其上架設數個hbase集群，每個集群一個master以及一個 backupmaster。公用hdfs的好處是可以盡量減少compact的影響，以及均攤掉硬碟的成本，因為總有集群對磁碟空間要求高，也總有集群對 磁碟空間要求低，混合在一起用從成本上是比較合算的。zookeeper集群公用，每個hbase集群在zk上分屬不同的根節點。通過zk的許可權機制來保 證hbase集群的相互獨立。zk的公用原因則僅僅是為了運維方便。
由於是在線應用，運維和監控就變得更加重要，由於之前的經驗接近0，因此很難招到專門的hbase運維人員。我們的開發團隊和運維團隊從一開始就很重視該問題，很早就開始自行培養。以下講一些我們的運維和監控經驗。
我們定製的hbase很重要的一部分功能就是增加監控。hbase本身可以發送ganglia監控數據，只是監控項遠遠不夠，並且ganglia的 展示方式並不直觀和突出。因此一方面我們在代碼中侵入式地增加了很多監控點，比如compact/split/balance/flush隊列以及各個階 段的耗時、讀寫各個階段的響應時間、讀寫次數、region的open/close，以及具體到表和region級別的讀寫次數等等。仍然將它們通過 socket的方式發送到ganglia中，ganglia會把它們記錄到rrd文件中，rrd文件的特點是歷史數據的精度會越來越低，因此我們自己編寫 程序從rrd中讀出相應的數據並持久化到其它地方，然後自己用js實現了一套監控界面，將我們關心的數據以趨勢圖、餅圖等各種方式重點匯總和顯示出來，並 且可以無精度損失地查看任意歷史數據。在顯示的同時會把部分非常重要的數據，如讀寫次數、響應時間等寫入資料庫，實現波動報警等自定義的報警。經過以上措 施，保證了我們總是能先於用戶發現集群的問題並及時修復。我們利用redis高效的排序演算法實時地將每個region的讀寫次數進行排序，能夠在高負載的 情況下找到具體請求次數排名較高的那些region，並把它們移到空閑的regionserver上去。在高峰期我們能對上百台機器的數十萬個 region進行實時排序。
為了隔離應用的影響，我們在代碼層面實現了可以檢查不同client過來的連接，並且切斷某些client的連接，以在發生故障時，將故障隔離在某個應用內部而不擴大化。maprece的應用也會控制在低峰期運行，比如在白天我們會關閉jobtracker等。
此外，為了保障服務從結果上的可用，我們也會定期跑讀寫測試、建表測試、hbck等命令。hbck是一個非常有用的工具，不過要注意它也是一個很重 的工操作，因此盡量減少hbck的調用次數，盡量不要並行運行hbck服務。在0.90.4以前的hbck會有一些機率使hbase宕機。另外為了確保 hdfs的安全性，需要定期運行fsck等以檢查hdfs的狀態，如block的replica數量等。
我們會每天根蹤所有線上伺服器的日誌，將錯誤日誌全部找出來並且郵件給開發人員，以查明每一次error以上的問題原因和fix。直至錯誤降低為0。另外 每一次的hbck結果如果有問題也會郵件給開發人員以處理掉。盡管並不是每一次error都會引發問題，甚至大部分error都只是分布式系統中的正常現 象，但明白它們問題的原因是非常重要的。
5 測試與發布
因為是未知的系統，我們從一開始就非常注重測試。測試從一開始就分為性能測試和功能測試。性能測試主要是注意基準測試，分很多場景，比如不同混合讀 寫比例，不同k/v大小，不同列族數，不同命中率，是否做presharding等等。每次運行都會持續數小時以得到准確的結果。因此我們寫了一套自動化 系統，從web上選擇不同的場景，後台會自動將測試參數傳到各台伺服器上去執行。由於是測試分布式系統，因此client也必須是分布式的。
我們判斷測試是否准確的依據是同一個場景跑多次，是否數據，以及運行曲線達到99%以上的重合度，這個工作非常煩瑣，以至於消耗了很多時間，但後來 的事實證明它非常有意義。因為我們對它建立了100%的信任，這非常重要，比如後期我們的改進哪怕只提高2%的性能也能被准確捕捉到，又比如某次代碼修改 使compact隊列曲線有了一些起伏而被我們看到，從而找出了程序的bug，等等。
功能測試上則主要是介面測試和異常測試。介面測試一般作用不是很明顯，因為hbase本身的單元測試己經使這部分被覆蓋到了。但異常測試非常重要， 我們絕大部分bug修改都是在異常測試中發現的，這幫助我們去掉了很多生產環境中可能存在的不穩定因素，我們也提交了十幾個相應的patch到社區，並受 到了重視和commit。分布式系統設計的難點和復雜度都在異常處理上，我們必須認為系統在通訊的任何時候都是不可靠的。某些難以復現的問題我們會通過查 看代碼大體定位到問題以後，在代碼層面強行拋出異常來復現它。事實證明這非常有用。
為了方便和快速定位問題，我們設計了一套日誌收集和處理的程序，以方便地從每台伺服器上抓取相應的日誌並按一定規律匯總。這非常重要，避免浪費大量的時間到登錄不同的伺服器以尋找一個bug的線索。
由於hbase社區在不停發展，以及線上或測試環境發現的新的bug，我們需要制定一套有規律的發布模式。它既要避免頻繁的發布引起的不穩定，又要 避免長期不發布導致生產版本離開發版本越來越遠或是隱藏的bug爆發。我們強行規定每兩周從內部trunk上release一個版本，該版本必須通過所有 的測試包括回歸測試，並且在release後在一個小型的集群上24小時不受甘擾不停地運行。每個月會有一次發布，發布時採用最新release的版本， 並且將現有的集群按重要性分級發布，以確保重要應用不受新版本的潛在bug影響。事實證明自從我們引入這套發布機制後，由發布帶來的不穩定因素大大下降 了，並且線上版本也能保持不落後太多。
6 改進和優化
Facebook是一家非常值得尊敬的公司，他們毫無保留地對外公布了對hbase的所有改造，並且將他們內部實際使用的版本開源到了社區。 facebook線上應用的一個重要特點是他們關閉了split，以降低split帶來的風險。與facebook不同，淘寶的業務數據量相對沒有如此龐 大，並且由於應用類型非常豐富，我們並們並沒有要求用戶強行選擇關閉split，而是盡量去修改split中可能存在的bug。到目前為止，雖然我們並不 能說完全解決了這個問題，但是從0.90.2中暴露出來的諸多跟split以及宕機相關的可能引發的bug我們的測試環境上己經被修復到接近了0，也為社 區提交了10數個穩定性相關的patch，比較重要的有以下幾個：
https://issues.apache.org/jira/browse/HBASE-4562
https://issues.apache.org/jira/browse/HBASE-4563
https://issues.apache.org/jira/browse/HBASE-5152
https://issues.apache.org/jira/browse/HBASE-5100
https://issues.apache.org/jira/browse/HBASE-4880
https://issues.apache.org/jira/browse/HBASE-4878
https://issues.apache.org/jira/browse/HBASE-4899
還有其它一些，我們主要將patch提交到0.92版本，社區會有commitor幫助我們backport回0.90版本。所以社區從 0.90.2一直到0.90.6一共發布了5個bugfix版本後，0.90.6版本其實己經比較穩定了。建議生產環境可以考慮這個版本。
split這是一個很重的事務，它有一個嚴重的問題就是會修改meta表（當然宕機恢復時也有這個問題）。如果在此期間發生異常，很有可能meta 表、rs內存、master內存以及hdfs上的文件會發生不一致，導致之後region重新分配時發生錯誤。其中一個錯誤就是有可能同一個region 被兩個以上的regionserver所服務，那麼就可能出現這一個region所服務的數據會隨機分別寫到多台rs上，讀取的時候也會分別讀取，導致數 據丟失。想要恢復原狀，必須刪除掉其中一個rs上的region，這就導致了不得不主動刪掉數據，從而引發數據丟失。
前面說到慢響應的問題歸納為網路原因、gc問題、命中率以及client的反序列化問題。網路原因一般是網路不穩定引起的，不過也有可能是tcp參 數設置問題，必須保證盡量減少包的延遲，如nodelay需要設置為true等，這些問題我們通過tcpmp等一系列工具專門定位過，證明tcp參數 對包的組裝確實會造成慢連接。gc要根據應用的類型來，一般在讀比較多的應用中新生代不能設置得太小。命中率極大影響了響應的時間，我們會盡量將 version數設為1以增加緩存的容量，良好的balance也能幫助充分應用好每台機器的命中率。我們為此設計了表級別的balance。
由於hbase服務是單點的，即宕機一台，則該台機器所服務的數據在恢復前是無法讀寫的。宕機恢復速度決定了我們服務的可用率。為此主要做了幾點優 化。首先是將zk的宕機發現時間盡量縮短到1分鍾，其次改進了master恢復日誌為並行恢復，大大提高了master恢復日誌的速度，然後我們修改了 openhandler中可能出現的一些超時異常，以及死鎖，去掉了日誌中可能發生的open…too long等異常。原生的hbase在宕機恢復時有可能發生10幾分鍾甚至半小時無法重啟的問題己經被修復掉了。另外，hdfs層面我們將 socket.timeout時間以及重試時間也縮短了，以降低datanode宕機引起的長時間block現象。
hbase本身讀寫層面的優化我們目前並沒有做太多的工作，唯一打的patch是region增加時寫性能嚴重下降的問題。因為由於hbase本身 良好的性能，我們通過大量測試找到了各種應用場景中比較優良的參數並應用於生產環境後，都基本滿足需求。不過這是我們接下來的重要工作。
7 將來計劃
我們目前維護著淘寶內基於社區0.90.x而定製的hbase版本。接下來除繼續fix它的bug外，會維護基於0.92.x修改的版本。之所以這 樣，是因為0.92.x和0.90.x的兼容性並不是非常好，而且0.92.x修改掉的代碼非常多，粗略統計會超過30%。0.92中有我們非常看重的一 些特性。
0.92版本改進了hfile為hfileV2，v2版本的特點是將索引以及bloomfilter進行了大幅改造，以支持單個大hfile文 件。現有的HFile在文件大到一定程度時，index會佔用大量的內存，並且載入文件的速度會因此下降非常多。而如果HFile不增大的 話，region就無法擴大，從而導致region數量非常多。這是我們想盡量避免的事。
0.92版本改進了通訊層協議，在通訊層中增加了length，這非常重要，它讓我們可以寫出nio的客戶端，使反序列化不再成為影響client性能的地方。
0.92版本增加了coprocessor特性，這支持了少量想要在rs上進行count等的應用。
還有其它很多優化，比如改進了balance演算法、改進了compact演算法、改進了scan演算法、compact變為CF級別、動態做ddl等等特性。
除了0.92版本外，0.94版本以及最新的trunk(0.96)也有很多不錯的特性，0.94是一個性能優化版本。它做了很多革命性工作，比如去掉root表，比如HLog進行壓縮，replication上支持多個slave集群，等等。
我們自己也有一些優化，比如自行實現的二級索引、backup策略等都會在內部版本上實現。
另外值得一提的是hdfs層面的優化也非常重要，hadoop-1.0.0以及cloudera-3u3的改進對hbase非常有幫助，比如本地化 讀、checksum的改進、datanode的keepalive設置、namenode的HA策略等。我們有一支優秀的hdfs團隊來支持我們的 hdfs層面工作，比如定位以及fix一些hdfs層面的bug,幫助提供一些hdfs上參數的建議，以及幫助實現namenode的HA等。最新的測試 表明，3u3的checksum+本地化讀可以將隨機讀性能提升至少一倍。
我們正在做的一件有意義的事是實時監控和調整regionserver的負載，能夠動態地將負載不足的集群上的伺服器挪到負載較高的集群中，而整個過程對用戶完全透明。
總的來說，我們的策略是盡量和社區合作，以推動hbase在整個apache生態鏈以及業界的發展，使其能更穩定地部署到更多的應用中去，以降低使用門檻以及使用成本。