❶ CRC32演算法 尋求幫助幫助
MD5不是 只有知道密鑰才能生成相同的信息摘要，是需要知道原數據才能生成相同的摘要(不過可以碰撞破解)。在信息安全上，MD5/SHA經常和RSA一起使用做數字簽名。樓主說的一致性hash演算法，估計是指Memcache等分布式KV資料庫的一致性hash策略。
❷ redis是分布式的嗎
是的
日常開發中，總會接觸到一些好玩的東西，比如這篇的redis，一說到redis，可能就有人跟memcache做比較了，是呀，
memcache只能說是簡單的kv內存數據結構,而redis支持的數據類型就豐富多了，當然最能讓人看上眼的就是SortedSet。
有了它，我們就可以玩一些「貪心」的問題，比如適合「貪心」的優先隊列，說到優先隊列，我們以前實現了僅僅是內存形式的，
哎，內存畢竟是內存，當有海量數據的時候，最好能有一個序列化到硬碟的操作。。。恰恰這個場景redis就可以辦到。。。
一：快速搭建
好了，我們知道redis比較適合做的事情了，現在我們可以進行快速搭建。
第一步：下載redis-2.0.2.zip (32 bit)。然後改名為redis放在D盤中。
❸ 什麼是kv資料庫
kv資料庫是指Key-value資料庫，是一種以鍵值對存儲數據的一種資料庫，類似java中的map。可以將整個資料庫理解為一個大的map，每個鍵都會對應一個唯一的值。
key-value分布式存儲系統查詢速度快、存放數據量大、支持高並發，非常適合通過主鍵進行查詢，但不能進行復雜的條件查詢。
如果輔以實時搜索引擎進行復雜條件檢索、全文檢索，就可以替代並發性能較低的Mysql等關系型資料庫，達到高並發、高性能，節省幾十倍伺服器數 量的目的。以MemcacheDB、Tokyo Tyrant為代表的key-value分布式存儲，在上萬並發連接下，輕松地完成高速查詢。
(3)分布式kv資料庫擴展閱讀：
資料庫的安全直接關繫到整個資料庫系統的安全，其防護手段主要有以下八點：
1、使用正版資料庫管理系統並及時安裝相關補丁。
2、做好用戶賬戶管理，禁用默認超級管理員賬戶或者為超級管理員賬戶設置復雜密碼；為應用程序分別分配專用賬戶進行訪問；設置用戶登錄時間及登錄失敗次數限制， 防止暴力破解用戶密碼。
3、分配用戶訪問許可權時，堅持最小許可權分配原則，並限制用戶只能訪問特定資料庫，不能同時訪問其他資料庫。
4、修改資料庫默認訪問埠，使用防火牆屏蔽掉對 外開放的其他埠，禁止一切外部的埠探測行為。
5、對資料庫內存儲的重要數據、敏感數據進行加密存儲，防止資料庫備份或數據文件被盜而造成數據泄露。
6、設置好資料庫的備份策略，保證資料庫被破壞後能迅速恢復。
7、對資料庫內的系統存儲過程進行合理管理，禁用掉不必要的存儲過程，防止利用存儲過程進行資料庫探測與攻擊。
8、啟用資料庫審核功能，對資料庫進行全面的事件跟蹤和日誌記錄。
參考資料來源：
網路-Key-Value
網路-資料庫
❹ 大數據工程師需要掌握哪些技能
對於大數據工程師而言，您至少要掌握以下技能：
一門JVM系語言：當前大數據生態JVM系語言類的比重極大，某種程度上說是壟斷也不為過。這里我推薦大家學習Java或Scala，至於Clojure這樣的語言上手不易，其實並不推薦大家使用。另外，如今是「母以子貴」的年代，某個大數據框架會帶火它的編程語言的流行，比如Docker之於Go、Kafka之於Scala。因此筆者這里建議您至少要精通一門JVM系的語言。值得一提的，一定要弄懂這門語言的多線程模型和內存模型，很多大數據框架的處理模式其實在語言層面和多線程處理模型是類似的，只是大數據框架把它們引申到了多機分布式這個層面。
計算處理框架：嚴格來說，這分為離線批處理和流式處理。流式處理是未來的趨勢，建議大家一定要去學習；而離線批處理其實已經快過時了，它的分批處理思想無法處理無窮數據集，因此其適用范圍日益縮小。事實上，Google已經在公司內部正式廢棄了以MapRece為代表的離線處理。因此如果要學習大數據工程，掌握一門實時流式處理框架是必須的。當下主流的框架包括：Apache Samza, Apache Storm, Apache Spark Streaming以及最近一年風頭正勁的Apache Flink。當然Apache Kafka也推出了它自己的流式處理框架：Kafka Streams
分布式存儲框架：雖說MapRece有些過時了，但Hadoop的另一個基石HDFS依然堅挺，並且是開源社區最受歡迎的分布式存儲，絕對您花時間去學習。如果想深入研究的話，Google的GFS論文也是一定要讀的（[url=]https://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf[/url]）。當然開源世界中還有很多的分布式存儲，國內阿里巴巴的OceanBase也是很優秀的一個。
資源調度框架：Docker可是整整火了最近一兩年。各個公司都在發力基於Docker的容器解決方案，最有名的開源容器調度框架就是K8S了，但同樣著名的還有Hadoop的YARN和Apache Mesos。後兩者不僅可以調度容器集群，還可以調度非容器集群，非常值得我們學習。
分布式協調框架：有一些通用的功能在所有主流大數據分布式框架中都需要實現，比如服務發現、領導者選舉、分布式鎖、KV存儲等。這些功能也就催生了分布式協調框架的發展。最古老也是最有名的當屬Apache Zookeeper了，新一些的包括Consul，etcd等。學習大數據工程，分布式協調框架是不能不了解的， 某種程度上還要深入了解。
KV資料庫：典型的就是memcache和Redis了，特別是Redis簡直是發展神速。其簡潔的API設計和高性能的TPS日益得到廣大用戶的青睞。即使是不學習大數據，學學Redis都是大有裨益的。
列式存儲資料庫：筆者曾經花了很長的時間學習Oracle，但不得不承認當下關系型資料庫已經慢慢地淡出了人們的視野，有太多的方案可以替代rdbms了。人們針對行式存儲不適用於大數據ad-hoc查詢這種弊端開發出了列式存儲，典型的列式存儲資料庫就是開源社區的HBASE。實際上列式存儲的概念也是出自Google的一篇論文：Google BigTable，有興趣的話大家最好讀一下：
消息隊列：大數據工程處理中消息隊列作為「削峰填谷」的主力系統是必不可少的，當前該領域內的解決方案有很多，包括ActiveMQ，Kafka等。國內阿里也開源了RocketMQ。這其中的翹楚當屬Apache Kafka了。Kafka的很多設計思想都特別契合分布流式數據處理的設計理念。這也難怪，Kafka的原作者Jay Kreps可是當今實時流式處理方面的頂級大神。
❺ 大數據時代的數據管理可以使用哪些軟體
數據是平台運營商的重要資產，可能提供API介面允許第三方有限度地使用，但是顯然是為了增強自身的業務，與此目的抵觸的行為都會受到約束。
收集數據主要是通過計算機和網路。凡是經過計算機處理的數據都很容易收集，比如瀏覽器里的搜索、點擊、網上購物、……其他數據（比如氣溫、海水鹽度、地震波）可以通過感測器轉化成數字信號輸入計算機。
收集到的數據一般要先經過整理，常用的軟體：Tableau和Impure是功能比較全面的，Refine和Wrangler是比較純粹的數據整理工具，Weka用於數據挖掘。
Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。用於統計分析的R語言有個擴展R + Hadoop，可以在Hadoop集群上運行R代碼。更具體的自己搜索吧。
可視化輸出的工具很多。建議參考wikipedia的「數據可視化」條目。
Tableau、Impure都有可視化功能。R語言也可以繪圖。
還有很多可以用來在網頁上實現可視化輸出的框架或者控制項。
大致基於四種技術：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比較喜歡d3(Data-Driven Documents)，圖形種類豐富，有交互能力，你可以去d3js.org看看，有很多種圖形的demo。
❻ 如何實現 Docker 與分布式資料庫結合
那麼Docker是什麼呢?
Docker 是一個開源的應用容器引擎，讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中，然後發布到任何流行的 Linux 機器上，也可以實現虛擬化。容器是完全使用沙箱機制，相互之間不會有任何介面。幾乎沒有性能開銷,可以很容易地在機器和數據中心中運行。最重要的是,他們不依賴於任何語言、框架包括系統。
這是對Docker的一個官方解釋，簡單說，有兩個部分：
1) 對於應用程序，曾經我們需要為了不同的系統專門的調整應用程序的代碼或者是構造相應的依賴包驅動等等，大大增加了開發量以及開發的難度。現在，Docker向不同的應用程序，提供了一個統一的環境。
2) 對於伺服器，為了支持不同版本的應用，曾經可能需要在物理機上安裝多個版本或者不同的GuestOS或者說虛擬機。這就大大佔用了物理機的性能，影響了最終程序的表現，提高了資源的成本。
使用Docker容器的方式，對於應用程序，不需要開發多種多樣的版本或者是針對OS每個版本的升級再進行代碼方面的調整，實現了廣泛的兼容性和開發的最簡性。同時對於物理機，部署的環境「瘦身」也節約了更多的資源，將更多的資源用於提高應用程序本身的性能。
CoreOS是Docker的不二之選?
之前大概介紹了Docker，那麼伺服器上面還是需要最基本的應操作系統才能支撐Docker容器，那麼這么多中的Linux內核OS究竟哪一個好呢?筆者和很多Docker技術專家的的觀點就是Core OS。
CoreOS是一個基於Linux 內核的輕量級操作系統，為了計算機集群的基礎設施建設而生，專注於自動化，輕松部署，安全，可靠，規模化。作為一個操作系統，CoreOS 提供了在應用容器內部署應用所需要的基礎功能環境以及一系列用於服務發現和配置共享的內建工具。
簡單說，CoreOS去掉了大量的非必要的功能，只保留了Server端需要的最基本功能，真正意義做到了「輕量化」。
此外，CoreOS還做到了：整體系統升級/回滾方案;容器化所有非系統應用、無包管理器;集群化調度器Fleet;分布式高可靠的KV存儲系統ETCD
這些特性都讓它成為Docker生態的首選操作系統。不過最新的消息是，CoreOS不滿足於做Docker生態下的一環，它正在推出自己的容器AppC計劃，想對Docker來一招「釜底抽薪」。當然，現階段並沒有出現完全的兩者 「分手」，所以對於普通使用者，並沒有太大影響。
Docker+分布式資料庫
資料庫是每一個軟體項目必須的一個部分，作為這樣的一類底層基礎軟體，兼容性、通用性、易用度都是需要考慮的重點。非常遺憾的是，現在的操作系統以及資料庫都沒有完全的實現完全的通用。特別對於NoSQL資料庫這樣的分布式系統，需要部署在多台物理機時，對於通用性要求就更高了。
目前，像SequoiaDB已經實現了自動化的安裝，大大提升了部署的效率，但是考慮到部署之後的配置以及不同環境下的調試問題，仍然可能會耗費不小的人力物力。所以基於剛剛提到的Docker的優點，作為一個通用的基礎軟體，NoSQL資料庫的Docker化就成了必須。
一個簡單的例子，你可以用docker把資料庫的數據與資料庫程序本身分離開：用一個container A作為數據存儲，然後另一個container B運行資料庫。當你想升級資料庫時，用新的container C替換掉container B即可。
Docker+分布式資料庫的結合，帶來諸多的好處：
1) 部署簡單，使用鏡像部署非常簡單，特別是對集群環境，使用Docker鏡像的部署還可以再資料庫上提前集成Hadoop、Spark等架構，真正實現「一步到位」。
2) 方便應用的更新，應用的更新只需要考慮製作一個新的鏡像就可以與容器適配，無需重新再調整與底層的配置。數據和程序的分離，這樣升級替換等等都不會影響到數據。
3) 操作簡單方便，除了底層免除了復雜的與環境進行配置的工作，操作也更加方便，配置好的Docker鏡像在部署時候只需要一條指令就可以了。
4) 開發、應用環境一致，Docker讓資料庫能做到 開發---測試---實施應用 三個階段的環境是完全一致的。降低開發到應用過程中的工作量，開發出來就能保證實際應用環境上能同樣的運行。
5) 系統穩定，因為Docker的隔離作用，將應用與OS獨立開，這樣能更好保證整個系統的穩定性。
6) 節省系統資源，系統只需要運行一個統一的環境就可以，不需要佔用太多性能去支持運行環境本身，能將更多的系統資源投入到應用當中。
有了這些特性， Docker+資料庫，將成為一個資料庫發展的新方向，Docker這樣的通用性和簡單操作解決方案，大大提高了資料庫使用的效率，幫助使用者節約了大量成本。
Docker是如今技術圈的新潮流，開發人員是最樂見於Docker的這種應用部署模式，因為應用的生命周期起始於開發人員的開發系統，經過開發，測試，壓力測試，等過程，最終應用發布到生產系統，並可能在不同的生產系統中遷移。應用開發人員對此都會有切身的體會，任何微小的運行環境的錯誤都會導致應用出現問題，尤其在講究快速敏捷的今天，應用模塊，新的代碼，新的配置，被快速的加入應用的環境中，可能還沒等寫入到文檔，新特性就已經被推送到生產上了。作為一個新的技術，筆者也希望更多的產品能加強與Docker的結合，幫助產品更好的使用。
博文出處：http://segmentfault.com/a/1190000002930030
❼ 有沒有用Java寫的輕量級開源的分布式存儲系統
一個輕量級分布式KV存儲系統。
如果用K記錄文件路徑和文件名，用V記錄文件內容，就是一個輕量級分布式小文件系統。
至於大文件，幾乎一定是HDFS這種有元數據服務中心（NameNode）架構的。
❽ 為什麼分布式資料庫這么喜歡用kv store
大部分資料庫都有KV存儲這個抽象，但仍然存在很大的設計空間，例如單機的KV是否需要支持事務，是否需要感知schema，是否需要暴露多版本的介面。因此，不能籠統地說分布式資料庫都喜歡用KV store。
分布式資料庫系統通常使用較小的計算機系統，每台計算機可單獨放在一個地方，每台計算機中都可能有DBMS的一份完整拷貝副本，或者部分拷貝副本，並具有自己局部的資料庫，位於不同地點的許多計算機通過網路互相連接，共同組成一個完整的、全局的邏輯上集中、物理上分布的大型資料庫。
結構模式
根據我國制定的《分布式資料庫系統標准》，分布式資料庫系統抽象為4層的結構模式。這種結構模式得到了國內外的支持和認同。
4層模式劃分為全局外層、全局概念層、局部概念層和局部內層，在各層間還有相應的層間映射。這種4層模式適用於同構型分布式資料庫系統，也適用於異構型分布式資料庫系統。
❾ 分布式資料庫和nosql區別嗎
互聯網公司常用的基本集中在以下幾種，每種只舉一個比較常見或者應用比較成功的例子吧。
1. In-Memory KV Store : Redis
in memory key-value store，同時提供了更加豐富的數據結構和運算的能力，成功用法是替代memcached，通過checkpoint和commit log提供了快速的宕機恢復，同時支持replication提供讀可擴展和高可用。
2. Disk-Based KV Store: Leveldb
真正基於磁碟的key-value storage, 模型單一簡單，數據量不受限於內存大小，數據落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫優化，順序寫盤的方式對於新硬體ssd再適合不過了，不足是僅提供了一個庫，需要自己封裝server端。
3. Document Store: Mongodb
分布式nosql，具備了區別mysql的最大亮點：可擴展性。mongodb 最新引人的莫過於提供了sql介面，是目前nosql里最像mysql的，只是沒有ACID的特性，發展很快，支持了索引等特性，上手容易，對於數據量遠超內存限制的場景來說，還需要慎重。
4. Column Table Store: HBase
這個富二代似乎不用贅述了，最大的優勢是開源，對於普通的scan和基於行的get等基本查詢，性能完全不是問題，只是只提供裸的api,易用性上是短板，可擴展性方面是最強的，其次坐上了Hadoop的快車，社區發展很快，各種基於其上的開源產品不少，來解決諸如join、聚集運算等復雜查詢。
❿ 試比較hadoop中的資料庫hbase和傳統關系資料庫的不同
1.hadoop是分布式平台,就把計算和存儲都由hadoop自動調節分布到接入的計算機單元中
2.hbase是hadoop上實現的kv資料庫
3.hbase+hadoop無需再與mysql搭配了,
而且kv資料庫與傳統關系資料庫區別很大
4.hadoop+hbase是分布式計算與分布式資料庫存儲的組合
5.增刪查改都是真的hbase的,