① redis內存滿了怎麼辦
redis內存滿了解決方法：
1，增加內存。
2，使用內存淘汰策略。
3，Redis集群。
重點介紹下2、3：
第二點：
我們知道，redis設置配置文件的maxmemory參數，可以控制其最大可用內存大小（位元組）。
那麼當所需內存，超過maxmemory怎麼辦？
這個時候就該配置文件中的maxmemory-policy出場了。
其默認值是noeviction。
下面我將列出當可用內存不足時，刪除redis鍵具有的淘汰規則。
規則說明：
1、volatile-lru
使用LRU演算法刪除一個鍵（只對設置了生存時間的鍵）
2、allkeys-lru
使用LRU演算法刪除一個鍵
3、volatile-random
隨機刪除一個鍵（只對設置了生存時間的鍵）
4、allkeys-random
隨機刪除一個鍵
5、volatile-ttl
刪除生存時間最近的一個鍵
6、noeviction
不刪除鍵，只返回錯誤
LRU演算法，least RecentlyUsed，最近最少使用演算法。也就是說默認刪除最近最少使用的鍵。
但是一定要注意一點！redis中並不會准確的刪除所有鍵中最近最少使用的鍵，而是隨機抽取3個鍵，刪除這三個鍵中最近最少使用的鍵。
那麼3這個數字也是可以設置的，對應位置是配置文件中的maxmeory-samples.
三、集群怎麼做
Redis僅支持單實例，內存一般最多10~20GB。對於內存動輒100~200GB的系統，就需要通過集群來支持了。
Redis集群有三種方式：客戶端分片、代理分片、RedisCluster(在之後一篇文章詳細說一下。)
1、客戶端分片
通過業務代碼自己實現路由
優勢：可以自己控制分片演算法、性能比代理的好
劣勢：維護成本高、擴容/縮容等運維操作都需要自己研發
2、代理分片
代理程序接收到來自業務程序的數據請求，根據路由規則，將這些請求分發給正確的Redis實例並返回給業務程序。使用類似Twemproxy、Codis等中間件實現。
優勢：運維方便、程序不用關心如何鏈接Redis實例
劣勢：會帶來性能消耗（大概20%）、無法平滑擴容/縮容，需要執行腳本遷移數據，不方便(Codis在Twemproxy基礎上優化並實現了預分片來達到Auto Rebalance)。
3、Redis Cluster
優勢：官方集群解決方案、無中心節點，和客戶端直連，性能較好
劣勢：方案太重、無法平滑擴容/縮容，需要執行相應的腳本，不方便、太新，沒有相應成熟的解決案例
② redis分片怎麼突破物理內存限制
2。redisDb，否則對ht[1]重復345步驟、判斷該0號哈希表是否需要rehash，因為如果在進行rehash，那麼兩個表中者有可能存儲該key.id 即可;/ 類型處理函數的私有數據
void *privdata;
/Ǘ、redis 中的每一個資料庫。如果為true直接返回NULL;/ 記錄 rehash 進度的標志，_dictRehashStep 用於對資料庫字典、以及哈希鍵的字典進行被動 rehash，這里不作贅述，就有必要了解一下dict 的結構了、計算哈希表， redis 先判斷當前庫的0號哈希表是否為空，當根據key的哈希值找到該列表後，如果列表的長度大於1、當拿到一個key後，會預先分配 16 個資料庫（該數量可以通過配置文件配置），所有資料庫保存到結構 redisServer 的一個成員 redisServer。
1，則直接結束.id 存儲著 redis 資料庫以整數表示的號碼。redisDb.dict 存儲著該庫所有的鍵值對數據，根據當前字典與key進行哈希值的計算。
4、根據哈希值與當前字典計算哈希表的索引值。
5、根據索引值在哈希表中取出鏈表; 哈希表（2個）
dictht ht[2];
/。
二，那麼我們需要遍歷該鏈表來找到我們所查找的key。
3，值為-1 表示 rehash 未進行
int rehashidx，再進行了次rehash判斷.dict中.db 數組中。當我們選擇資料庫 select number 時，程序直接通過 redisServer;
由上述的結構可以看出，redis 的字典使用哈希表作為其底層實現。dict 類型使用的兩個指向哈希表的指針、當redis 拿到一個key 時，如果找到該key的位置。
了解了上述知識之後，我們就可以來分析redis如果在內存找到一個key了：if (dict->ht[0].size == 0)，其中 0 號哈希表（ht[0]）主要用於存儲資料庫的所有鍵值，而1號哈希表主要用於程序對 0 號哈希表進行 rehash 時使用，rehash 一般是在添加新值時會觸發，這里不做過多的贅述。所以redis 中查找一個key：
typedef struct dict {
/，那麼我們要知道如果找到key的位置、既然我們知道一個資料庫的所有鍵值都存儲在redisDb.expires 保存著每一個鍵的過期時間。
2、當redis 伺服器初始化時，遍歷該鏈表找到key的位置。有時候當程序需要知道自己是在哪個資料庫時，直接讀取 redisDb，如果未在rehashing。當然，一般情況下鏈表長度都為是1，所以時間復雜度可看作o(1)，都由一個 redisDb 的結構存儲。其中。
到此我們就找到了key在內存中的位置了，其實就是對進行該dict 結構中的 ht[0] 進行查找操作。
4、既然是哈希，那麼我們知道就會有哈希碰撞，那麼當多個鍵哈希之後為同一個值怎麼辦呢？redis採取鏈表的方式來存儲多個哈希碰撞的鍵。也就是說。
3，redisDb，即。如果正在進行rehash，將調用一次_dictRehashStep方法。一般情況，該鏈表長度為1。
6、當 ht[0] 查找完了之後.db[number] 來切換資料庫; 當前正在運作的安全迭代器數量
int iterators;
} dict;/ 特定於類型的處理函數
dictType *type;
/
//
③ Redis怎麼做集群
為什麼集群？
通常，為了提高網站響應速度，總是把熱點數據保存在內存中而不是直接從後端資料庫中讀取。Redis是一個很好的Cache工具。大型網站應用，熱點數據量往往巨大，幾十G上百G是很正常的事兒，在這種情況下，如何正確架構Redis呢？
首先，無論我們是使用自己的物理主機，還是使用雲服務主機，內存資源往往是有限制的，scale up不是一個好辦法，我們需要scale out橫向可伸縮擴展，這需要由多台主機協同提供服務，即分布式多個Redis實例協同運行。
其次，目前硬體資源成本降低，多核CPU，幾十G內存的主機很普遍，對於主進程是單線程工作的Redis，只運行一個實例就顯得有些浪費。同時，管理一個巨大內存不如管理相對較小的內存高效。因此，實際使用中，通常一台機器上同時跑多個Redis實例。
方案
1.Redis官方集群方案 Redis Cluster
Redis Cluster是一種伺服器Sharding技術，3.0版本開始正式提供。
Redis Cluster中，Sharding採用slot(槽)的概念，一共分成16384個槽，這有點兒類pre sharding思路。對於每個進入Redis的鍵值對，根據key進行散列，分配到這16384個slot中的某一個中。使用的hash演算法也比較簡單，就是CRC16後16384取模。
Redis集群中的每個node(節點)負責分攤這16384個slot中的一部分，也就是說，每個slot都對應一個node負責處理。當動態添加或減少node節點時，需要將16384個槽做個再分配，槽中的鍵值也要遷移。當然，這一過程，在目前實現中，還處於半自動狀態，需要人工介入。
Redis集群，要保證16384個槽對應的node都正常工作，如果某個node發生故障，那它負責的slots也就失效，整個集群將不能工作。
為了增加集群的可訪問性，官方推薦的方案是將node配置成主從結構，即一個master主節點，掛n個slave從節點。這時，如果主節點失效，Redis Cluster會根據選舉演算法從slave節點中選擇一個上升為主節點，整個集群繼續對外提供服務。這非常類似前篇文章提到的Redis Sharding場景下伺服器節點通過Sentinel監控架構成主從結構，只是Redis Cluster本身提供了故障轉移容錯的能力。
Redis Cluster的新節點識別能力、故障判斷及故障轉移能力是通過集群中的每個node都在和其它nodes進行通信，這被稱為集群匯流排(cluster bus)。它們使用特殊的埠號，即對外服務埠號加10000。例如如果某個node的埠號是6379，那麼它與其它nodes通信的埠號是16379。nodes之間的通信採用特殊的二進制協議。
對客戶端來說，整個cluster被看做是一個整體，客戶端可以連接任意一個node進行操作，就像操作單一Redis實例一樣，當客戶端操作的key沒有分配到該node上時，Redis會返回轉向指令，指向正確的node，這有點兒像瀏覽器頁面的302 redirect跳轉。
Redis Cluster是Redis 3.0以後才正式推出，時間較晚，目前能證明在大規模生產環境下成功的案例還不是很多，需要時間檢驗。
2.Redis Sharding集群
Redis 3正式推出了官方集群技術，解決了多Redis實例協同服務問題。Redis Cluster可以說是服務端Sharding分片技術的體現，即將鍵值按照一定演算法合理分配到各個實例分片上，同時各個實例節點協調溝通，共同對外承擔一致服務。
多Redis實例服務，比單Redis實例要復雜的多，這涉及到定位、協同、容錯、擴容等技術難題。這里，我們介紹一種輕量級的客戶端Redis Sharding技術。
Redis Sharding可以說是Redis Cluster出來之前，業界普遍使用的多Redis實例集群方法。其主要思想是採用哈希演算法將Redis數據的key進行散列，通過hash函數，特定的key會映射到特定的Redis節點上。這樣，客戶端就知道該向哪個Redis節點操作數據。
慶幸的是，java redis客戶端驅動jedis，已支持Redis Sharding功能，即ShardedJedis以及結合緩存池的ShardedJedisPool。
Jedis的Redis Sharding實現具有如下特點：
1. 採用一致性哈希演算法(consistent hashing)，將key和節點name同時hashing，然後進行映射匹配，採用的演算法是MURMUR_HASH。採用一致性哈希而不是採用簡單類似哈希求模映射的主要原因是當增加或減少節點時，不會產生由於重新匹配造成的rehashing。一致性哈希隻影響相鄰節點key分配，影響量小。
2.為了避免一致性哈希隻影響相鄰節點造成節點分配壓力，ShardedJedis會對每個Redis節點根據名字(沒有，Jedis會賦予預設名字)會虛擬化出160個虛擬節點進行散列。根據權重weight，也可虛擬化出160倍數的虛擬節點。用虛擬節點做映射匹配，可以在增加或減少Redis節點時，key在各Redis節點移動再分配更均勻，而不是只有相鄰節點受影響。
3.ShardedJedis支持keyTagPattern模式，即抽取key的一部分keyTag做sharding，這樣通過合理命名key，可以將一組相關聯的key放入同一個Redis節點，這在避免跨節點訪問相關數據時很重要。
④ redis服務搭建有幾種方式
redis主從復制集群
實現方式：選擇一台redis伺服器作為master節點（負責寫操作），另外一台或多台伺服器作為slave節點（負責讀操作），slave節點上的數據完全由master節點同步過來。
作用：降低單節點redis伺服器的讀寫負載，將讀寫分離到不同的伺服器
提供數據的可用性
從圖中可以看出，返回0，說明不存在
⑤ java web開發緩存方案，ehcache和redis哪個更好
Ehcache
在java項目廣泛的使用。它是一個開源的、設計於提高在數據從RDBMS中取出來的高花費、高延遲採取的一種緩存方案。正因為Ehcache具有健壯性（基於java開發）、被認證（具有apache 2.0 license）、充滿特色（稍後會詳細介紹），所以被用於大型復雜分布式web application的各個節點中。
1. 夠快
Ehcache的發行有一段時長了，經過幾年的努力和不計其數的性能測試，Ehcache終被設計於large, high concurrency systems.
2. 夠簡單
開發者提供的介面非常簡單明了，從Ehcache的搭建到運用運行僅僅需要的是你寶貴的幾分鍾。其實很多開發者都不知道自己用在用Ehcache，Ehcache被廣泛的運用於其他的開源項目
比如：hibernate
3.夠袖珍
關於這點的特性，官方給了一個很可愛的名字small foot print ，一般Ehcache的發布版本不會到2M，V 2.2.3 才 668KB。
4. 夠輕量
核心程序僅僅依賴slf4j這一個包，沒有之一！
5.好擴展
Ehcache提供了對大數據的內存和硬碟的存儲，最近版本允許多實例、保存對象高靈活性、提供LRU、LFU、FIFO淘汰演算法，基礎屬性支持熱配置、支持的插件多
6.監聽器
緩存管理器監聽器 （CacheManagerListener）和 緩存監聽器（CacheEvenListener）,做一些統計或數據一致性廣播挺好用的
如何使用？
夠簡單就是Ehcache的一大特色，自然用起來just so easy!
redis
redis是在memcache之後編寫的，大家經常把這兩者做比較，如果說它是個key-value store 的話但是它具有豐富的數據類型，我想暫時把它叫做緩存數據流中心，就像現在物流中心那樣，order、package、store、classification、distribute、end。現在還很流行的LAMP PHP架構 不知道和 redis+mysql 或者 redis + mongodb的性能比較（聽群里的人說mongodb分片不穩定）。
先說說reidis的特性
1. 支持持久化
redis的本地持久化支持兩種方式：RDB和AOF。RDB 在redis.conf配置文件里配置持久化觸發器，AOF指的是redis沒增加一條記錄都會保存到持久化文件中（保存的是這條記錄的生成命令），如果不是用redis做DB用的話還會不要開AOF ，數據太龐大了，重啟恢復的時候是一個巨大的工程！
2.豐富的數據類型
redis 支持 String 、Lists、sets、sorted sets、hashes 多種數據類型,新浪微博會使用redis做nosql主要也是它具有這些類型，時間排序、職能排序、我的微博、發給我的這些功能List 和 sorted set 的強大操作功能息息相關
3.高性能
這點跟memcache很想像，內存操作的級別是毫秒級的比硬碟操作秒級操作自然高效不少，較少了磁頭尋道、數據讀取、頁面交換這些高開銷的操作！這也是NOSQL冒出來的原因吧，應該是高性能
是基於RDBMS的衍生產品，雖然RDBMS也具有緩存結構，但是始終在app層面不是我們想要的那麼操控的。
4.replication
redis提供主從復制方案，跟mysql一樣增量復制而且復制的實現都很相似，這個復制跟AOF有點類似復制的是新增記錄命令，主庫新增記錄將新增腳本發送給從庫，從庫根據腳本生成記錄，這個過程非常快，就看網路了，一般主從都是在同一個區域網，所以可以說redis的主從近似及時同步，同事它還支持一主多從，動態添加從庫，從庫數量沒有限制。 主從庫搭建，我覺得還是採用網狀模式，如果使用鏈式（master-slave-slave-slave-slave·····）如果第一個slave出現宕機重啟，首先從master 接收 數據恢復腳本，這個是阻塞的，如果主庫數據幾TB的情況恢復過程得花上一段時間，在這個過程中其他的slave就無法和主庫同步了。
5.更新快
這點好像從我接觸到redis到目前為止 已經發了大版本就4個，小版本沒算過。redis作者是個非常積極的人，無論是郵件提問還是論壇發帖，他都能及時耐心的為你解答，維護度很高。有人維護的話，讓我們用的也省心和放心。目前作者對redis 的主導開發方向是redis的集群方向。
所以如果希望簡單就用ehcache，如果開發任務比較復雜，希望得到比較多的支持什麼的就redis
⑥ Redis集群方案應該怎麼做
通常，為了提高網站響應速度，總是把熱點數據保存在內存中而不是直接從後端資料庫中讀取。Redis是一個很好的Cache工具。大型網站應用，熱點數據量往往巨大，幾十G上百G是很正常的事兒，在這種情況下，如何正確架構Redis呢？
首先，無論我們是使用自己的物理主機，還是使用雲服務主機，內存資源往往是有限制的，scale up不是一個好辦法，我們需要scale out橫向可伸縮擴展，這需要由多台主機協同提供服務，即分布式多個Redis實例協同運行。
其次，目前硬體資源成本降低，多核CPU，幾十G內存的主機很普遍，對於主進程是單線程工作的Redis，只運行一個實例就顯得有些浪費。同時，管理一個巨大內存不如管理相對較小的內存高效。因此，實際使用中，通常一台機器上同時跑多個Redis實例。
方案
1.Redis官方集群方案 Redis Cluster
Redis Cluster是一種伺服器Sharding技術，3.0版本開始正式提供。
Redis
Cluster中，Sharding採用slot(槽)的概念，一共分成16384個槽，這有點兒類似前面講的pre
sharding思路。對於每個進入Redis的鍵值對，根據key進行散列，分配到這16384個slot中的某一個中。使用的hash演算法也比較簡
單，就是CRC16後16384取模。
Redis集群中的每個node(節點)負責分攤這16384個slot中的一部分，也就是說，每個
slot都對應一個node負責處理。當動態添加或減少node節點時，需要將16384個槽做個再分配，槽中的鍵值也要遷移。當然，這一過程，在目前實
現中，還處於半自動狀態，需要人工介入。
Redis集群，要保證16384個槽對應的node都正常工作，如果某個node發生故障，那它負責的slots也就失效，整個集群將不能工作。
為
了增加集群的可訪問性，官方推薦的方案是將node配置成主從結構，即一個master主節點，掛n個slave從節點。這時，如果主節點失
效，Redis Cluster會根據選舉演算法從slave節點中選擇一個上升為主節點，整個集群繼續對外提供服務。這非常類似前篇文章提到的Redis
Sharding場景下伺服器節點通過Sentinel監控架構成主從結構，只是Redis Cluster本身提供了故障轉移容錯的能力。
Redis
Cluster的新節點識別能力、故障判斷及故障轉移能力是通過集群中的每個node都在和其它nodes進行通信，這被稱為集群匯流排(cluster
bus)。它們使用特殊的埠號，即對外服務埠號加10000。例如如果某個node的埠號是6379，那麼它與其它nodes通信的埠號是
16379。nodes之間的通信採用特殊的二進制協議。
對客戶端來說，整個cluster被看做是一個整體，客戶端可以連接任意一個
node進行操作，就像操作單一Redis實例一樣，當客戶端操作的key沒有分配到該node上時，Redis會返回轉向指令，指向正確的node，這
有點兒像瀏覽器頁面的302 redirect跳轉。
Redis Cluster是Redis 3.0以後才正式推出，時間較晚，目前能證明在大規模生產環境下成功的案例還不是很多，需要時間檢驗。
2.Redis Sharding集群
Redis 3正式推出了官方集群技術，解決了多Redis實例協同服務問題。Redis Cluster可以說是服務端Sharding分片技術的體現，即將鍵值按照一定演算法合理分配到各個實例分片上，同時各個實例節點協調溝通，共同對外承擔一致服務。
多Redis實例服務，比單Redis實例要復雜的多，這涉及到定位、協同、容錯、擴容等技術難題。這里，我們介紹一種輕量級的客戶端Redis Sharding技術。
Redis
Sharding可以說是Redis
Cluster出來之前，業界普遍使用的多Redis實例集群方法。其主要思想是採用哈希演算法將Redis數據的key進行散列，通過hash函數，特定
的key會映射到特定的Redis節點上。這樣，客戶端就知道該向哪個Redis節點操作數據。Sharding架構如圖：
慶幸的是，java redis客戶端驅動jedis，已支持Redis Sharding功能，即ShardedJedis以及結合緩存池的ShardedJedisPool。
Jedis的Redis Sharding實現具有如下特點：
采
用一致性哈希演算法(consistent
hashing)，將key和節點name同時hashing，然後進行映射匹配，採用的演算法是MURMUR_HASH。採用一致性哈希而不是採用簡單類
似哈希求模映射的主要原因是當增加或減少節點時，不會產生由於重新匹配造成的rehashing。一致性哈希隻影響相鄰節點key分配，影響量小。
2.
為了避免一致性哈希隻影響相鄰節點造成節點分配壓力，ShardedJedis會對每個Redis節點根據名字(沒有，Jedis會賦予預設名字)會虛擬
化出160個虛擬節點進行散列。根據權重weight，也可虛擬化出160倍數的虛擬節點。用虛擬節點做映射匹配，可以在增加或減少Redis節點
時，key在各Redis節點移動再分配更均勻，而不是只有相鄰節點受影響。
3.ShardedJedis支持keyTagPattern模式，即抽取key的一部分keyTag做sharding，這樣通過合理命名key，可以將一組相關聯的key放入同一個Redis節點，這在避免跨節點訪問相關數據時很重要。
Redis Sharding採用客戶端Sharding方式，服務端Redis還是一個個相對獨立的Redis實例節點，沒有做任何變動。同時，我們也不需要增加額外的中間處理組件，這是一種非常輕量、靈活的Redis多實例集群方法。
當然，Redis Sharding這種輕量靈活方式必然在集群其它能力方面做出妥協。比如擴容，當想要增加Redis節點時，盡管採用一致性哈希，畢竟還是會有key匹配不到而丟失，這時需要鍵值遷移。
作為輕量級客戶端sharding，處理Redis鍵值遷移是不現實的，這就要求應用層面允許Redis中數據丟失或從後端資料庫重新載入數據。但有些時候，擊穿緩存層，直接訪問資料庫層，會對系統訪問造成很大壓力。有沒有其它手段改善這種情況？
Redis
作者給出了一個比較討巧的辦法--presharding，即預先根據系統規模盡量部署好多個Redis實例，這些實例佔用系統資源很小，一台物理機可部
署多個，讓他們都參與sharding，當需要擴容時，選中一個實例作為主節點，新加入的Redis節點作為從節點進行數據復制。數據同步後，修改
sharding配置，讓指向原實例的Shard指向新機器上擴容後的Redis節點，同時調整新Redis節點為主節點，原實例可不再使用。
presharding
是預先分配好足夠的分片，擴容時只是將屬於某一分片的原Redis實例替換成新的容量更大的Redis實例。參與sharding的分片沒有改變，所以也
就不存在key值從一個區轉移到另一個分片區的現象，只是將屬於同分片區的鍵值從原Redis實例同步到新Redis實例。
並不是只有增
刪Redis節點引起鍵值丟失問題，更大的障礙來自Redis節點突然宕機。在《Redis持久化》一文中已提到，為不影響Redis性能，盡量不開啟
AOF和RDB文件保存功能，可架構Redis主備模式，主Redis宕機，數據不會丟失，備Redis留有備份。
這樣，我們的架構模式變
成一個Redis節點切片包含一個主Redis和一個備Redis。在主Redis宕機時，備Redis接管過來，上升為主Redis，繼續提供服務。主
備共同組成一個Redis節點，通過自動故障轉移，保證了節點的高可用性。則Sharding架構演變成：
Redis Sentinel提供了主備模式下Redis監控、故障轉移功能達到系統的高可用性。
高訪問量下，即使採用Sharding分片，一個單獨節點還是承擔了很大的訪問壓力，這時我們還需要進一步分解。通常情況下，應用訪問Redis讀操作量和寫操作量差異很大，讀常常是寫的數倍，這時我們可以將讀寫分離，而且讀提供更多的實例數。
可以利用主從模式實現讀寫分離，主負責寫，從負責只讀，同時一主掛多個從。在Sentinel監控下，還可以保障節點故障的自動監測。
3.利用代理中間件實現大規模Redis集群
上面分別介紹了多Redis伺服器集群的兩種方式，它們是基於客戶端sharding的Redis Sharding和基於服務端sharding的Redis Cluster。
客戶端sharding技術其優勢在於服務端的Redis實例彼此獨立，相互無關聯，每個Redis實例像單伺服器一樣運行，非常容易線性擴展，系統的靈活性很強。其不足之處在於：
由於sharding處理放到客戶端，規模進步擴大時給運維帶來挑戰。
服務端Redis實例群拓撲結構有變化時，每個客戶端都需要更新調整。
連接不能共享，當應用規模增大時，資源浪費制約優化。
服務端sharding的Redis Cluster其優勢在於服務端Redis集群拓撲結構變化時，客戶端不需要感知，客戶端像使用單Redis伺服器一樣使用Redis集群，運維管理也比較方便。
不過Redis Cluster正式版推出時間不長，系統穩定性、性能等都需要時間檢驗，尤其在大規模使用場合。
能不能結合二者優勢？即能使服務端各實例彼此獨立，支持線性可伸縮，同時sharding又能集中處理，方便統一管理？本篇介紹的Redis代理中間件twemproxy就是這樣一種利用中間件做sharding的技術。
twemproxy處於客戶端和伺服器的中間，將客戶端發來的請求，進行一定的處理後(如sharding)，再轉發給後端真正的Redis伺服器。也就是說，客戶端不直接訪問Redis伺服器，而是通過twemproxy代理中間件間接訪問。
參照Redis Sharding架構，增加代理中間件的Redis集群架構如下：
twemproxy中間件的內部處理是無狀態的，它本身可以很輕松地集群，這樣可避免單點壓力或故障。
twemproxy又叫nutcracker，起源於twitter系統中redis/memcached集群開發實踐，運行效果良好，後代碼奉獻給開源社區。其輕量高效，採用C語言開發，工程網址是：GitHub - twitter/twemproxy: A fast, light-weight proxy for memcached and redis
twemproxy後端不僅支持redis，同時也支持memcached，這是twitter系統具體環境造成的。
由於使用了中間件，twemproxy可以通過共享與後端系統的連接，降低客戶端直接連接後端伺服器的連接數量。同時，它也提供sharding功能，支持後端伺服器集群水平擴展。統一運維管理也帶來了方便。
當然，也是由於使用了中間件代理，相比客戶端直連伺服器方式，性能上會有所損耗，實測結果大約降低了20%左右。
⑦ redis主從配置與分片是一回事嗎
分片(partitioning)就是將你的數據拆分到多個 Redis 實例的過程，這樣每個實例將只包含所有鍵的子集。
主從復制則是一個master可以擁有多個slave，而一個slave又可以擁有多個slave，如此下去，形成了強大的多級伺服器集群架構
所以不一樣
⑧ redis 和 memcached 的區別
現在公司一般都是用 redis 來實現緩存，而且 redis 自身也越來越強大了！
redis支持更豐富的數據類型（支持更復雜的應用場景）：Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。memcache支持簡單的數據類型，String。
Redis支持數據的持久化，可以將內存中的數據保持在磁碟中，重啟的時候可以再次載入進行使用,而Memecache把數據全部存在內存之中。
集群模式：memcached沒有原生的集群模式，需要依靠客戶端來實現往集群中分片寫入數據；但是 redis 目前是原生支持 cluster 模式的.
Memcached是多線程，非阻塞IO復用的網路模型；Redis使用單線程的多路 IO 復用模型。
⑨ 怎樣理解redis中的hash
redis 使用數據分片的hash槽來應對數據存儲和讀取。redis集群共有2^14次方16384個hash槽，當操作數據時，使用CRC16演算法計算key的hash值，然後與16384取模從而確定該數據是屬於哪一個slot槽的。redis集群中，每個服務節點都被分配一段hash槽，只要確定了數據屬於哪一個槽，就可以確定該數據是在哪一個節點之上。槽是可以遷移的，master節點的slave節點不分配槽，只擁有讀許可權即使用權。但是注意在代碼中redis cluster執行讀寫操作的都是master節點，並不是你想 的讀是從節點，寫是主節點。第一次新建redis cluster時，16384個槽是被master節點均勻分布的。當新增或刪除master節點時，需要對槽進行重分配，而不是直接對數據進行分配。對於hash槽的轉移和分配，redis不會自動進行，需要人工輔助。
⑩ 如何實現高可用的 redis 集群
Redis 因具有豐富的數據結構和超高的性能以及簡單的協議，使其能夠很好的作為資料庫的上游緩存層。但在大規模的 Redis 使用過程中，會受限於多個方面：單機內存有限、帶寬壓力、單點問題、不能動態擴容等。
基於以上， Redis 集群方案顯得尤為重要。通常有 3 個途徑：官方 Redis Cluster ；通過 Proxy 分片；客戶端分片 (Smart Client) 。以上三種方案各有利弊。
Redis Cluster( 官方 ) ：雖然正式版發布已經有一年多的時間，但還缺乏最佳實踐；對協議進行了較大修改，導致主流客戶端也並非都已支持，部分支持的客戶端也沒有經過大規模生產環境的驗證；無中心化設計使整個系統高度耦合，導致很難對業務進行無痛的升級。
Proxy ：現在很多主流的 Redis 集群都會使用 Proxy 方式，例如早已開源的 Codis 。這種方案有很多優點，因為支持原聲 redis 協議，所以客戶端不需要升級，對業務比較友好。並且升級相對平滑，可以起多個 Proxy 後，逐個進行升級。但是缺點是，因為會多一次跳轉，平均會有 30% 左右的性能開銷。而且因為原生客戶端是無法一次綁定多個 Proxy ，連接的 Proxy 如果掛了還是需要人工參與。除非類似 Smart Client 一樣封裝原有客戶端，支持重連到其他 Proxy ，但這也就帶來了客戶端分片方式的一些缺點。並且雖然 Proxy 可以使用多個，並且可以動態增加 proxy 增加性能，但是所有客戶端都是共用所有 proxy ，那麼一些異常的服務有可能影響到其他服務。為每個服務獨立搭建 proxy ，也會給部署帶來額外的工作。
而我們選擇了第三種方案，客戶端分片 (Smart Client) 。客戶端分片相比 Proxy 擁有更好的性能，及更低的延遲。當然也有缺點，就是升級需要重啟客戶端，而且我們需要維護多個語言的版本，但我們更愛高性能。
下面我們來介紹一下我們的Redis集群：
概貌：
如圖0所示，
我們的 Redis 集群一共由四個角色組成:
Zookeeper ：保存所有 redis 集群的實例地址， redis 實例按照約定在特定路徑寫入自身地址，客戶端根據這個約定查找 redis 實例地址，進行讀寫。
Redis 實例：我們修改了 redis 源碼，當 redis 啟動或主從切換時，按照約定自動把地址寫到 zookeeper 特定路徑上。
Sentinel ： redis 自帶的主從切換工具，我們通過 sentinel 實現集群高可用。
客戶端（ Smart Client ）：客戶端通過約定查找 redis 實例在 ZooKeeper 中寫入的地址。並且根據集群的 group 數，進行一致性哈希計算，確定 key 唯一落入的 group ，隨後對這個 group 的主庫進行操作。客戶端會在Z ooKeeper 設置監視，當某個 group 的主庫發生變化時，Z ooKeeper 會主動通知客戶端，客戶端會更新對應 group 的最新主庫。
我們的Redis 集群是以業務為單位進行劃分的，不同業務使用不同集群（即業務和集群是一對一關系）。一個 Redis 集群會由多個 group 組成 ( 一個 group 由一個主從對 redis 實例組成 ) 。即 group 越多，可以部署在更多的機器上，可利用的內存、帶寬也會更多。在圖0中，這個業務使用的 redis 集群由 2 個 group 組成，每個 group 由一對主從實例組成。
Failover
如圖1所示，
當 redis 啟動時，會 把自己的 IP:Port 寫入到 ZooKeeper 中。其中的 主實例模式啟動時會在 /redis/ 業務名 / 組名 永久節點寫入自己的 IP:Port （如果節點不存在則創建）。由 主模式 變成 從模式 時，會創建 /redis/ 業務名 / 組名 /slaves/ip:port 臨時節 點，並寫入自己的 IP:Port （如果相同節點已經存在，則先刪除，再創建）。而從實例 模式 啟動時會創建 /redis/ 業務名 / 組名 /slaves/ip:port 臨時節點，並寫入自己的 ip:port （如果相同節點已經存在，則先刪除，再創建）。由 從模式 變成 主模式 時，先刪除 /redis/ 業務名 / 組名 /slaves/ip:port 臨時節點，並在 /redis/ 業務名 / 組名 永久節點寫入自己的 IP:Port 。
ZooKeeper 會一直保存當前有效的 主從實例 IP:Port 信息。至於主從自動切換過程，使用 redis 自帶的 sentinel 實現，現設置為超過 30s 主 server 無響應，則由 sentinel 進行主從實例的切換，切換後就會觸發以主、從實例通過以上提到的一系列動作，從而完成最終的切換。
而客戶端側通過給定業務名下的所有 groupName 進行一致性哈希計算，確定 key 落入哪個組。 客戶端啟動時，會從 ZooKeeper 獲取指定業務名下所有 group 的 主從 IP:Port ，並在 ZooKeeper 中設置監視（監視的作用是當 ZooKeeper 的節點發生變化時，會主動通知客戶端）。若客戶端從 Zookeeper 收到節點變化通知，會重新獲取最新的 主從 I:Port ，並重新設置監視（ ZooKeeper 監視是一次性的）。通過此方法，客戶端可以實時獲知當前可訪問最新的 主從 IP:Port 信息。
因為我們的所有 redis 實例信息都按照約定保存在 ZooKeeper 上，所以不需要針對每個實例部署監控，我們編寫了一個可以自動通過 ZooKeeper 獲取所有 redis 實例信息，並且監控 cpu 、 qps 、內存、主從延遲、主從切換、連接數等的工具。
發展：
現在 redis 集群在某些業務內存需求超過預期很多後，無法通過動態擴容進行擴展。所以我們正在做動態擴容的支持。原先的客戶端我們是通過一致性哈希進行 key 的
路由策略，但這種方式在動態擴容時會略顯復雜，所以我們決定採用實現起來相對簡單的預分片方式。一致性哈希的好處是可以無限擴容，而預分片則不是。預分片
時我們會在初始化階段指定一個集群的所有分片數量，這個數量一旦指定就不能再做改變，這個預分片數量就是後續可以擴容到最大的 redis 實例數。假設預分片 128 個 slot ，每個實例 10G 也可以達到 TB 級別的集群，對於未來數據增長很大的集群我們可以預分片 1024 ，基本可以滿足所有大容量內存需求了。
原先我們的 redis 集群有四種角色， Smart Client, redis ， sentinel ， ZooKeeper 。為了支持動態擴容，我們增加了一個角色， redis_cluster_manager （以下簡稱 manager ），用於管理 redis 集群。主要工作是初始化集群（即預分片），增加實例後負責修改Z ooKeeper 狀態，待客戶端做好准備後遷移數據到新增實例上。為了盡量減少數據遷移期間對現性能帶來的影響，我們每次只會遷移一個分片的數據，待遷移完成，再進行下一個分片的遷移。
如圖2所示
相比原先的方案，多了 slots 、M anager Lock 、 clients 、M igrating Clients 節點。
Slots: 所有分片會把自身信息寫入到 slots 節點下面。 Manager 在初始化集群時，根據設置的分片數，以及集群下的 group 數，進行預分片操作，把所有分片均勻分配給已有 group 。分片的信息由一個 json 串組成，記錄有分片的狀態 (stats) ，當前擁有此分片的 group(src) ，需要遷移到的 group(dst) 。分片的狀態一共有三種： online 、 pre_migrate 、 migrating 。
Online 指這個分片處於正常狀態，這時 dst 是空值，客戶端根據 src 的 group 進行讀寫。
Pre_migrate 是指這個分片被 manager 標記為需要遷移，此時 dst 仍然為空， manager 在等所有 client 都已經准備就緒，因為 ZooKeeper 回掉所有客戶端有時間差，所以如果某些 client 沒有準備就緒的時候 manager 進行了數據遷移，那麼就會有數據丟失。
Migrating 是 manager 確認了所有客戶端都已經做好遷移准備後，在 dst 寫入此分片需要遷移的目標 group 。待遷移完成，會在 src 寫入目標 group_name ， dst 設為空， stats 設為 online 。
Manager Lock： 因為我們是每次只允許遷移一個 slot ，所以不允許超過一個 manager 操作一個集群。所以 manager 在操作集群前，會在M anager Lock 下注冊臨時節點，代表這個集群已經有 manager 在操作了，這樣其他 manager 想要操作這個集群時就會自動退出。
Clients 和M igrating Clients 是為了讓 manager 知道客戶端是否已經准備就緒的節點。客戶端通過 uid 代表自己，格式是 客戶端語言 _ 主機名 _pid 。當集群沒有進行遷移，即所有分片都是 online 的時候，客戶端會在 clients 下創建 uid 的臨時節點。
當某個 slot 從 online 變成 pre_migrate 後，客戶端會刪除 clients 下的 uid 臨時節點，然後在M igrating Clients 創建 uid 臨時節點。注意，因為需要保證數據不丟失，從 pre_migrate 到 migrating 期間，這個 slot 是被鎖定的，即所有對這個 slot 的讀寫都會被阻塞。所以 mananger 會最多等待 10s ，確認所有客戶端都已經切換到准備就緒狀態，如果發現某個客戶端一直未准備就緒，那麼 mananger 會放棄此次遷移，把 slot 狀態由 pre_migrate 改為 online 。如果客戶端發現 slot 狀態由 pre_migrate 變成 online 了，那麼會刪除 migrating_clients 下的 uid 節點，在 clients 下重新創建 uid 節點。還需要注意的一點是，有可能一個客戶剛啟動，並且正在往 clients 下創建 uid 節點，但是因為網路延遲還沒創建完成，導致 manager 未確認到這個 client 是否准備就緒，所以 mananger 把 slot 改為 pre_migrate 後會等待 1s 再確認所有客戶端是否准備就緒。
如果 Manager 看到 clients 下已經沒有客戶端的話（都已經准備就緒），會把 slot 狀態改為 migrating 。 Slot 變成 migrating 後，鎖定也隨之解除， manager 會遍歷 src group 的數據，把對應 slot 的數據遷移到 dst group 里。客戶端在 migrating 期間如果有讀寫 migrating slot 的 key ，那麼客戶端會先把這個 key 從 src group 遷移到 dst group ，然後再做讀寫操作。即這期間客戶端性能會有所下降。這也是為什麼每次只遷移一個 slot 的原因。這樣即使只有 128 個分片的集群，在遷移期間受到性能影響的 key 也只有 1/128 ，是可以接受的。
Manager 發現已經把 slot 已經遷移完畢了，會在 src 寫入目標 group_name ， dst 設為空， stats 設為 online 。客戶端也刪除 migrating_clients 下的 uid ，在 clients 下創建 uid 節點。