❶ Redis是什麼,用來做什麼
Redis是一個nosql資料庫,可以存儲key-value值。因為其底層實現中,數據讀寫是基於內存,速度非常快,所以常用於緩存;進而因其為獨立部署的中間件,常用於分布式緩存的實現方案。
常用場景有:緩存、秒殺控制、分布式鎖。
雖然其是基於內存讀寫,但底層也有持久化機制;同時具備集群模式;不用擔心其可用性。
關於Redis的使用,可以參考《Redis的使用方法、常見應用場景》
❷ Redis資料庫適合使用於哪些應用場景
redis開創了一種新的數據存儲思路,使用redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用redis靈活多變的數據結構和數據操作,為不同的大象構建不同的冰箱。
redis常用數據類型
redis最為常用的數據類型主要有以下五種:
string
hash
list
set
sorted set
在具體描述這幾種數據類型之前,我們先通過一張圖了解下redis內部內存管理中是如何描述這些不同數據類型的:
首先redis內部使用一個redisobject對象來表示所有的key和value,redisobject最主要的信息如上圖所示:type代表一
個value對象具體是何種數據類型,encoding是不同數據類型在redis內部的存儲方式,比如:type=string代表value存儲的是
一個普通字元串,那麼對應的encoding可以是raw或者是int,如果是int則代表實際redis內部是按數值型類存儲和表示這個字元串的,當然
前提是這個字元串本身可以用數值表示,比如:"123"
"456"這樣的字元串。
這里需要特殊說明一下vm欄位,只有打開了redis的虛擬內存功能,此欄位才會真正的分配內存,該功能默認是關閉狀態的,該功能會在後面具體描述。通過
上圖我們可以發現redis使用redisobject來表示所有的key/value數據是比較浪費內存的,當然這些內存管理成本的付出主要也是為了給
redis不同數據類型提供一個統一的管理介面,實際作者也提供了多種方法幫助我們盡量節省內存使用,我們隨後會具體討論。
下面我們先來逐一的分析下這五種數據類型的使用和內部實現方式:
string
常用命令:
set,get,decr,incr,mget 等。
應用場景:
string是最常用的一種數據類型,普通的key/value存儲都可以歸為此類,這里就不所做解釋了。
實現方式:
string在redis內部存儲默認就是一個字元串,被redisobject所引用,當遇到incr,decr等操作時會轉成數值型進行計算,此時redisobject的encoding欄位為int。
hash
常用命令:
hget,hset,hgetall 等。
應用場景:
我們簡單舉個實例來描述下hash的應用場景,比如我們要存儲一個用戶信息對象數據,包含以下信息:
用戶id為查找的key,存儲的value用戶對象包含姓名,年齡,生日等信息,如果用普通的key/value結構來存儲,主要有以下2種存儲方式:
第一種方式將用戶id作為查找key,把其他信息封裝成一個對象以序列化的方式存儲,這種方式的缺點是,增加了序列化/反序列化的開銷,並且在需要修改其中一項信息時,需要把整個對象取回,並且修改操作需要對並發進行保護,引入cas等復雜問題。
第二種方法是這個用戶信息對象有多少成員就存成多少個key-value對兒,用用戶id+對應屬性的名稱作為唯一標識來取得對應屬性的值,雖然省去了序列化開銷和並發問題,但是用戶id為重復存儲,如果存在大量這樣的數據,內存浪費還是非常可觀的。
那麼redis提供的hash很好的解決了這個問題,redis的hash實際是內部存儲的value為一個hashmap,並提供了直接存取這個map成員的介面,如下圖:
也就是說,key仍然是用戶id,
value是一個map,這個map的key是成員的屬性名,value是屬性值,這樣對數據的修改和存取都可以直接通過其內部map的key(redis里稱內部map的key為field),
也就是通過 key(用戶id) + field(屬性標簽)
就可以操作對應屬性數據了,既不需要重復存儲數據,也不會帶來序列化和並發修改控制的問題。很好的解決了問題。
這里同時需要注意,redis提供了介面(hgetall)可以直接取到全部的屬性數據,但是如果內部map的成員很多,那麼涉及到遍歷整個內部map的
操作,由於redis單線程模型的緣故,這個遍歷操作可能會比較耗時,而另其它客戶端的請求完全不響應,這點需要格外注意。
實現方式:
上面已經說到redis
hash對應value內部實際就是一個hashmap,實際這里會有2種不同實現,這個hash的成員比較少時redis為了節省內存會採用類似一維數組的方式來緊湊存儲,而不會採用真正的hashmap結構,對應的value
redisobject的encoding為zipmap,當成員數量增大時會自動轉成真正的hashmap,此時encoding為ht。
list
常用命令:
lpush,rpush,lpop,rpop,lrange等。
應用場景:
redis
list的應用場景非常多,也是redis最重要的數據結構之一,比如twitter的關注列表,粉絲列表等都可以用redis的list結構來實現,比較好理解,這里不再重復。
實現方式:
redis
list的實現為一個雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內存開銷,redis內部的很多實現,包括發送緩沖隊列等也都是用的這個數據結構。
set
常用命令:
sadd,spop,smembers,sunion 等。
應用場景:
redis
set對外提供的功能與list類似是一個列表的功能,特殊之處在於set是可以自動排重的,當你需要存儲一個列表數據,又不希望出現重復數據時,set是一個很好的選擇,並且set提供了判斷某個成員是否在一個set集合內的重要介面,這個也是list所不能提供的。
實現方式:
set 的內部實現是一個
value永遠為null的hashmap,實際就是通過計算hash的方式來快速排重的,這也是set能提供判斷一個成員是否在集合內的原因。
sorted set
常用命令:
zadd,zrange,zrem,zcard等
使用場景:
redis sorted set的使用場景與set類似,區別是set不是自動有序的,而sorted
set可以通過用戶額外提供一個優先順序(score)的參數來為成員排序,並且是插入有序的,即自動排序。當你需要一個有序的並且不重復的集合列表,那麼可以選擇sorted
set數據結構,比如twitter 的public
❸ redis怎麼存數組和獲取數組
有兩種方法:
1.把要存的數組序列化 或者 json_encode後 變成字元串再存。取的時候 反序列號或者json_decode處理成數組。
2.可以使用hash結構,以key作為1維,以hash中的field作為第二維。
❹ redis一般用來存儲什麼數據
1.strings(字元串)a)如果只使用redis中的字元串類型,且不使用redis的持久化功能,那麼,redis就和memcache非常非常的像了;b)在遇到數值操作時,會自動轉換過為字元串,如寫入數字1,讀出來將是字元串1;c)本身具有原子性的指令:incr、dec
❺ 三分鍾讀懂redis資料庫
redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多,包括string(字元串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步。
1. 使用Redis有哪些好處?
(1) 速度快,因為數據存在內存中,類似於HashMap,HashMap的優勢就是查找和操作的時間復雜度都是O(1)
(2) 支持豐富數據類型,支持string,list,set,sorted set,hash
(3) 支持事務,操作都是原子性,所謂的原子性就是對數據的更改要麼全部執行,要麼全部不執行
(4) 豐富的特性:可用於緩存,消息,按key設置過期時間,過期後將會自動刪除
2. redis相比memcached有哪些優勢?
(1) memcached所有的值均是簡單的字元串,redis作為其替代者,支持更為豐富的數據類型
(2) redis的速度比memcached快很多
(3) redis可以持久化其數據
3. redis常見性能問題和解決方案:
(1) Master最好不要做任何持久化工作,如RDB內存快照和AOF日誌文件
(2) 如果數據比較重要,某個Slave開啟AOF備份數據,策略設置為每秒同步一次
(3) 為了主從復制的速度和連接的穩定性,Master和Slave最好在同一個區域網內
(4) 盡量避免在壓力很大的主庫上增加從庫
(5) 主從復制不要用圖狀結構,用單向鏈表結構更為穩定,即:Master <- Slave1 <- Slave2 <- Slave3...
這樣的結構方便解決單點故障問題,實現Slave對Master的替換。如果Master掛了,可以立刻啟用Slave1做Master,其他不變。
4. MySQL里有2000w數據,redis中只存20w的數據,如何保證redis中的數據都是熱點數據
相關知識:redis 內存數據集大小上升到一定大小的時候,就會施行數據淘汰策略。redis 提供 6種數據淘汰策略:
voltile-lru:從已設置過期時間的數據集(server.db[i].expires)中挑選最近最少使用的數據淘汰
volatile-ttl:從已設置過期時間的數據集(server.db[i].expires)中挑選將要過期的數據淘汰
volatile-random:從已設置過期時間的數據集(server.db[i].expires)中任意選擇數據淘汰
allkeys-lru:從數據集(server.db[i].dict)中挑選最近最少使用的數據淘汰
allkeys-random:從數據集(server.db[i].dict)中任意選擇數據淘汰
no-enviction(驅逐):禁止驅逐數據
相關推薦:《Python視頻教程》
5. Memcache與Redis的區別都有哪些?
1)、存儲方式
Memecache把數據全部存在內存之中,斷電後會掛掉,數據不能超過內存大小。
Redis有部份存在硬碟上,這樣能保證數據的持久性。
2)、數據支持類型
Memcache對數據類型支持相對簡單。
Redis有復雜的數據類型。
3),value大小
redis最大可以達到1GB,而memcache只有1MB
6. Redis 常見的性能問題都有哪些?如何解決?
1).Master寫內存快照,save命令調度rdbSave函數,會阻塞主線程的工作,當快照比較大時對性能影響是非常大的,會間斷性暫停服務,所以Master最好不要寫內存快照。
2).Master AOF持久化,如果不重寫AOF文件,這個持久化方式對性能的影響是最小的,但是AOF文件會不斷增大,AOF文件過大會影響Master重啟的恢復速度。Master最好不要做任何持久化工作,包括內存快照和AOF日誌文件,特別是不要啟用內存快照做持久化,如果數據比較關鍵,某個Slave開啟AOF備份數據,策略為每秒同步一次。
3).Master調用BGREWRITEAOF重寫AOF文件,AOF在重寫的時候會佔大量的CPU和內存資源,導致服務load過高,出現短暫服務暫停現象。
4). Redis主從復制的性能問題,為了主從復制的速度和連接的穩定性,Slave和Master最好在同一個區域網內
7. redis 最適合的場景
Redis最適合所有數據in-momory的場景,雖然Redis也提供持久化功能,但實際更多的是一個disk-backed的功能,跟傳統意義上的持久化有比較大的差別,那麼可能大家就會有疑問,似乎Redis更像一個加強版的Memcached,那麼何時使用Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區別,大多數都會得到以下觀點:
1.Redis不僅僅支持簡單的k/v類型的數據,同時還提供list,set,zset,hash等數據結構的存儲。
2.Redis支持數據的備份,即master-slave模式的數據備份。
3.Redis支持數據的持久化,可以將內存中的數據保持在磁碟中,重啟的時候可以再次載入進行使用。
(1)會話緩存(Session Cache)
最常用的一種使用Redis的情景是會話緩存(session cache)。用Redis緩存會話比其他存儲(如Memcached)的優勢在於:Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時,如果用戶的購物車信息全部丟失,大部分人都會不高興的,現在,他們還會這樣嗎?
幸運的是,隨著 Redis 這些年的改進,很容易找到怎麼恰當的使用Redis來緩存會話的文檔。甚至廣為人知的商業平台Magento也提供Redis的插件。
(2)全頁緩存(FPC)
除基本的會話token之外,Redis還提供很簡便的FPC平台。回到一致性問題,即使重啟了Redis實例,因為有磁碟的持久化,用戶也不會看到頁面載入速度的下降,這是一個極大改進,類似PHP本地FPC。
再次以Magento為例,Magento提供一個插件來使用Redis作為全頁緩存後端。
此外,對WordPress的用戶來說,Pantheon有一個非常好的插件 wp-redis,這個插件能幫助你以最快速度載入你曾瀏覽過的頁面。
(3)隊列
Reids在內存存儲引擎領域的一大優點是提供 list 和 set 操作,這使得Redis能作為一個很好的消息隊列平台來使用。Redis作為隊列使用的操作,就類似於本地程序語言(如Python)對 list 的 push/pop 操作。
如果你快速的在Google中搜索「Redis queues」,你馬上就能找到大量的開源項目,這些項目的目的就是利用Redis創建非常好的後端工具,以滿足各種隊列需求。例如,Celery有一個後台就是使用Redis作為broker,你可以從這里去查看。
(4)排行榜/計數器
Redis在內存中對數字進行遞增或遞減的操作實現的非常好。集合(Set)和有序集合(Sorted Set)也使得我們在執行這些操作的時候變的非常簡單,Redis只是正好提供了這兩種數據結構。所以,我們要從排序集合中獲取到排名最靠前的10個用戶–我們稱之為「user_scores」,我們只需要像下面一樣執行即可:
當然,這是假定你是根據你用戶的分數做遞增的排序。如果你想返回用戶及用戶的分數,你需要這樣執行:
ZRANGE user_scores 0 10 WITHSCORES
Agora Games就是一個很好的例子,用Ruby實現的,它的排行榜就是使用Redis來存儲數據的,你可以在這里看到。
(5)發布/訂閱
最後(但肯定不是最不重要的)是Redis的發布/訂閱功能。發布/訂閱的使用場景確實非常多。我已看見人們在社交網路連接中使用,還可作為基於發布/訂閱的腳本觸發器,甚至用Redis的發布/訂閱功能來建立聊天系統!(不,這是真的,你可以去核實)。
❻ Java資料庫,哪個更好用
我將推薦給你們10個最高效的Java資料庫
1、MongoDB——最受歡迎,跨平台,面向文檔的資料庫
MongoDB是一個基於分布式文件存儲的資料庫,使用C++語言編寫。旨在為Web應用提供可擴展的高性能數據存儲解決方案。應用性能高低依賴於資料庫性能,MongoDB則是非關系資料庫中功能最豐富,最像關系資料庫的,隨著MongDB 3.4版本發布,其應用場景適用能力得到了進一步拓展。
MongoDB的核心優勢就是靈活的文檔模型、高可用復制集、可擴展分片集群。你可以試著從幾大方面了解MongoDB,如實時監控MongoDB工具、內存使用量和頁面錯誤、連接數、資料庫操作、復制集等。
2、Elasticsearch ——為雲構建的分布式RESTful搜索引擎
ElasticSearch是基於Lucene的搜索伺服器。它提供了分布式多用戶能力的全文搜索引擎,基於RESTful web介面。Elasticsearch是用Java開發的,並作為Apache許可條款下的開放源碼發布,是比較流行的企業級搜索引擎。
ElasticSearch不僅是一個全文本搜索引擎,還是一個分布式實時文檔存儲,其中每個field均是被索引的數據且可被搜索;也是一個帶實時分析功能的分布式搜索引擎,並且能夠擴展至數以百計的伺服器存儲及處理PB級的數據。ElasticSearch在底層利用Lucene完成其索引功能,因此其許多基本概念源於Lucene。
3、Cassandra——開源分布式資料庫管理系統
最初是由Facebook開發的,旨在處理許多商品伺服器上的大量數據,提供高可用性,沒有單點故障。
Apache Cassandra是一套開源分布式NoSQL資料庫系統。集Google BigTable的數據模型與Amazon Dynamo的完全分布式架構於一身。於2008開源,此後,由於Cassandra良好的可擴展性,被Digg、Twitter等Web 2.0網站所採納,成為了一種流行的分布式結構化數據存儲方案。
因Cassandra是用Java編寫的,所以理論上在具有JDK6及以上版本的機器中都可以運行,官方測試的JDK還有OpenJDK 及Sun的JDK。 Cassandra的操作命令,類似於我們平時操作的關系資料庫,對於熟悉MySQL的朋友來說,操作會很容易上手。
4、Redis ——開源(BSD許可)內存數據結構存儲,用作資料庫,緩存和消息代理
Redis是一個開源的使用ANSI C語言編寫的、支持網路、可基於內存亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。
Redis 有三個主要使其有別於其它很多競爭對手的特點:Redis是完全在內存中保存數據的資料庫,使用磁碟只是為了持久性目的; Redis相比許多鍵值數據存儲系統有相對豐富的數據類型; Redis可以將數據復制到任意數。Redis 這么火,它都解決了哪些問題?
5、Hazelcast ——基於Java的開源內存數據網格
Hazelcast 是一種內存數據網格 in-memory data grid,提供Java程序員關鍵任務交易和萬億級內存應用。雖然Hazelcast沒有所謂的「Master」,但是仍然有一個Leader節點(the oldest member),這個概念與ZooKeeper中的Leader類似,但是實現原理卻完全不同。同時,Hazelcast中的數據是分布式的,每一個member持有部分數據和相應的backup數據,這點也與ZooKeeper不同。
Hazelcast的應用便捷性深受開發者喜歡,但如果要投入使用,還需要慎重考慮。
6、Ehcache——廣泛使用的開源Java分布式緩存
主要面向通用緩存、Java EE和輕量級容器。
EhCache 是一個純Java的進程內緩存框架,具有快速、精乾等特點,是hibernate中默認的CacheProvider。
主要特性有:快速簡單,具有多種緩存策略;緩存數據有兩級,內存和磁碟,因此無需擔心容量問題;緩存數據會在虛擬機重啟的過程中寫入磁碟;可以通過RMI、可插入API等方式進行分布式緩存;具有緩存和緩存管理器的偵聽介面;支持多緩存管理器實例,以及一個實例的多個緩存區域;提供Hibernate的緩存實現。Ehcache介紹及整合Spring實現高速緩存。
7、Hadoop ——用Java編寫的開源軟體框架
用於分布式存儲,並對非常大的數據用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群進行高速運算和存儲。
Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。Hadoop的框架最核心的設計就是:HDFS和MapRece。HDFS為海量的數據提供了存儲,MapRece則為海量的數據提供了計算。
8、Solr ——開源企業搜索平台,用Java編寫,來自Apache Lucene項目
Solr是一個獨立的企業級搜索應用伺服器,它對外提供類似於Web-service的API介面。用戶可以通過http請求,向搜索引擎伺服器提交一定格式的XML文件,生成索引;也可以通過Http Get操作提出查找請求,並得到XML格式的返回結果。
與ElasticSearch一樣,同樣是基於Lucene,但它對其進行了擴展,提供了比Lucene更為豐富的查詢語言,同時實現了可配置、可擴展並對查詢性能進行了優化。
9、Spark ——Apache Software Foundation中最活躍的項目,是一個開源集群計算框架
Spark 是一種與 Hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處,這些不同之處使 Spark 在某些工作負載方面表現得更加優越,換句話說,Spark 啟用了內存分布數據集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的,它將 Scala 用作其應用程序框架。與 Hadoop 不同,Spark 和 Scala 能夠緊密集成,其中的 Scala 可以像操作本地集合對象一樣輕松地。
10、Memcached ——通用分布式內存緩存系統
Memcached是一套分布式快取系統,當初是Danga Interactive為了LiveJournal所發展的,但被許多軟體(如MediaWiki)所使用。Memcached作為高速運行的分布式緩存伺服器,具有以下的特點:協議簡單,基於libevent的事件處理,內置內存存儲方式。
通過以上的分析,相信你就知道怎麼選擇了
❼ redis 存儲什麼數據
redis開創了一種新的數據存儲思路,使用redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用redis靈活多變的數據結構和數據操作,為不同的大象構建不同的冰箱。
redis常用數據類型
redis最為常用的數據類型主要有以下五種:string、hash、list、set、sorted set
❽ 如何往redis中存儲數據 java
可以把組裝好了得map數據轉成json字元串,然後存到redis裡面,從redis取出來之後再轉回來使用
❾ 華為自研的資料庫gaussdb怎麼樣
華為自研的資料庫gaussdb,還可以吧,用起來算是比較方便。
GaussDB(for Redis)(下文簡稱高斯Redis)是華為雲資料庫團隊自主研發的兼容Redis協議的雲原生資料庫,該資料庫採用計算存儲分離架構,突破開源Redis的內存限制,可輕松擴展至PB級存儲。
高斯Redis基於計算存儲分離架構,計算層實現熱數據緩存,存儲層實現全量數據的落盤,中間通過RDMA高速網路互連,通過演算法預測用戶的訪問規律,實現數據的自動冷熱交換,最終達到極致的性能提升。
相關資料
該架構基於華為內部強大且廣泛使用的自研分布式存儲系統DFV,實現了一套Share Everything的雲原生架構,充分發揮了雲原生的彈性伸縮、資源共享的優勢。
使得高斯Redis具備強一致、秒擴容、低成本、超可用的四大特點,完美避開了開源Redis的主從堆積、主從不一致、fork抖動、內存利用率只有50%、大key阻塞、gossip集群管理等問題。