當前位置:首頁 » 硬碟大全 » 緩存和資料庫同步的方式
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

緩存和資料庫同步的方式

發布時間: 2022-06-20 22:25:55

⑴ Redis 緩存怎麼與資料庫進行數據同步

這種writer-reader架構,一般思路是在緩存更新階段由writer來解決一致性問題,當資料庫數據變化時,同步更新redis並確保緩存更新成功。
作為完整性判斷,可以不檢查全部的屬性,而對數據使用一個自增的版本號(或時間戳)來判斷是否最新。
作為後置的檢測,可以優化來降低掃描的代價,如只針對最近一個時間周期內(如10min)資料庫中更新過的數據,這個集合應該比較小,去redis中進行檢查的代價會比較低。

⑵ Cache緩存,怎麼實現與資料庫同步

使用sqlDependency緩存依賴,以下是一個推SQL緩存依賴的例子,當資料庫更新後緩存會自動更新
void Page_Load()
{
DataTable movies=(DataTable)Cache["Movie"];
if(movie=null)
{
SqlDataAdapter adpter=new SqlDataAdatper("Select * From Movie",sqlConnection);
SqlCacheDependency sqlDepend=new SqlCacheDependency(adapter.SelectCommand);
movies=new DataTable();
//注意必須在adpter.Fill()前先建立SqlCacheDependency,否則無效
adpter.Fill(movies);
Cache.Insert("Movie",movies,sqlDepend);
}
}

⑶ hibernate緩存怎麼與資料庫保持同步

重新執行query

⑷ 資料庫和緩存之間怎麼維護同步關系

資料庫和緩存之間怎麼維護同步關系
無法同步,只能使B對數據進行重新load()了。無法同步,只能使B對數據進行重新load()了。

⑸ hibernate緩存如何同資料庫滯

經過研究發現hibernate分布式二級緩存存在沒有更新的情況,而一級緩存和資料庫確實更新了,暫時現階段處理方案如下:
1.事務中對象update後手動清除相關對象的二級緩存(現階段修改,正常情況下update後hibernate會自動更新相關對象的二級緩存,目前並不確定是不是update後二級緩存沒有更新,因此這裏手動清除二級緩存以便和資料庫同步)
2.後台增加清除指定表、行和集合對象的二級緩存的功能(減少直接使用sql語句更新導致資料庫和緩存不同步的狀況)
3.如果1和2處理後還出現問題,則進一步修改1,把1中對象update後手動清除二級緩存移到事務後執行,方法可使用threadlocal存儲當前線程中有更新過的對象,並在action中處理這些對象進行二級緩存清除,從而保證二級緩存和資料庫一直保持同步狀態。
4.由於問題比較復雜,僅有非常低概率出現此問題,因此最終還是需要針對緩存的日誌分析進而獲得緩存變化來確認問題發生點。
5.如果業務復雜度以及分布式系統需求更新更加頻繁,則需要考慮是否移除hibernate的二級緩存。替代方案可以控制自己業務層中做緩存,也可以使用資料庫自帶的緩存等等。

⑹ flask使用redis做緩存的話,怎麼和資料庫同步或者定期更新到資料庫

對於你的情況,如果你可以接受定期從redis導入到mysql,那基本上表示你的業務就不需要mysql,因為redis不僅僅是緩存,塞給它的數據是持久化到硬碟的,你下次直接從redis讀出來就行了。
至於緩存,一般都是讀緩存(寫緩存實現起來很羅嗦,而且也不那麼靠譜),與資料庫的同步策略需要添加到自己的代碼邏輯里。
假設你原先的代碼邏輯是這樣:
$data = get_from_db($condition);

現在需要將get_from_db改成這樣
function get_from_db($condition)
{
$data = get_from_cache($condition);
if (!$data)
{
$data = get_from_db_directly($condition);
set_to_cache($condition, $data);
}
return $data;
}

⑺ redis如何與資料庫數據同步

資料庫同步到Redis

我們大多傾向於使用這種方式,也就是將資料庫中的變化同步到Redis,這種更加可靠。Redis在這里只是做緩存。

方案1 (推薦學習:Redis視頻教程)

做緩存,就要遵循緩存的語義規定:

讀:讀緩存redis,沒有,讀mysql,並將mysql的值寫入到redis。

寫:寫mysql,成功後,更新或者失效掉緩存redis中的值。

對於一致性要求高的,從資料庫中讀,比如金融,交易等數據。其他的從Redis讀。

這種方案的好處是由mysql,常規的關系型資料庫來保證持久化,一致性等,不容易出錯。

方案2

這里還可以基於binlog使用mysql_udf_redis,將資料庫中的數據同步到Redis。

但是很明顯的,這將整體的復雜性提高了,而且本來我們在系統代碼中能很輕易完成的功能,現在需要依賴第三方工具,而且系統的整個邊界擴大了,變得更加不穩定也不好管理了。

⑻ 請教redis如何做到和mysql資料庫的同步

二者數據同步的關鍵在於mysql資料庫中主鍵,方案是在redis啟動時區mysql讀取所有表鍵值存入redis中,往redis寫數據是,對redis主鍵自增並進行讀取,若mysql更新失敗,則需要及時清除緩存及同步redis主鍵。
參考代碼如下:
String tbname = "login";

//獲取mysql表主鍵值--redis啟動時
long id = MySQL.getID(tbname);
//設置redis主鍵值--redis啟動時
redisService.set(tbname, String.valueOf(id));

System.out.println(id);
long l = redisService.incr(tbname);
System.out.println(l);
Login login = new Login();
login.setId(l);
login.setName("redis");
redisService.hmset(String.valueOf(login.getId()), login);

boolean b = MySQL.insert("insert into login(id,name) values(" + login.getId()
+ ",'" + login.getName() + "')");
/**
*
* 隊列處理器更新mysql失敗:
*
* 清除緩存數據,同時主鍵值自減
*/
if (!b)
{
redisService.delKeyAndDecr
(tbname, "Login:"+String.valueOf(login.getId()));
// redisService.delete("Login:"+String.valueOf(login.getId()));
//redisService.decr(tbname);
}
System.out.println(redisService.exists("Login:"+String.valueOf(login.getId())));
System.out.println(redisService.get(tbname));

⑼ php redis做mysql的緩存,怎麼非同步redis同步到mysql資料庫

對於變化頻率非常快的數據來說,如果還選擇傳統的靜態緩存方式(Memocached、File System等)展示數據,可能在緩存的存取上會有很大的開銷,並不能很好的滿足需要,而Redis這樣基於內存的NoSQL資料庫,就非常適合擔任實時數據的容器。

但是往往又有數據可靠性的需求,採用MySQL作為數據存儲,不會因為內存問題而引起數據丟失,同時也可以利用關系資料庫的特性實現很多功能。

所以就會很自然的想到是否可以採用MySQL作為數據存儲引擎,Redis則作為Cache。而這種需求目前還沒有看到有特別成熟的解決方案或工具,因此採用Gearman+PHP+MySQL UDF的組合非同步實現MySQL到Redis的數據復制。

MySQL到Redis數據復制方案

無論MySQL還是Redis,自身都帶有數據同步的機制,比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來實現的,這樣的數據復制其實還是一個非同步過程,只不過當伺服器都在同一內網時,非同步的延遲幾乎可以忽略。

那麼理論上也可以用同樣方式,分析MySQL的binlog文件並將數據插入Redis。但是這需要對binlog文件以及MySQL有非常深入的理解,同時由於binlog存在Statement/Row/Mixedlevel多種形式,分析binlog實現同步的工作量是非常大的。

因此這里選擇了一種開發成本更加低廉的方式,借用已經比較成熟的MySQL UDF,將MySQL數據首先放入Gearman中,然後通過一個自己編寫的PHP Gearman Worker,將數據同步到Redis。比分析binlog的方式增加了不少流程,但是實現成本更低,更容易操作。

Gearman的安裝與使用

Gearman是一個支持分布式的任務分發框架。設計簡潔,獲得了非常廣泛的支持。一個典型的Gearman應用包括以下這些部分:

Gearman Job Server:Gearman核心程序,需要編譯安裝並以守護進程形式運行在後台

Gearman Client:可以理解為任務的收件員,比如在後台執行一個發送郵件的任務,可以在程序中調用一個Gearman Client並傳入郵件的信息,然後就可以將執行結果立即展示給用戶,而任務本身會慢慢在後台運行。

Gearman Worker:任務的真正執行者,一般需要自己編寫具體邏輯並通過守護進程方式運行,Gearman Worker接收到Gearman Client傳遞的任務內容後,會按順序處理。

以前曾經介紹過類似的後台任務處理項目Resque。兩者的設計其實非常接近,簡單可以類比為:

Gearman Job Server:對應Resque的Redis部分

Gearman Client:對應Resque的Queue操作

Gearman Worker:對應Resque的Worker和Job

這里之所以選擇Gearman而不是Resque是因為Gearman提供了比較好用的MySQL UDF,工作量更小。

安裝Gearman及PHP Gearman擴展

以下均以Ubuntu12.04為例。

apt-get install gearman gearman-server libgearman-dev

檢查Gearman的運行狀況:

/etc/init.d/gearman-job-server status

* gearmand is running

說明Gearman已經安裝成功。

PHP的Gearman擴展可以通過pecl直接安裝

pecl install gearman

echo "extension=gearman.so">/etc/php5/conf.d/gearman.ini

service php5-fpm restart

但是實測發現ubuntu默認安裝的gearman版本過低,直接運行pecl install gearman會報錯

configure: error: libgearman version 1.1.0or later required

因此Gearman + PHP擴展建議通過編譯方式安裝,這里為了簡單說明,選擇安裝舊版本擴展:

pecl install gearman-1.0.3

Gearman + PHP實例

為了更容易理解後文Gearman的運行流程,這里不妨從一個最簡單的Gearman實例來說明,比如要進行一個文件處理的操作,首先編寫一個Gearman Client並命名為client.php:

<?php

$client =newGearmanClient();

$client->addServer();

$client->doBackground('writeLog','Log content');

echo '文件已經在後台操作';

運行這個文件,相當於模擬用戶請求一個Web頁面後,將處理結束的信息返回用戶:

php client.php

查看一下Gearman的狀況:

(echo status ; sleep 0.1)| netcat127.0.0.14730

可以看到輸出為

writeLog 100.

說明已經在Gearman中建立了一個名為writeLog的任務,並且有1個任務在隊列等待中。

而上面的4列分別代表當前的Gearman的運行狀態:

任務名稱

在等待隊列中的任務

正在運行的任務

正在運行的Worker進程

可以使用watch進行實時監控:

watch -n 1"(echo status; sleep 0.1) | nc 127.0.0.1 4730"

然後我們需要編寫一個Gearman Worker命名為worker.php:

<?php

$worker =newGearmanWorker();

$worker->addServer();

$worker->addFunction('writeLog','writeLog');while($worker->work());function writeLog($job){

$log = $job->workload();file_put_contents(__DIR__ .'/gearman.log', $log ." ", FILE_APPEND | LOCK_EX);}

Worker使用一個while死循環實現守護進程,運行

php worker.php

可以看到Gearman狀態變為:

writeLog 001

同時查看同目錄下gearman.log,內容應為從Client傳入的值Log content。

通過MySQL UDF + Trigger同步數據到Gearman

MySQL要實現與外部程序互通的最好方式還是通過MySQL UDF(MySQL user defined functions)來實現。為了讓MySQL能將數據傳入Gearman,這里使用了lib_mysqludf_json和gearman-mysql-udf的組合。

安裝lib_mysqludf_json

使用lib_mysqludf_json的原因是因為Gearman只接受字元串作為入口參數,可以通過lib_mysqludf_json將MySQL中的數據編碼為JSON字元串

apt-get install libmysqlclient-dev

wget https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip

unzip master.zip

cd lib_mysqludf_json-master/

rm lib_mysqludf_json.so

gcc $(mysql_config --cflags)-shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

可以看到重新編譯生成了 lib_mysqludf_json.so 文件,此時需要查看MySQL的插件安裝路徑:

mysql -u root -pPASSWORD --execute="show variables like '%plugin%';"+---------------+------------------------+|Variable_name|Value|+---------------+------------------------+| plugin_dir |/usr/lib/mysql/plugin/|+---------------+------------------------+

然後將 lib_mysqludf_json.so 文件復制到對應位置:

cp lib_mysqludf_json.so /usr/lib/mysql/plugin/

最後登入MySQL運行語句注冊UDF函數:

CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';

安裝gearman-mysql-udf

方法幾乎一樣:

apt-get install libgearman-dev

wget https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz

tar -xzf gearman-mysql-udf-0.6.tar.gz

cd gearman-mysql-udf-0.6./configure --with-mysql=/usr/bin/mysql_config

-libdir=/usr/lib/mysql/plugin/

make && make install

登入MySQL運行語句注冊UDF函數:

CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';

CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';

最後指定Gearman伺服器的信息:

SELECT gman_servers_set('127.0.0.1:4730');

通過MySQL觸發器實現數據同步

最終同步哪些數據,同步的條件,還是需要根據實際情況決定,比如將數據表data的數據在每次更新時同步,那麼編寫Trigger如下:

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON data

FOR EACH ROW BEGIN

SET @ret=gman_do_background('syncToRedis', json_object(NEW.id as`id`, NEW.volume as`volume`));END$$

DELIMITER ;

嘗試在資料庫中更新一條數據查看Gearman是否生效。

Gearman PHP Worker將MySQL數據非同步復制到Redis

Redis作為時下當熱的NoSQL緩存解決方案無需過多介紹,其安裝及使用也非常簡單:

apt-get install redis-server

pecl install redis

echo "extension=redis.so">/etc/php5/conf.d/redis.ini

然後編寫一個Gearman Worker:redis_worker.php

#!/usr/bin/env php<?

$worker =newGearmanWorker();

$worker->addServer();

$worker->addFunction('syncToRedis','syncToRedis');

$redis =newRedis();

$redis->connect('127.0.0.1',6379);while($worker->work());function syncToRedis($job){global $redis;

$workString = $job->workload();

$work = json_decode($workString);if(!isset($work->id)){returnfalse;}

$redis->set($work->id, $workString);}

最後需要將Worker在後台運行:

nohup php redis_worker.php &

通過這種方式將MySQL數據復制到Redis,經測試單Worker基本可以瞬時完成。

⑽ 如何保證緩存與資料庫雙寫時的數據一致性

一般來說,就是如果系統不是嚴格要求緩存+資料庫必須一致性的話,緩存可以稍微的跟資料庫偶爾有不一致的情況,最好不要做這個方案,讀請求和寫請求串列化,串到一個內存隊列里去,這樣就可以保證一定不會出現不一致的情況
串列化之後,就會導致系統的吞吐量會大幅度的降低,用比正常情況下多幾倍的機器去支撐線上的一個請求。