當前位置:首頁 » 硬碟大全 » 社區分頁緩存數據
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

社區分頁緩存數據

發布時間: 2022-05-19 08:32:19

A. 怎麼用memcache緩存搜索分頁資料庫

void CMultiThread7Dlg::OnSum()
{
m_pCalculateThread=
(CCalculateThread*)AfxBeginThread(RUNTIME_CLASS(CCalculateThread));

Sleep(500);

m_pCalculateThread->PostThreadMessage(WM_CALCULATE,nAddend,NULL);
}

B. php 分頁查詢怎麼redis緩存

對於有分頁條件的緩存,我們也可以按照不同的分頁條件來緩存多個key,比如分頁查詢產品列表,page=1&limit=10和page=1&limit=5這兩次請求可以這樣緩存查詢結果

proctList:page:1:limit:10

proctList:page:1:limit:5
這個是一種常見方案,但是存在著一些問題:

緩存的value存在冗餘,proctList:page:1:limit:10緩存的內容其實是包括了proctList:page:1:limit:5中的內容(緩存兩個key的時候,數據未發生變化的情況下)

僅僅是改變了查詢條件的分頁條件,就會導致緩存未命中,降低了緩存的命中率

為了保證數據一致性,需要清理緩存的時候,很難處理,redis的keys命令對性能影響很大,會導致redis很大的延遲,生產環境一般來說禁止該命令。自己手動拼緩存key,你可能根本不知道拼到哪一個page為止。

放棄數據一致性,通過設置失效時間來自動失效,可能會出現查詢第一頁命中了緩存,查詢第二頁的時候未命中緩存,但此時數據已經發生了改變,導致第二頁查詢返回的和第一頁相同的結果。
以上,在分頁條件下這樣使用常規方案總感覺有諸多困擾,諸多麻煩,那是不是就應該放棄使用緩存?
基於SortedSet的分頁查詢緩存方案
首先想到的解決方法是使用@see ListOperations<K, V>不再根據分頁條件使用多個key,而是使用一個key,也不分頁將全部的數據緩存到redis中,然後按照分頁條件使用range(key,start,limit)獲取分頁的結果,這個會導致一個問題,當緩存失效時,並發的寫緩存會導致出現重復數據
所以想到通過使用set來處理並發時的重復數據,@see ZSetOperations<K, V>
代碼邏輯如下:

range(key,start,limit)按照分頁條件獲取緩存,命中則直接返回

緩存未命中,查詢(沒有分頁條件)資料庫或是調用(沒有分頁)底層介面

add(key,valueScoreMap<value,score>)寫入緩存,expire設置緩存時間

當需要清理緩存時,直接刪除key,如果是因為數據新增和刪除,可以add(key,value,score)或remove(key,value)

redis中會按照score分值升序排列map中的數據,一般的,score分值是sql語句的order by filedA的filedA的值,這樣能保證數據一致性
但是這種方式也存在一定問題:

這個key緩存的value確實是熱數據,但可能只有少數數據被頻繁使用其餘的可能根本就未被使用,比如數據有100頁,實際可能只會用到前10頁,這也會導致緩存空間的浪費,如果使用了redis虛擬內存,也會有一定影響

sql查詢由原來的分頁查詢變成了不分頁查詢,緩存失效後,系統的處理能力較之前會有下降,尤其是對於大表.

C. ehcache怎麼實現從緩存中分頁取數據

ehcache初始化單個cache的時候會創建diskstore,diskstore的目錄位置可以自己去設置,在Cache構造函數中可以指定;這樣Cache的initialise方法會自動讀取diskstore目錄下對應的緩存的data和index文件然後載入到系統中,通過cache的get方法就能讀...

D. asp分頁設計中,查詢結果緩存如何設計

對於WEB地理信息系統來說,一個需要特別強調的是系統的響應速度,有許多方法來提高系統的速度,我們今天要提到的是利用緩存來提高系統的速度。例如在執行查詢時,如果前後多次所查詢的得到結果都相同,我們可以將第一次查詢的結果放到內存中緩存中去,第二或第二次調用時,我們可以直接返回緩存的信息,節省了從地圖伺服器中查詢的時間,從而提高了響應的效率。ASP.NET提供了強大的、便於使用的緩存機制,用於將需要大量伺服器資源來創建的對象存儲在內存中。緩存這些類型的資源會大大改進應用程序的性能。緩存是由Cache類實現的,緩存程序是每個應用程序專用的。緩存生存期依賴於應用程序的生存期,重新啟動應用程序後,將重新創建Cache對象。設計Cache類是為了便於使用。可以將項放置在Cache中,並在以後使用簡單的鍵/值對來檢索這些項。Cache類提供了強大的功能,允許自定義如何緩存項以及將他們緩存多長時間。例如,當缺乏系統內存時,緩存會自動移除很少使用的或優先順序較低的項以釋放內存。該技術也成為清理,這是緩存確保過期數據不使用寶貴的伺服器資源的方式之一。當執行清理時,可以只是Cache給予某些項比其他項更高的優先順序。若要指示項的重要性,可以在使用Add或Insert方法添加項時,指定一個CacheItemPritory枚舉值。當使用Add或Insert方法將項添加到緩存時,您還可以建立項的過期策略。可以通過使用DateTime值指定項的確切過期時間(絕對過期時間),來定義項的生存期。也可以使用TimeSpan值指定一個彈性過期時間,彈性過期時間允許根據項的上次訪問時間來指定該項過期之前的運行時間。一旦項過期,便將它從緩存中移除。試圖檢索它的值的行為將返回null,除非該項被重新添加到緩存中。此為,ASP.NET允許根據外部文件、目錄(文件依賴項)或另一個緩存項(鍵依賴項)來定義緩存項的有效性。如果具有關聯依賴項的項發生更改,緩存項便會失效並從緩存中移除。可以使用該技術在項的數據源更改時從緩存中移除這些項。以下例子代碼如何在查詢時利用ASP.NET提供的緩存機制。首先在GetCallbackResult 方法的最前面加入如下代碼,判斷是否存在某一緩存,如果存在(第二次調用相同的操作),則直接將緩存結果返回,如果不存在(首次調用),則不影響程序的執行:// 判斷是否有相應的緩存信息 string cachedResponse = Cache[callbackArg] as string; if (cachedResponse != null) { return cachedResponse; }然後在GetCallbackResult方法返回response字元串之前,加入如下代碼,用於將查詢結果保存到緩存中:TimeSpan cacheDuration = new TimeSpan(0, 0, 999999); Cache.Add(callbackArg, response, null, DateTime.Now.Add(cacheDuration), System.Web.Caching.Cache.NoSlidingExpiration, System.Web.Caching.CacheItemPriority.NotRemovable, null);上述代碼通過Cache的Add方法將查詢結果緩存起來。該方法的第一個參數是用於引用該項的緩存鍵;第二個參數是要添加到緩存的項;第三個參數表示文件依賴項或緩存鍵依賴項,當任何依賴項更改時,該對象即無效,並從緩存中移除。如果沒有依賴項,則此參數為空引用;第四個參數是所添加對象將過期並從緩存中移除的時間。如果使用可調過期,則該參數必須為NoAbsoluteExpiration;第五個參數表示最後一次訪問所添加對象時與該對象過期時之間的時間間隔。如果該值等效於20分鍾,則該對象在最後一次被訪問20分鍾之後將過期並從緩存中移除。若果使用絕對過期,則該參數必須為NoSlidingExpiration;第六個參數是對象的相對的優先順序,由CacheItemPriority枚舉表示。緩存在退出對象時使用該值;具有較低優先順序的對象在具有較高優先順序的對象之前被從緩存移除;最後一個參數表示從緩存中移除對象時所調用的委託(如果提供)。當從緩存中刪除應用程序的對象時,可使用它來通知應用程序。

E. 緩存分頁 和 查詢分頁哪個更好

查詢分頁么就是每次點下一頁就要查一次資料庫,緩存分頁么就是第一次就把所有數據拿進緩存,優點和缺點都很明顯吧。。。。

F. 如何將分頁數據 放入redis

普通分頁
一般分頁做緩存都是直接查找出來,按頁放到緩存里,但是這種緩存方式有很多缺點。
如緩存不能及時更新,一旦數據有變化,所有的之前的分頁緩存都失效了。
比如像微博這樣的場景,微博下面現在有一個頂次數的排序。這個用傳統的分頁方式很難應對。
一種思路
最近想到了另一種思路。
數據以ID為key緩存到Redis里;
把數據ID和排序打分存到Redis的skip list,即zset里;
當查找數據時,先從Redis里的skip list取出對應的分頁數據,得到ID列表。
用multi get從redis上一次性把ID列表裡的所有數據都取出來。如果有缺少某些ID的數據,再從資料庫里查找,再一塊返回給用戶,並把查出來的數據按ID緩存到Redis里。
在最後一步,可以有一些小技巧:
比如在缺少一些ID數據的情況下,先直接返回給用戶,然後前端再用ajax請求缺少的ID的數據,再動態刷新。

還有一些可能用Lua腳本合並操作的優化,不過考慮到Lua腳本比較慢,可能要仔細測試。
如果是利用Lua腳本的話,可以在一個請求里完成下面的操作:
查找某頁的所有文章,返回已緩存的文章的ID及內容,還有不在緩存里的文章的ID列表。
其它的一些東東:
Lua是支持LRU模式的,即像Memcached一樣工作。但是貌似沒有見到有人這樣用,很是奇怪。
可能是用redis早就准備好把redis做存儲了,也不擔心內存的容量問題。

G. 關於datalist分頁緩存

分頁的一個目的就是每次載入一部分數據,你一下在把數據都讀到內存中分頁的優勢不久沒有了嗎,如果數據量小當然可以或許放在緩存中比每次查詢還要快,但數據量要大你的伺服器就承受不住了

H. thinkphp框架,數據動態緩存後,讀取緩存數據時分頁怎麼辦

不確定正確性,但是確實可行,讀取緩存後賦值到數組,通過array_slice函數處理,如:
$blog = S('blogname'); //賦值
$count = count($blog); //條數統計
$page = new Page($count,12); //實例化page類
$this -> Blog = array_slice($blog,$page->firstRow,$page->listRows); //分配到模板
$this -> page = $page -> show();
$this -> display();

I. 緩存分頁合適嗎

一種是使用本地緩存、另一種是分級緩存。這里談一談原設計的缺陷,分級緩存中我提出來通過確定兩個不同size的緩存塊來緩存兩種級別的數據,這里帶來一些問題:size的大小難以確定、為了避免邊界問題大緩存數據包含了小緩存數據這就帶來了緩存數據的冗餘(這背離了我們設計的初衷)。針對這些問題我們又在原有基礎上結合了應用場景的特殊性修改分級緩存為分頁緩存(因為對數據列表的訪問往往都是伴隨分頁需求的),將資料庫中原始數據中較常使用部分按照固定大小的頁進行緩存,服務端根據客戶端分頁的數據請求到相應的緩存頁內查找數據進行填充。採用分頁緩存一方面解決了緩存數據冗餘的問題,也不用關注分級的邊界,雖然相比分級緩存,分頁的內容要零散一些,但是總體上而言靈活性要更高。這里談談為什麼採用固定大小頁進行緩存而不是按照客戶端分頁請求來緩存結果?如果服務端根據客戶端分頁請求進行緩存這種耦合關系會導致緩存命中率的下、降性能降低,特別是多類型客戶端就更糟糕了。按照固定大小頁進行緩存類似與MVC模式中將處理邏輯與顯示邏輯解耦的思想,服務端的緩存不要依賴客戶端,一方面提高了緩存命中率同時也為緩存清理提供了遍歷。 下面是我使用IL動態生成的一個Demo反編譯後的代碼(這里針對了同時啟用本地緩存和分頁緩存的情況,還支持分頁緩存無本地緩存、僅進行memcache緩存,這里就不加贅述了),可讀性不高不想看直接pass吧。 C#代碼 public override ListObject GetList(int num5, int num6, int num1, int num4) { ListObject local; int num = num1; int num2 = num4; int num3 = ((num1 - 1) * num4) % 100; num1 = (((num1 - 1) * num4) / 100) + 1;//計算緩存頁對應的頁碼和頁大小 num4 = 100; if (num1 > 10)//不在緩存頁內直接進行資料庫查詢 { return base.GetList(num5, num6, num, num2); } ListObject obj3 = new ListObject(); do { string str = string.Concat(new object[] { "DemoCachekeyName", "|", num5, "|", num6, "|", num1, "|", num4 });//根據客戶端分頁請求計算出對應的cachekey local = CacheManager.get_Instance().GetLocal(str) as ListObject;//LocalCache的訪問 if (local == null) { DateTime time; local = CacheManager.get_Instance().Get(str) as ListObject;//訪問memcache if (local == null) { local = base.GetList(num5, num6, num1, num4); if (local != null) { time = DateTime.Now.AddSeconds(3600.0); CacheManager.get_Instance().Set(str, local, time); } } if (local != null) { time = DateTime.Now.AddSeconds(100.0); CacheManager.get_Instance().SetLocal(str, local, time); } } num1++; } while (((num1 (obj3, num2, num3, local));//填充結果集 if (obj3.totalCount == 0) { return null; } return obj3; } public override ListObject GetList(int num5, int num6, int num1, int num4){ ListObject local; int num = num1; int num2 = num4; int num3 = ((num1 - 1) * num4) % 100; num1 = (((num1 - 1) * num4) / 100) + 1;//計算緩存頁對應的頁碼和頁大小 num4 = 100; if (num1 > 10)//不在緩存頁內直接進行資料庫查詢 { return base.GetList(num5, num6, num, num2); } ListObject obj3 = new ListObject(); do { string str = string.Concat(new object[] { "DemoCachekeyName", "|", num5, "|", num6, "|", num1, "|", num4 });//根據客戶端分頁請求計算出對應的cachekey local = CacheManager.get_Instance().GetLocal(str) as ListObject;//LocalCache的訪問 if (local == null) { DateTime time; local = CacheManager.get_Instance().Get(str) as ListObject;//訪問memcache if (local == null) { local = base.GetList(num5, num6, num1, num4); if (local != null) { time = DateTime.Now.AddSeconds(3600.0); CacheManager.get_Instance().Set(str, local, time); } } if (local != null) { time = DateTime.Now.AddSeconds(100.0); CacheManager.get_Instance().SetLocal(str, local, time); } } num1++; } while (((num1 (obj3, num2, num3, local));//填充結果集 if (obj3.totalCount == 0) { return null; } return obj3;}(下次再完善這里的IL代碼的流程圖,一直想在緩存結果中再織入進一些過濾操作思前想後沒想到如何在不污染原有介面的前提下實現,正在努力中...) PS:關於IL代碼編寫:IL代碼因為是一種中間代碼可讀性不是很高,所以進行IL編碼其實還是有一點難度的(學習IL編碼可以參看《IL Emit學習之旅》一問)。我簡單談談我在編寫IL代碼中遇到的一些小問題和自己總結的一些技巧。 1.先編寫c#代碼的demo,再參照其IL指令,先完成代碼框架,在進一步編碼。在IL編碼前可以先寫一個目標生成的動態代碼,再通過參照其IL代碼進編碼,先用IL寫出的主體邏輯(即if else、for、while等),再進一步完善。這樣逐步編碼查錯和編碼效率都相對高一點。 2.什麼時候用「_S」,IL代碼中為了縮減指令長度對於某些同一操作提供了兩種指令實現,比如無條件跳轉有Br、Br_S,有時候使用Br_S跳轉目標地址會被截斷導致程序出錯。我個人覺得可以先在可能出現這類情況的地方使用不帶「_S」的指令,待動態代碼生成後查看其IL代碼,再對指令進行優化。 關於泛型函數的反射: IL代碼中常常需要調用函數,這就需要使用到反射(第一次生成動態代碼時的反射對整體的性能影響還是可以接受的)。泛型函數的反射還是稍稍有些繞的: C#代碼 //目標函數public static bool FillResult(...) MethodInfo fillResult= typeof(PageFormatUtil).GetMethod("FillResult"); fillResult=fillResult.MakeGenericMethod(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);//info.ReturnParameter.ParameterType.GetGenericArguments()獲取函數返回結果中泛型參數的信息,MakeGenericMethod之後才是真正完成了泛型函數的反射 //目標函數public static bool FillResult(...)MethodInfo fillResult= typeof(PageFormatUtil).GetMethod("FillResult");fillResult=fillResult.MakeGenericMethod(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);//info.ReturnParameter.ParameterType.GetGenericArguments()獲取函數返回結果中泛型參數的信息,MakeGenericMethod之後才是真正完成了泛型函數的反射C#代碼 //public class ListObject{...} reflectType=typeof(ListObject).MakeGenericType(info.ReturnParameter.ParameterType.GetGenericArguments()[0]); reflectConstruct=reflectType.GetConstructor(new Type[]{}); //public class ListObject{...}reflectType=typeof(ListObject).MakeGenericType(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);reflectConstruct=reflectType.GetConstructor(new Type[]{});緩存分頁合適嗎

J. redis 怎麼緩存用戶列表,做到可以分頁展示

redis是類似key_value形式的快速緩存服務。類型較豐富,可以保存對象、列表等,支持的操作也很豐富,屬於內存資料庫,且可以把內存中的數據及時或定時的寫入到磁碟。可設置過期自動刪除,速度快,易於使用。