『壹』 緩存分頁合適嗎
一種是使用本地緩存、另一種是分級緩存。這里談一談原設計的缺陷，分級緩存中我提出來通過確定兩個不同size的緩存塊來緩存兩種級別的數據，這里帶來一些問題：size的大小難以確定、為了避免邊界問題大緩存數據包含了小緩存數據這就帶來了緩存數據的冗餘（這背離了我們設計的初衷）。針對這些問題我們又在原有基礎上結合了應用場景的特殊性修改分級緩存為分頁緩存（因為對數據列表的訪問往往都是伴隨分頁需求的），將資料庫中原始數據中較常使用部分按照固定大小的頁進行緩存，服務端根據客戶端分頁的數據請求到相應的緩存頁內查找數據進行填充。採用分頁緩存一方面解決了緩存數據冗餘的問題，也不用關注分級的邊界，雖然相比分級緩存，分頁的內容要零散一些，但是總體上而言靈活性要更高。這里談談為什麼採用固定大小頁進行緩存而不是按照客戶端分頁請求來緩存結果？如果服務端根據客戶端分頁請求進行緩存這種耦合關系會導致緩存命中率的下、降性能降低，特別是多類型客戶端就更糟糕了。按照固定大小頁進行緩存類似與MVC模式中將處理邏輯與顯示邏輯解耦的思想，服務端的緩存不要依賴客戶端，一方面提高了緩存命中率同時也為緩存清理提供了遍歷。 下面是我使用IL動態生成的一個Demo反編譯後的代碼（這里針對了同時啟用本地緩存和分頁緩存的情況，還支持分頁緩存無本地緩存、僅進行memcache緩存，這里就不加贅述了），可讀性不高不想看直接pass吧。 C#代碼 public override ListObject GetList(int num5, int num6, int num1, int num4) { ListObject local; int num = num1; int num2 = num4; int num3 = ((num1 - 1) * num4) % 100; num1 = (((num1 - 1) * num4) / 100) + 1;//計算緩存頁對應的頁碼和頁大小 num4 = 100; if (num1 > 10)//不在緩存頁內直接進行資料庫查詢 { return base.GetList(num5, num6, num, num2); } ListObject obj3 = new ListObject(); do { string str = string.Concat(new object[] { "DemoCachekeyName", "|", num5, "|", num6, "|", num1, "|", num4 });//根據客戶端分頁請求計算出對應的cachekey local = CacheManager.get_Instance().GetLocal(str) as ListObject;//LocalCache的訪問 if (local == null) { DateTime time; local = CacheManager.get_Instance().Get(str) as ListObject;//訪問memcache if (local == null) { local = base.GetList(num5, num6, num1, num4); if (local != null) { time = DateTime.Now.AddSeconds(3600.0); CacheManager.get_Instance().Set(str, local, time); } } if (local != null) { time = DateTime.Now.AddSeconds(100.0); CacheManager.get_Instance().SetLocal(str, local, time); } } num1++; } while (((num1 (obj3, num2, num3, local));//填充結果集 if (obj3.totalCount == 0) { return null; } return obj3; } public override ListObject GetList(int num5, int num6, int num1, int num4){ ListObject local; int num = num1; int num2 = num4; int num3 = ((num1 - 1) * num4) % 100; num1 = (((num1 - 1) * num4) / 100) + 1;//計算緩存頁對應的頁碼和頁大小 num4 = 100; if (num1 > 10)//不在緩存頁內直接進行資料庫查詢 { return base.GetList(num5, num6, num, num2); } ListObject obj3 = new ListObject(); do { string str = string.Concat(new object[] { "DemoCachekeyName", "|", num5, "|", num6, "|", num1, "|", num4 });//根據客戶端分頁請求計算出對應的cachekey local = CacheManager.get_Instance().GetLocal(str) as ListObject;//LocalCache的訪問 if (local == null) { DateTime time; local = CacheManager.get_Instance().Get(str) as ListObject;//訪問memcache if (local == null) { local = base.GetList(num5, num6, num1, num4); if (local != null) { time = DateTime.Now.AddSeconds(3600.0); CacheManager.get_Instance().Set(str, local, time); } } if (local != null) { time = DateTime.Now.AddSeconds(100.0); CacheManager.get_Instance().SetLocal(str, local, time); } } num1++; } while (((num1 (obj3, num2, num3, local));//填充結果集 if (obj3.totalCount == 0) { return null; } return obj3;}（下次再完善這里的IL代碼的流程圖，一直想在緩存結果中再織入進一些過濾操作思前想後沒想到如何在不污染原有介面的前提下實現，正在努力中...） PS：關於IL代碼編寫：IL代碼因為是一種中間代碼可讀性不是很高，所以進行IL編碼其實還是有一點難度的（學習IL編碼可以參看《IL Emit學習之旅》一問）。我簡單談談我在編寫IL代碼中遇到的一些小問題和自己總結的一些技巧。 1.先編寫c#代碼的demo，再參照其IL指令，先完成代碼框架，在進一步編碼。在IL編碼前可以先寫一個目標生成的動態代碼，再通過參照其IL代碼進編碼，先用IL寫出的主體邏輯（即if else、for、while等），再進一步完善。這樣逐步編碼查錯和編碼效率都相對高一點。 2.什麼時候用「_S」，IL代碼中為了縮減指令長度對於某些同一操作提供了兩種指令實現，比如無條件跳轉有Br、Br_S，有時候使用Br_S跳轉目標地址會被截斷導致程序出錯。我個人覺得可以先在可能出現這類情況的地方使用不帶「_S」的指令，待動態代碼生成後查看其IL代碼，再對指令進行優化。 關於泛型函數的反射： IL代碼中常常需要調用函數，這就需要使用到反射（第一次生成動態代碼時的反射對整體的性能影響還是可以接受的）。泛型函數的反射還是稍稍有些繞的： C#代碼 //目標函數public static bool FillResult(...) MethodInfo fillResult= typeof(PageFormatUtil).GetMethod("FillResult"); fillResult=fillResult.MakeGenericMethod(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);//info.ReturnParameter.ParameterType.GetGenericArguments()獲取函數返回結果中泛型參數的信息，MakeGenericMethod之後才是真正完成了泛型函數的反射 //目標函數public static bool FillResult(...)MethodInfo fillResult= typeof(PageFormatUtil).GetMethod("FillResult");fillResult=fillResult.MakeGenericMethod(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);//info.ReturnParameter.ParameterType.GetGenericArguments()獲取函數返回結果中泛型參數的信息，MakeGenericMethod之後才是真正完成了泛型函數的反射C#代碼 //public class ListObject{...} reflectType=typeof(ListObject).MakeGenericType(info.ReturnParameter.ParameterType.GetGenericArguments()[0]); reflectConstruct=reflectType.GetConstructor(new Type[]{}); //public class ListObject{...}reflectType=typeof(ListObject).MakeGenericType(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);reflectConstruct=reflectType.GetConstructor(new Type[]{});緩存分頁合適嗎
『貳』 分頁存儲管理的實現原理
採用分頁存儲器允許把一個作業存放到若干不相鄰的分區中，既可免去移動信息的工作，又可盡量減少主存的碎片。分頁式存儲管理的基本原理如下：
1、 頁框：物理地址分成大小相等的許多區，每個區稱為一塊；
2、址分成大小相等的區，區的大小與塊的大小相等，每個稱一個頁面。
3、 邏輯地址形式：與此對應，分頁存儲器的邏輯地址由兩部分組成，頁號和單元號。邏輯地址格式為 頁號 單元號（頁內地址） 採用分頁式存儲管理時，邏輯地址是連續的。所以，用戶在編製程序時仍只須使用順序的地址，而不必考慮如何去分頁。
4、頁表和地址轉換：如何保證程序正確執行呢？
採用的辦法是動態重定位技術，讓程序的指令執行時作地址變換，由於程序段以頁為單位，所以，我們給每個頁設立一個重定位寄存器，這些重定位寄存器的集合便稱頁表。頁表是操作系統為每個用戶作業建立的，用來記錄程序頁面和主存對應頁框的對照表，頁表中的每一欄指明了程序中的一個頁面和分得的頁框的對應關系。絕對地址=塊號*塊長+單元號 以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統. 數據塊虛擬存儲方案著重解決數據傳輸過程中的沖突和延時問題.在多交換機組成的大型Fabric結構的SAN中,由於多台主機通過多個交換機埠訪問存儲設備,延時和數據塊沖突問題非常嚴重.數據塊虛擬存儲方案利用虛擬的多埠並行技術,為多台客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛擬存儲方案以對稱式拓撲結構為表現形式. 虛擬文件系統存儲方案著重解決大規模網路中文件共享的安全機制問題.通過對不同的站點指定不同的訪問許可權,保證網路文件的安全.在實際應用中,虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式. 虛擬存儲技術,實際上是虛擬存儲技術的一個方面,特指以CPU時間和外存空間換取昂貴內存空間的操作系統中的資源轉換技術 基本思想:程序,數據,堆棧的大小可以超過內存的大小,操作系統把程序當前使用的部分保留在內存,而把其他部分保存在磁碟上,並在需要時在內存和磁碟之間動態交換,虛擬存儲器支持多道程序設計技術 目的:提高內存利用率 管理方式
A 請求式分頁存儲管理 在進程開始運行之前,不是裝入全部頁面,而是裝入一個或零個頁面,之後根據進程運行的需要,動態裝入其他頁面;當內存空間已滿,而又需要裝入新的頁面時,則根據某種演算法淘汰某個頁面,以便裝入新的頁面
B 請求式分段存儲管理 為了能實現虛擬存儲,段式邏輯地址空間中的程序段在運行時並不全部裝入內存,而是如同請求式分頁存儲管理,首先調入一個或若干個程序段運行,在運行過程中調用到哪段時,就根據該段長度在內存分配一個連續的分區給它使用.若內存中沒有足夠大的空閑分區,則考慮進行段的緊湊或將某段或某些段淘汰出去,這種存儲管理技術稱為請求式分段存儲管理
『叄』 關於datalist分頁緩存
分頁的一個目的就是每次載入一部分數據，你一下在把數據都讀到內存中分頁的優勢不久沒有了嗎，如果數據量小當然可以或許放在緩存中比每次查詢還要快，但數據量要大你的伺服器就承受不住了
『肆』 在JSP中如何實現分頁技術啊
title: JSP分頁技術實現
summary:使用工具類實現通用分頁處理
author: evan_zhao
email: [email protected]
目前比較廣泛使用的分頁方式是將查詢結果緩存在HttpSession或有狀態bean中，翻頁的時候從緩存中取出一頁數據顯示。這種方法有兩個主要的缺點：一是用戶可能看到的是過期數據；二是如果數據量非常大時第一次查詢遍歷結果集會耗費很長時間，並且緩存的數據也會佔用大量內存，效率明顯下降。
其它常見的方法還有每次翻頁都查詢一次資料庫，從ResultSet中只取出一頁數據（使用rs.last();rs.getRow()獲得總計錄條數，使用rs.absolute()定位到本頁起始記錄）。這種方式在某些資料庫(如oracle)的JDBC實現中差不多也是需要遍歷所有記錄，實驗證明在記錄數很大時速度非常慢。
至於緩存結果集ResultSet的方法則完全是一種錯誤的做法。因為ResultSet在Statement或Connection關閉時也會被關閉，如果要使ResultSet有效勢必長時間佔用資料庫連接。
因此比較好的分頁做法應該是每次翻頁的時候只從資料庫里檢索頁面大小的塊區的數據。這樣雖然每次翻頁都需要查詢資料庫，但查詢出的記錄數很少，網路傳輸數據量不大，如果使用連接池更可以略過最耗時的建立資料庫連接過程。而在資料庫端有各種成熟的優化技術用於提高查詢速度，比在應用伺服器層做緩存有效多了。
在oracle資料庫中查詢結果的行號使用偽列ROWNUM表示（從1開始）。例如select * from employee where rownum<10 返回前10條記錄。但因為rownum是在查詢之後排序之前賦值的，所以查詢employee按birthday排序的第100到120條記錄應該這么寫：
[pre] select * from (
select my_table.*, rownum as my_rownum from (
select name, birthday from employee order by birthday
) my_table where rownum <120
) where my_rownum>=100
[/pre]
mysql可以使用LIMIT子句：
select name, birthday from employee order by birthday LIMIT 99,20
DB2有rownumber()函數用於獲取當前行數。
SQL Server沒研究過，可以參考這篇文章：http://www.csdn.net/develop/article/18/18627.shtm
在Web程序中分頁會被頻繁使用，但分頁的實現細節卻是編程過程中比較麻煩的事情。大多分頁顯示的查詢操作都同時需要處理復雜的多重查詢條件，sql語句需要動態拼接組成，再加上分頁需要的記錄定位、總記錄條數查詢以及查詢結果的遍歷、封裝和顯示，程序會變得很復雜並且難以理解。因此需要一些工具類簡化分頁代碼，使程序員專注於業務邏輯部分。下面是我設計的兩個工具類：
PagedStatement 封裝了資料庫連接、總記錄數查詢、分頁查詢、結果數據封裝和關閉資料庫連接等操作，並使用了PreparedStatement支持動態設置參數。
RowSetPage 參考PetStore的page by page iterator模式， 設計RowSetPage用於封裝查詢結果（使用OracleCachedRowSet緩存查詢出的一頁數據，關於使用CachedRowSet封裝資料庫查詢結果請參考JSP頁面查詢顯示常用模式）以及當前頁碼、總記錄條數、當前記錄數等信息， 並且可以生成簡單的HTML分頁代碼。
PagedStatement 查詢的結果封裝成RowsetPage。
下面是簡單的使用示例：
//DAO查詢數據部分代碼：
…
public RowSetPage getEmployee(String gender, int pageNo) throws Exception{
String sql="select emp_id, emp_code, user_name, real_name from employee where gender =?";
//使用Oracle資料庫的分頁查詢實現,每頁顯示5條
PagedStatement pst =new PagedStatementOracleImpl(sql, pageNo, 5);
pst.setString(1, gender);
return pst.executeQuery();
}
//Servlet處理查詢請求部分代碼：
…
int pageNo;
try{
//可以通過參數pageno獲得用戶選擇的頁碼
pageNo = Integer.parseInt(request.getParameter("pageno") );
}catch(Exception ex){
//默認為第一頁
pageNo=1;
}
String gender = request.getParameter("gender" );
request.setAttribute("empPage", myBean.getEmployee(gender, pageNo) );
…
//JSP顯示部分代碼
<%@ page import = "page.RowSetPage"%>
…
<script language="javascript">
function doQuery(){
form1.actionType.value="doQuery";
form1.submit();
}
</script>
…
<form name=form1 method=get>
<input type=hidden name=actionType>
性別：
<input type=text name=gender size=1 value="<%=request.getParameter("gender")%>">
<input type=button value=" 查詢 " onclick="doQuery()">
<%
RowSetPage empPage = (RowSetPage)request.getAttribute("empPage");
if (empPage == null ) empPage = RowSetPage.EMPTY_PAGE;
%>
…
<table cellspacing="0" width="90%">
<tr> <td>ID</td> <td>代碼</td> <td>用戶名</td> <td>姓名</td> </tr>
<%
javax.sql.RowSet empRS = (javax.sql.RowSet) empPage.getRowSet();
if (empRS!=null) while (empRS.next() ) {
%>
<tr>
<td><%= empRS.getString("EMP_ID")%></td>
<td><%= empRS.getString("EMP_CODE")%></td>
<td><%= empRS.getString("USER_NAME")%></td>
<td><%= empRS.getString("REAL_NAME")%></td>
</tr>
<%
}// end while
%>
<tr>
<%
//顯示總頁數和當前頁數(pageno)以及分頁代碼。
//此處doQuery為頁面上提交查詢動作的javascript函數名， pageno為標識當前頁碼的參數名
%>
<td colspan=4><%= empPage .getHTML("doQuery", "pageno")%></td>
</tr>
</table>
</form>
效果如圖：
因為分頁顯示一般都會伴有查詢條件和查詢動作，頁面應已經有校驗查詢條件和提交查詢的javascript方法（如上面的doQuery），所以RowSetPage.getHTML()生成的分頁代碼在用戶選擇新頁碼時直接回調前面的處理提交查詢的javascript方法。注意在顯示查詢結果的時候上次的查詢條件也需要保持，如<input type=text name=gender size=1 value="<%=request.getParameter("gender")%>">。同時由於頁碼的參數名可以指定，因此也支持在同一頁面中有多個分頁區。
另一種分頁代碼實現是生成每一頁的URL，將查詢參數和頁碼作為QueryString附在URL後面。這種方法的缺陷是在查詢條件比較復雜時難以處理，並且需要指定處理查詢動作的servlet，可能不適合某些定製的查詢操作。
如果對RowSetPage.getHTML()生成的默認分頁代碼不滿意可以編寫自己的分頁處理代碼，RowSetPage提供了很多getter方法用於獲取相關信息（如當前頁碼、總頁數、 總記錄數和當前記錄數等）。
在實際應用中可以將分頁查詢和顯示做成jsp taglib， 進一步簡化JSP代碼，屏蔽Java Code。
附：分頁工具類的源代碼， 有注釋，應該很容易理解。
1.Page.java
2.RowSetPage.java(RowSetPage繼承Page)
3.PagedStatement.java
4.PagedStatementOracleImpl.java(PagedStatementOracleImpl繼承PagedStatement)
您可以任意使用這些源代碼，但必須保留author [email protected]字樣
///////////////////////////////////
//
// Page.java
// author: [email protected]
//
///////////////////////////////////
package page;
import java.util.List;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Collections;
/**
* Title: 分頁對象<br>
* Description: 用於包含數據及分頁信息的對象<br>
* Page類實現了用於顯示分頁信息的基本方法，但未指定所含數據的類型，
* 可根據需要實現以特定方式組織數據的子類，<br>
* 如RowSetPage以RowSet封裝數據，ListPage以List封裝數據<br>
* Copyright: Copyright (c) 2002 <br>
* @author [email protected] <br>
* @version 1.0
*/
public class Page implements java.io.Serializable {
public static final Page EMPTY_PAGE = new Page();
public static final int DEFAULT_PAGE_SIZE = 20;
public static final int MAX_PAGE_SIZE = 9999;
private int myPageSize = DEFAULT_PAGE_SIZE;
private int start;
private int avaCount,totalSize;
private Object data;
private int currentPageno;
private int totalPageCount;
/**
* 默認構造方法，只構造空頁
*/
protected Page(){
this.init(0,0,0,DEFAULT_PAGE_SIZE,new Object());
}
/**
* 分頁數據初始方法，由子類調用
* @param start 本頁數據在資料庫中的起始位置
* @param avaCount 本頁包含的數據條數
* @param totalSize 資料庫中總記錄條數
* @param pageSize 本頁容量
* @param data 本頁包含的數據
*/
protected void init(int start, int avaCount, int totalSize, int pageSize, Object data){
this.avaCount =avaCount;
this.myPageSize = pageSize;
this.start = start;
this.totalSize = totalSize;
this.data=data;
//System.out.println("avaCount:"+avaCount);
//System.out.println("totalSize:"+totalSize);
if (avaCount>totalSize) {
//throw new RuntimeException("記錄條數大於總條數？！");
}
this.currentPageno = (start -1)/pageSize +1;
this.totalPageCount = (totalSize + pageSize -1) / pageSize;
if (totalSize==0 && avaCount==0){
this.currentPageno = 1;
this.totalPageCount = 1;
}
//System.out.println("Start Index to Page No: " + start + "-" + currentPageno);
}
public Object getData(){
return this.data;
}
/**
* 取本頁數據容量（本頁能包含的記錄數）
* @return 本頁能包含的記錄數
*/
public int getPageSize(){
return this.myPageSize;
}
/**
* 是否有下一頁
* @return 是否有下一頁
*/
public boolean hasNextPage() {
/*
if (avaCount==0 && totalSize==0){
return false;
}
return (start + avaCount -1) < totalSize;
*/
return (this.getCurrentPageNo()<this.getTotalPageCount());
}
/**
* 是否有上一頁
* @return 是否有上一頁
*/
public boolean hasPreviousPage() {
/*
return start > 1;
*/
return (this.getCurrentPageNo()>1);
}
/**
* 獲取當前頁第一條數據在資料庫中的位置
* @return
*/
public int getStart(){
return start;
}
/**
* 獲取當前頁最後一條數據在資料庫中的位置
* @return
*/
public int getEnd(){
int end = this.getStart() + this.getSize() -1;
if (end<0) {
end = 0;
}
return end;
}
/**
* 獲取上一頁第一條數據在資料庫中的位置
* @return 記錄對應的rownum
*/
public int getStartOfPreviousPage() {
return Math.max(start-myPageSize, 1);
}
/**
* 獲取下一頁第一條數據在資料庫中的位置
* @return 記錄對應的rownum
*/
public int getStartOfNextPage() {
return start + avaCount;
}
/**
* 獲取任一頁第一條數據在資料庫中的位置，每頁條數使用默認值
* @param pageNo 頁號
* @return 記錄對應的rownum
*/
public static int getStartOfAnyPage(int pageNo){
return getStartOfAnyPage(pageNo, DEFAULT_PAGE_SIZE);
}
/**
* 獲取任一頁第一條數據在資料庫中的位置
* @param pageNo 頁號
* @param pageSize 每頁包含的記錄數
* @return 記錄對應的rownum
*/
public static int getStartOfAnyPage(int pageNo, int pageSize){
int startIndex = (pageNo-1) * pageSize + 1;
if ( startIndex < 1) startIndex = 1;
//System.out.println("Page No to Start Index: " + pageNo + "-" + startIndex);
return startIndex;
}
/**
* 取本頁包含的記錄數
* @return 本頁包含的記錄數
*/
public int getSize() {
return avaCount;
}
/**
* 取資料庫中包含的總記錄數
* @return 資料庫中包含的總記錄數
*/
public int getTotalSize() {
return this.totalSize;
}
/**
* 取當前頁碼
* @return 當前頁碼
*/
public int getCurrentPageNo(){
return this.currentPageno;
}
/**
* 取總頁碼
* @return 總頁碼
*/
public int getTotalPageCount(){
return this.totalPageCount;
}
/**
*
* @param queryJSFunctionName 實現分頁的JS腳本名字，頁碼變動時會自動回調該方法
* @param pageNoParamName 頁碼參數名稱
* @return
*/
public String getHTML(String queryJSFunctionName, String pageNoParamName){
if (getTotalPageCount()<1){
return "<input type='hidden' name='"+pageNoParamName+"' value='1' >";
}
if (queryJSFunctionName == null || queryJSFunctionName.trim().length()<1) {
queryJSFunctionName = "gotoPage";
}
if (pageNoParamName == null || pageNoParamName.trim().length()<1){
pageNoParamName = "pageno";
}
String gotoPage = "_"+queryJSFunctionName;
StringBuffer html = new StringBuffer("\n");
html.append("<script language=\"Javascript1.2\">\n")
.append("function ").append(gotoPage).append("(pageNo){ \n")
.append( " var curPage=1; \n")
.append( " try{ curPage = document.all[\"")
.append(pageNoParamName).append("\"].value; \n")
.append( " document.all[\"").append(pageNoParamName)
.append("\"].value = pageNo; \n")
.append( " ").append(queryJSFunctionName).append("(pageNo); \n")
.append( " return true; \n")
.append( " }catch(e){ \n")
// .append( " try{ \n")
// .append( " document.forms[0].submit(); \n")
// .append( " }catch(e){ \n")
.append( " alert('尚未定義查詢方法：function ")
.append(queryJSFunctionName).append("()'); \n")
.append( " document.all[\"").append(pageNoParamName)
.append("\"].value = curPage; \n")
.append( " return false; \n")
// .append( " } \n")
.append( " } \n")
.append( "}")
.append( "</script> \n")
.append( "");
html.append( "<table border=0 cellspacing=0 cellpadding=0 align=center width=80%> \n")
.append( " <tr> \n")
.append( " <td align=left><br> \n");
html.append( " 共" ).append( getTotalPageCount() ).append( "頁")
.append( " [") .append(getStart()).append("..").append(getEnd())
.append("/").append(this.getTotalSize()).append("] \n")
.append( " </td> \n")
.append( " <td align=right> \n");
if (hasPreviousPage()){
html.append( "[<a href='javascript:").append(gotoPage)
.append("(") .append(getCurrentPageNo()-1)
.append( ")'>上一頁</a>] \n");
}
html.append( " 第")
.append( " <select name='")
.append(pageNoParamName).append("' onChange='javascript:")
.append(gotoPage).append("(this.value)'>\n");
String selected = "selected";
for(int i=1;i<=getTotalPageCount();i++){
if( i == getCurrentPageNo() )
selected = "selected";
else selected = "";
html.append( " <option value='").append(i).append("' ")
.append(selected).append(">").append(i).append("</option> \n");
}
if (getCurrentPageNo()>getTotalPageCount()){
html.append( " <option value='").append(getCurrentPageNo())
.append("' selected>").append(getCurrentPageNo())
.append("</option> \n");
}
html.append( " </select>頁 \n");
if (hasNextPage()){
html.append( " [<a href='javascript:").append(gotoPage)
.append("(").append((getCurrentPageNo()+1))
.append( ")'>下一頁</a>] \n");
}
html.append( "</td></tr></table> \n");
return html.toString();
}
}
///////////////////////////////////
//
// RowSetPage.java
// author: [email protected]
//
///////////////////////////////////
package page;
import javax.sql.RowSet;
/**
* <p>Title: RowSetPage</p>
* <p>Description: 使用RowSet封裝數據的分頁對象</p>
* <p>Copyright: Copyright (c) 2003</p>
* @author [email protected]
* @version 1.0
*/
public class RowSetPage extends Page {
private javax.sql.RowSet rs;
/**
*空頁
*/
public static final RowSetPage EMPTY_PAGE = new RowSetPage();
/**
*默認構造方法，創建空頁
*/
public RowSetPage(){
this(null, 0,0);
}
/**
*構造分頁對象
*@param crs 包含一頁數據的OracleCachedRowSet
*@param start 該頁數據在資料庫中的起始位置
*@param totalSize 資料庫中包含的記錄總數
*/
public RowSetPage(RowSet crs, int start, int totalSize) {
this(crs,start,totalSize,Page.DEFAULT_PAGE_SIZE);
}
/**
*構造分頁對象
*@param crs 包含一頁數據的OracleCachedRowSet
*@param start 該頁數據在資料庫中的起始位置
*@param totalSize 資料庫中包含的記錄總數
*@pageSize 本頁能容納的記錄數
*/
public RowSetPage(RowSet crs, int start, int totalSize, int pageSize) {
try{
int avaCount=0;
if (crs!=null) {
crs.beforeFirst();
if (crs.next()){
crs.last();
avaCount = crs.getRow();
}
crs.beforeFirst();
}
rs = crs;
super.init(start,avaCount,totalSize,pageSize,rs);
}catch(java.sql.SQLException sqle){
throw new RuntimeException(sqle.toString());
}
}
/**
*取分頁對象中的記錄數據
*/
public javax.sql.RowSet getRowSet(){
return rs;
}
}
///////////////////////////////////
//
// PagedStatement.java
// author: [email protected]
//
///////////////////////////////////
package page;
import foo.DBUtil;
import java.math.BigDecimal;
import java.util.List;
import java.util.Iterator;
import java.util.Collections;
import java.sql.Connection;
import java.sql.SQLException;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.PreparedStatement;
import java.sql.Timestamp;
import javax.sql.RowSet;
/**
* <p>Title: 分頁查詢</p>
* <p>Description: 根據查詢語句和頁碼查詢出當頁數據</p>
* <p>Copyright: Copyright (c) 2002</p>
* @author [email protected]
* @version 1.0
*/
public abstract class PagedStatement {
public final static int MAX_PAGE_SIZE = Page.MAX_PAGE_SIZE;
protected String countSQL, querySQL;
protected int pageNo,pageSize,startIndex,totalCount;
protected javax.sql.RowSet rowSet;
protected RowSetPage rowSetPage;
private List boundParams;
/**
* 構造一查詢出所有數據的PageStatement
* @param sql query sql
*/
public PagedStatement(String sql){
this(sql,1,MAX_PAGE_SIZE);
}
/**
* 構造一查詢出當頁數據的PageStatement
* @param sql query sql
* @param pageNo 頁碼
*/
public PagedStatement(String sql, int pageNo){
this(sql, pageNo, Page.DEFAULT_PAGE_SIZE);
}
/**
* 構造一查詢出當頁數據的PageStatement，並指定每頁顯示記錄條數
* @param sql query sql
* @param pageNo 頁碼
* @param pageSize 每頁容量
*/
public PagedStatement(String sql, int pageNo, int pageSize){
this.pageNo = pageNo;
this.pageSize = pageSize;
this.startIndex = Page.getStartOfAnyPage(pageNo, pageSize);
this.boundParams = Collections.synchronizedList(new java.util.LinkedList());
this.countSQL = "select count(*) from ( " + sql +") ";
this.querySQL = intiQuerySQL(sql, this.startIndex, pageSize);
}
/**
*生成查詢一頁數據的sql語句
*@param sql 原查詢語句
*@startIndex 開始記錄位置
*@size 需要獲取的記錄數
*/
protected abstract String intiQuerySQL(String sql, int startIndex, int size);
/**
*使用給出的對象設置指定參數的值
*@param index 第一個參數為1，第二個為2
『伍』 redis 怎麼緩存用戶列表，做到可以分頁展示
redis是類似key_value形式的快速緩存服務。類型較豐富，可以保存對象、列表等，支持的操作也很豐富，屬於內存資料庫，且可以把內存中的數據及時或定時的寫入到磁碟。可設置過期自動刪除，速度快，易於使用。
『陸』 操作系統請求分頁存儲方式的基本原理是什麼謝謝
3．請求分頁系統(1)請求分頁對頁表的擴充
在請求分頁系統中所使用的主要數據結構仍然是頁表。它對頁式系統中的頁表機制進行了擴充但其基本作用是實現由用戶地址空間到物理內存空間的映射。由於只將應用程序的一部分裝入內存，還有一部分仍在磁碟上，故需在頁表中增加若干項，供操作系統實現虛擬存儲器功能時參考。常見的系統中，一般對頁表的表項進行如下擴充：除了頁號對應的物理塊號，還增加了狀態位、修改位、外存地址和訪問欄位等。
·狀態位，用於指示該頁是否已經調入了內存。該位一般由操作系統軟體來管理，每當操作系統把一頁調人物理內存中時，置位。相反，當操作系統把該頁從物理內存調出時，復位。CPU對內存進行引用時，根據該位判斷要訪問的頁是否在內存中，若不在內存之中，則產生缺頁中斷。
·修改位，表示該頁調入內存後是否被修改過。當CPU以寫的方式訪問頁面時，對該頁表項中的修改位置位。該位也可由操作系統軟體來修改，例如，當操作系統將修改過頁面保存在磁碟上後，可將該位復位。
·外存地址，用於指出該頁在外存上的地址，供調人該頁時使用。
·訪問宇段，用於記錄本頁在一定時間內被訪問的次數，或最近已經有多長時間未被訪問。提供給相應的置換演算法在選擇換出頁面時參考。
(2)對缺頁中斷的支持
在請求分頁系統中，CPU硬體一定要提供對缺頁中斷的支持，根據頁表項中的狀態位判斷是否產生缺頁中斷。缺頁中斷是一個比較特殊的中斷，這主要體現在如下兩點：
·在指令的執行期間產生和處理缺頁信號。通常的CPU外部中斷，是在每條指令執行完畢後檢查是否有中斷請求到達。而缺頁中斷，是在一條指令的執行期間，發現要訪問的指令和數據不在內存時產生和處理的。
·一條指令可以產生多個缺頁中斷。例如，一條雙操作數的指令，每個操作數都不在內存中，這條指令執行時，將產生兩個中斷。CPU提供的硬體支持，還要體現在當從中斷處理程序返回時，能夠正確執行產生缺頁中斷的指令。
(3)頁面調度策略
虛擬存儲器系統通常定義三種策略來規定如何(或何時)進行頁面調度：調入策略、置頁策略和置換策略。
(4)置換演算法(replacementalgorithm)決定在需要調入頁面時，選擇內存中哪個物理頁面被置換。置換演算法的出發點應該是，把未來不再使用的或短期內較少使用的頁面調出。而未來的實際情況是不確定的，通常只能在局部性原理指導下依據過去的統計數據進行預測。常用的演算法有以下幾種：
·最佳演算法(optimal，OPT)。選擇「未來不再使用的」或「在離當前最遠位置上出現的」頁面被置換。這是一種理想情況，是實際執行中無法預知的，因而不能實現，只能用作性能評價的依據。
·最近最久未使用演算法(LeastRecentlyUsed，LRU)。選擇內存中最久未使用的頁面被置換，這是局部性原理的合理近似，性能接近最佳演算法。但由於需要記錄頁面使用時間的先後關系，硬體開銷太大。LRU可用如下的硬體機構幫助實現：
一個特殊的棧：把被訪問的頁面移到棧頂，於是棧底的是最久未使用頁面。每個頁面設立移位寄存器：被訪問時左邊最高位置1，定期右移並且最高位補0，於是寄存器數值最小的是最久未使用頁面。
·先進先出演算法(FIFO)。選擇裝入最早的頁面置換。可以通過鏈表來表示各頁的裝入時間先後。FIFO的性能較差，因為較早調入的頁往往是經常被訪問的頁，這些頁在FIFO演算法下被反復調入和調出，並且有Belady現象。所謂Belady現象是指：採用FIFO演算法時，如果對—個進程未分配它所要求的全部頁面，有時就會出現分配的頁面數增多但缺頁率反而提高的異常現象。Belady現象可形式化地描述為：一個進程戶要訪問M個頁，OS分配艫個內存頁面給進程P；對一個訪問序列S，發生缺頁次數為PE(占，N)。當N增大時，PE(S，N)時而增大時而減小。Belady現象的原因是FIFO演算法的置換特徵與進程訪問內存的動態特徵是矛盾的，即被置換的頁面並不是進程不會訪問的。
·時鍾(clock)演算法。也稱最近未使用演算法(NotRecentlyUsed，NRU)，它是LRU和FIFO的折中。每頁有一個使用標志位(usebit)，若該頁被訪問則置userbit=l，這是由CPU的硬體自動完成的。置換時採用一個指針，從當前指針位置開始按地址先後檢查各頁，尋找usebit=0的面作為被置換頁。指針經過的userbit=l的頁都修改userbit=O，這個修改的過程是操作系統完成的，最後指針停留在被置換頁的下一個頁。
·最不常用演算法(LeastFrequentlyUsed，LFU)。選擇到當前時間為止被訪問次數最少的頁面被置換。每頁設置訪問計數器，每當頁面被訪問時，該頁面的訪問計數器加1。發生缺頁中斷時，淘汰計數值最小的頁面，並將所有計數清零。
·頁面緩沖演算法(pagebuffering)。它是對FIFO演算法的發展，通過建立置換頁面的緩沖，這樣就有機會找回剛被置換的頁面，從而減少系統I／0的開銷。頁面緩沖演算法用FIFO演算法選擇被置換頁，把被置換的頁面放人兩個鏈表之一。即是如果頁面未被修改，就將其歸人到空閑頁面鏈表的末尾，否則將其歸人到已修改頁面鏈表。空閑頁面和已修改頁面，仍停留在內存中一段時間，如果這些頁面被再次訪問，只需較小開銷，被訪問的頁面就可以返還作為進程的內存頁。需要調入新的物理頁面時，將新頁面內容讀人到空閑頁面鏈表的第一項所指的頁面，然後將第一項刪除。當已修改頁面達到一定數目後，再將它們一起調出到外存，然後將它們歸人空閑頁面鏈表。這樣能大大減少I／O操作的次數。
『柒』 php 分頁查詢怎麼redis緩存
對於有分頁條件的緩存，我們也可以按照不同的分頁條件來緩存多個key，比如分頁查詢產品列表,page=1&limit=10和page=1&limit=5這兩次請求可以這樣緩存查詢結果
proctList:page:1:limit:10
proctList:page:1:limit:5
這個是一種常見方案，但是存在著一些問題：
緩存的value存在冗餘，proctList:page:1:limit:10緩存的內容其實是包括了proctList:page:1:limit:5中的內容（緩存兩個key的時候，數據未發生變化的情況下）
僅僅是改變了查詢條件的分頁條件，就會導致緩存未命中，降低了緩存的命中率
為了保證數據一致性，需要清理緩存的時候，很難處理，redis的keys命令對性能影響很大，會導致redis很大的延遲，生產環境一般來說禁止該命令。自己手動拼緩存key，你可能根本不知道拼到哪一個page為止。
放棄數據一致性，通過設置失效時間來自動失效，可能會出現查詢第一頁命中了緩存，查詢第二頁的時候未命中緩存，但此時數據已經發生了改變，導致第二頁查詢返回的和第一頁相同的結果。
以上，在分頁條件下這樣使用常規方案總感覺有諸多困擾，諸多麻煩，那是不是就應該放棄使用緩存？
基於SortedSet的分頁查詢緩存方案
首先想到的解決方法是使用@see ListOperations<K, V>不再根據分頁條件使用多個key，而是使用一個key，也不分頁將全部的數據緩存到redis中，然後按照分頁條件使用range(key,start,limit)獲取分頁的結果，這個會導致一個問題，當緩存失效時，並發的寫緩存會導致出現重復數據
所以想到通過使用set來處理並發時的重復數據，@see ZSetOperations<K, V>
代碼邏輯如下：
range(key,start,limit)按照分頁條件獲取緩存，命中則直接返回
緩存未命中，查詢（沒有分頁條件）資料庫或是調用（沒有分頁）底層介面
add(key,valueScoreMap<value,score>)寫入緩存，expire設置緩存時間
當需要清理緩存時，直接刪除key，如果是因為數據新增和刪除，可以add(key,value,score)或remove(key,value)
redis中會按照score分值升序排列map中的數據，一般的，score分值是sql語句的order by filedA的filedA的值，這樣能保證數據一致性
但是這種方式也存在一定問題：
這個key緩存的value確實是熱數據，但可能只有少數數據被頻繁使用其餘的可能根本就未被使用，比如數據有100頁，實際可能只會用到前10頁，這也會導致緩存空間的浪費，如果使用了redis虛擬內存，也會有一定影響
sql查詢由原來的分頁查詢變成了不分頁查詢，緩存失效後，系統的處理能力較之前會有下降，尤其是對於大表.
『捌』 如何將分頁數據 放入redis
普通分頁
一般分頁做緩存都是直接查找出來，按頁放到緩存里，但是這種緩存方式有很多缺點。
如緩存不能及時更新，一旦數據有變化，所有的之前的分頁緩存都失效了。
比如像微博這樣的場景，微博下面現在有一個頂次數的排序。這個用傳統的分頁方式很難應對。
一種思路
最近想到了另一種思路。
數據以ID為key緩存到Redis里；
把數據ID和排序打分存到Redis的skip list，即zset里；
當查找數據時，先從Redis里的skip list取出對應的分頁數據，得到ID列表。
用multi get從redis上一次性把ID列表裡的所有數據都取出來。如果有缺少某些ID的數據，再從資料庫里查找，再一塊返回給用戶，並把查出來的數據按ID緩存到Redis里。
在最後一步，可以有一些小技巧：
比如在缺少一些ID數據的情況下，先直接返回給用戶，然後前端再用ajax請求缺少的ID的數據，再動態刷新。
還有一些可能用Lua腳本合並操作的優化，不過考慮到Lua腳本比較慢，可能要仔細測試。
如果是利用Lua腳本的話，可以在一個請求里完成下面的操作：
查找某頁的所有文章，返回已緩存的文章的ID及內容，還有不在緩存里的文章的ID列表。
其它的一些東東：
Lua是支持LRU模式的，即像Memcached一樣工作。但是貌似沒有見到有人這樣用，很是奇怪。
可能是用redis早就准備好把redis做存儲了，也不擔心內存的容量問題。
『玖』 ehcache怎麼實現從緩存中分頁取數據
ehcache初始化單個cache的時候會創建diskstore，diskstore的目錄位置可以自己去設置，在Cache構造函數中可以指定；這樣Cache的initialise方法會自動讀取diskstore目錄下對應的緩存的data和index文件然後載入到系統中，通過cache的get方法就能讀...