你的數據非常大,那你寫入內存會不會比較占資源,為什麼不用非同步刷新,讓它顯示不部分再慢慢載入
Ⅱ java如何實現一千萬條數據的計算而內存不會溢出
這跟大數據查詢優化的方法差不多,畢竟數據量在那裡,不可能單靠一種方式就能解決。
1)、硬體要求不用說了,表空間,內存等分配最大;
2)、如果大表已經做過分表最好,其次就是常用查詢用的欄位加索引(有時候效果很明顯);
3)、SQL語句方面,用exist代替in,查詢大表前小表後,過濾條件方最後,大條件方最後,
盡量用表關聯查詢減少子查詢,避免在索引上試用計算;
4)、程序方面;盡量減少在同一循環內做復雜計算,多條件計算等。
5)、採用緩存技術,避免大數據的重復查詢。
Ⅲ 使用java實現以個簡單的緩存機制
你這個分數太少了吧,程序到是有,不過給你有點可惜
CacheMgr.java
import java.util.*;
import cn.javass.framework.cache.vo.CacheConfModel;
public class CacheMgr {
private static Map cacheMap = new HashMap();
private static Map cacheConfMap = new HashMap();
private CacheMgr(){
}
private static CacheMgr cm = null;
public static CacheMgr getInstance(){
if(cm==null){
cm = new CacheMgr();
Thread t = new ClearCache();
t.start();
}
return cm;
}
/**
* 增加緩存
* @param key
* @param value
* @param ccm 緩存對象
* @return
*/
public boolean addCache(Object key,Object value,CacheConfModel ccm){
boolean flag = false;
cacheMap.put(key, value);
cacheConfMap.put(key, ccm);
System.out.println("now addcache=="+cacheMap.size());
return true;
}
/**
* 刪除緩存
* @param key
* @return
*/
public boolean removeCache(Object key){
cacheMap.remove(key);
cacheConfMap.remove(key);
System.out.println("now removeCache=="+cacheMap.size());
return true;
}
/**
* 清除緩存的類
* @author wanglj
* 繼承Thread線程類
*/
private static class ClearCache extends Thread{
public void run(){
while(true){
Set tempSet = new HashSet();
Set set = cacheConfMap.keySet();
Iterator it = set.iterator();
while(it.hasNext()){
Object key = it.next();
CacheConfModel ccm = (CacheConfModel)cacheConfMap.get(key);
//比較是否需要清除
if(!ccm.isForever()){
if((new Date().getTime()-ccm.getBeginTime())>= ccm.getDurableTime()*60*1000){
//可以清除,先記錄下來
tempSet.add(key);
}
}
}
//真正清除
Iterator tempIt = tempSet.iterator();
while(tempIt.hasNext()){
Object key = tempIt.next();
cacheMap.remove(key);
cacheConfMap.remove(key);
}
System.out.println("now thread================>"+cacheMap.size());
//休息
try {
Thread.sleep(60*1000L);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
}
CacheConfModel.java
public class CacheConfModel implements java.io.Serializable{
private long beginTime;
private boolean isForever = false;
private int rableTime;
public long getBeginTime() {
return beginTime;
}
public void setBeginTime(long beginTime) {
this.beginTime = beginTime;
}
public boolean isForever() {
return isForever;
}
public void setForever(boolean isForever) {
this.isForever = isForever;
}
public int getDurableTime() {
return rableTime;
}
public void setDurableTime(int rableTime) {
this.rableTime = rableTime;
}
}
順便說一句,緩存的管理不是靠時間久來計算的,是靠最大不活動間隔計算的,你的設計思想有問題
Ⅳ Java的緩存機制,不解
緩存也是內存,靜態map只是分配一個固定內存空間而已,後面的緩存機制還得自己去弄的
Ⅳ java緩存框架的使用步驟是怎麼樣的
用ehcache或者redis。ehcache就是本地能用,redis是分布式緩存。用法你找下看看就知道了。緩存存的就是key value。找個例子看下就知道怎麼用了
Ⅵ 請教java中怎麼緩存大量的數據,比如100w條記錄
小子,解決問題的思路首先就不對,什麼叫JAVA中……JVM虛擬內存一般只有幾百M,為何別人那麼多大型系統都能跑起來?
第一,大量的數據是不會考慮放在JVM內存中;
第二,如果需要緩存大量的dto,動態數據(又稱過程數據)一般用的是redis;如果是靜態,系統啟動時就載入的大量配置,一般考慮放ehcache。
第三,由於redis用的是物理內存,不是JVM內存,一般情況下往redis里丟千萬級別的記錄數基本不影響性能,小小100w條算什麼呢。
Ⅶ java內存或者是緩存管理怎麼實現
我不太清楚你為什麼用map來存放數據?你用什麼作為key呢?如果是我做的話我會自定義一個對象,裡面大體上有如下屬性:發言人、發言時間、發言內容等。然後用list存放這些對象,list是由順序的。如果長度到達一定值可以把最先放進去的對象清除掉或移動到其他地方。
Ⅷ java怎樣將數據保存到緩存中,之後再保存
Java中可以使用隊列來保存數據,當使用的時候,加上鎖,防止其他進程訪問,當不用的時候保存到資料庫裡面,示例如下:
packagecom.henry;
importjava.util.HashMap;
importjava.util.Map;
importjava.util.Random;
importjava.util.concurrent.locks.ReadWriteLock;
importjava.util.concurrent.locks.ReentrantReadWriteLock;
publicclassCacheDataTest{
staticMap<Integer,Object>dataMap=newHashMap<Integer,Object>();
staticReadWriteLocklock=newReentrantReadWriteLock();//創建讀寫鎖的實例
staticObjectgetData(Integerkey){
lock.readLock().lock();//讀取前先上鎖
Objectval=null;
try{
val=dataMap.get(key);
if(val==null){
//
lock.readLock().unlock();
lock.writeLock().lock();
try{
//可能已經由其他線程寫入數據
if(val==null){
//dataMap.put(key,"");//queryfromdb
val=queryDataFromDB(key);
}
}finally{
//
lock.readLock().lock();
//Unlockwrite,stillholdread
lock.writeLock().unlock();
}
}
}finally{
lock.readLock().unlock();//最後一定不要忘記釋放鎖
}
System.out.println("getdatakey="+key+">val="+val);
returnval;
}
staticObjectqueryDataFromDB(Integerkey){
Objectval=newRandom().nextInt(1000);
dataMap.put(key,val);
System.out.println("writeintodatakey="+key+">val="+val);
returnval;
}
publicstaticvoidmain(String[]args){
for(inti=0;i<10;i++){
newThread(newRunnable(){publicvoidrun(){
getData(newRandom().nextInt(5));
}}).start();
}
}
}
Ⅸ java中map可否限制key的數量
在JDK中提供了一個相當用價值的主要用於緩存的Map實現—— LinkedHashMap 。
LinkedHashMap的迭代順序就是最後訪問其條目的順序,從近期訪問最少到近期訪問最多的順序。
詳情可參考JKD中關於LinkedHashMap的API文檔。
你需要做的就是繼承LinkedHashMap 並重寫removeEldestEntry方法。
示例如下:
privatestaticfinalintMAX_ENTRIES=100;
(Map.Entry<K,V>eldest){
//當前記錄數大於設置的最大的記錄數,刪除最舊記錄(即最近訪問最少的記錄)
returnsize()>MAX_ENTRIES;
}
Ⅹ java面試問到java緩存有多少種實現方式
我知道的有兩種
緩存數據放內存里,key-value鍵值對,存取都快。redis、ehcache
放資料庫,讓資料庫的定時策略自動刪除。mongodb
還有些是直接存文件的.OSCache(不太熟悉)