當前位置:首頁 » 硬碟大全 » elasticsearch關閉系統緩存
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

elasticsearch關閉系統緩存

發布時間: 2022-05-24 11:18:04

⑴ 伺服器後台運行elasticsearch怎麼重啟

es啟動腳本是bin目錄下的elasticsearch。其中需要載入一些環境變數,諸如ES_CLASSPATH JAVA_OPTS ES_JAVA_OPTS等。推薦設置ES_HEAP_SIZE的值,來這只es進程需要的內存(經驗值為系統內存的一半以上),同時設置-p參數來指定pid文件的生成位置,在es關閉的時候會用到。
腳本內容不再贅述,java主類位於org.elasticsearch.bootstrap。主要邏輯是生成了一個InternalNode節點,並且啟動了一個keepalive線程。結點的啟動代表整個es進程啟動了。
InternalNode節點是通過NodeBuilder來生成的,節點在構造函數中通過MoleBuilder類來進行模塊的注入(是對Guice的一個封裝而已),同時生成injector實例,如下

MolesBuilder moles = new MolesBuilder();
moles.add(new Version.Mole(version));
moles.add(new CacheRecyclerMole(settings));
moles.add(new PageCacheRecyclerMole(settings));
moles.add(new BigArraysMole(settings));
moles.add(new PluginsMole(settings, pluginsService));
moles.add(new SettingsMole(settings));
moles.add(new NodeMole(this));
moles.add(new NetworkMole());
moles.add(new ScriptMole(settings));
moles.add(new EnvironmentMole(environment));
moles.add(new NodeEnvironmentMole(nodeEnvironment));
moles.add(new ClusterNameMole(settings));
moles.add(new ThreadPoolMole(settings));
moles.add(new DiscoveryMole(settings));
moles.add(new ClusterMole(settings));
moles.add(new RestMole(settings));
moles.add(new TransportMole(settings));
if (settings.getAsBoolean("http.enabled", true)) {
moles.add(new HttpServerMole(settings));
}
moles.add(new RiversMole(settings));
moles.add(new IndicesMole(settings));
moles.add(new SearchMole());
moles.add(new ActionMole(false));
moles.add(new MonitorMole(settings));
moles.add(new GatewayMole(settings));
moles.add(new NodeClientMole());
moles.add(new BulkUdpMole());
moles.add(new ShapeMole());
moles.add(new PercolatorMole());
moles.add(new ResourceWatcherMole());
moles.add(new RepositoriesMole());
moles.add(new TribeMole());
injector = moles.createInjector();

在InternalNode的start方法中,用injector對各個模塊完成啟動,各自負責各自的功能,如下:

injector.getInstance(Discovery.class).setAllocationService(injector.getInstance(AllocationService.class));

for (Class plugin : pluginsService.services()) {
injector.getInstance(plugin).start();
}

injector.getInstance(MappingUpdatedAction.class).start();
injector.getInstance(IndicesService.class).start();
injector.getInstance(IndexingMemoryController.class).start();
injector.getInstance(IndicesClusterStateService.class).start();
injector.getInstance(IndicesTTLService.class).start();
injector.getInstance(RiversManager.class).start();
injector.getInstance(SnapshotsService.class).start();
injector.getInstance(ClusterService.class).start();
injector.getInstance(RoutingService.class).start();
injector.getInstance(SearchService.class).start();
injector.getInstance(MonitorService.class).start();
injector.getInstance(RestController.class).start();
injector.getInstance(TransportService.class).start();
DiscoveryService discoService = injector.getInstance(DiscoveryService.class).start();
discoService.waitForInitialState();

// gateway should start after disco, so it can try and recovery from gateway on "start"
injector.getInstance(GatewayService.class).start();

if (settings.getAsBoolean("http.enabled", true)) {
injector.getInstance(HttpServer.class).start();
}
injector.getInstance(BulkUdpService.class).start();
injector.getInstance(ResourceWatcherService.class).start();
injector.getInstance(TribeService.class).start();

至此,es進程啟動完畢。

guice相關介紹可以參見以下鏈接:
關鍵點在於:
@inject注釋---guice會掃描inject注釋,並對方法中出現的參數實例尋找對應注冊的實例進行初始化。

⑵ elasticsearch java 怎麼設置 ignore

今天,事情終於發生了。Java6(Mustang),是2006年早些時候出來的,至今仍然應用在眾多生產環境中,現在終於走到了盡頭。已經沒有什麼理由阻止遷移到Java7(Dolphin)上了。
這也促使我想寫一篇關於在ElasticSearch上配置Java6和7的細微差異的博文。
Elasticsearch對Java虛擬機進行了預先的配置。通常情況下,因為這些配置的選擇還是很謹慎的,所以你不需要太關心,並且你能立刻使用ElasticSearch。
但是,當你監視ElasticSearch節點內存時,你可能嘗試修改一些配置。這些修改是否會改善你的處境?
這篇博文嘗試揭開Elasticsearch配置的神秘面紗,並且討論最常見的調整。最終,會給出一些推薦的配置調整。
Elasticsearch JVM 配置概覽:
這些是Elasticsearch 0.19.11版本的默認配置。
JVM參數 Elasticsearch默認值 Environment變數
-Xms 256m ES_MIN_MEM
-Xmx 1g ES_MAX_MEM
-Xms and -Xmx ES_HEAP_SIZE
-Xmn ES_HEAP_NEWSIZE
-XX:MaxDirectMemorySize ES_DIRECT_SIZE
-Xss 256k
-XX:UseParNewGC +
-XX:UseConcMarkSweepGC +
-XX: 75
-XX:UseCMSInitiatingOccupancyOnly +
-XX:UseCondCardMark (commented out)
首先你注意到的是,Elasticsearch預留了256M到1GB的堆內存。
這個設置適用於開發和演示環境。開發人員只需要簡單的解壓發行包,再執行./bin/elasticsearch -f就完成了Elasticsearch的安裝。當然這點對於開發來說非常棒,並且在很多場景下都能工作,但是當你需要更多內存來降低Elasticsearch負載的時候就不行了,你需要比2GB RAM更多的可用內存。
ES_MIN_MEM/ES_MAX_MEM是控制堆大小的配置。新的ES_HEAP_SIZE變數是一個更為便利的選擇,因為將堆的初始大小和最大值設為相同。也推薦在分配堆內存時盡可能不要用內存的碎片。內存碎片對於性能優化來說非常不利。
ES_HEAP_NEWSIZE是可選參數,它控制堆的子集大小,也就是新生代的大小。
ES_DIRECT_SIZE控制本機直接內存大小,即JVM管理NIO框架中使用的數據區域大小。本機直接內存可以被映射到虛擬地址空間上,這樣在64位的機器上更高效,因為可以規避文件系統緩沖。Elasticsearch對本機直接內存沒有限制(可能導致OOM)。
由於歷史原因Java虛擬機有多個垃圾收集器。可以通過以下的JVM參數組合啟用:
JVM parameter Garbage collector
-XX:+UseSerialGC serial collector
-XX:+UseParallelGC parallel collector
-XX:+UseParallelOldGC Parallel compacting collector
-XX:+UseConcMarkSweepGC Concurrent-Mark-Sweep (CMS) collector
-XX:+UseG1GC Garbage-First collector (G1)
UseParNewGC和UseConcMarkSweepGC組合啟用垃圾收集器的並發多線程模式。UseConcMarkSweepGC自動選擇UseParNewGC模式並禁用串列收集器(Serial collector)。在Java6中這是默認行為。
提煉了一種CMS(Concurrent-Mark-Sweep)垃圾收集設置;它將舊生代觸發垃圾收集的閥值設為75.舊生代的大小是堆大小減去新生代大小。這告訴JVM當堆內容達到75%時啟用垃圾收集。這是個估計的值,因為越小的堆可能需要越早啟動GC。
UseCondCardMark將在垃圾收集器的card table使用時,在marking之前進行額外的判斷,避免冗餘的store操作。UseCondCardMark不影響Garbage-First收集器。強烈推薦在高並發場景下配置這個參數(規避card table marking技術在高並發場景下的降低吞吐量的負面作用)。在ElasticSearch中,這個參數是被注釋掉的。
有些配置可以參考諸如Apache Cassandra項目,他們在JVM上有類似的需求。
總而言之,ElastciSearch配置上推薦:
1. 不採用自動的堆內存配置,將堆大小默認最大值設為1GB
2.調整觸發垃圾收集的閥值,比如將gc設為75%堆大小的時候觸發,這樣不會影響性能。
3.禁用Java7默認的G1收集器,前提是你的ElasticSearch跑在Java7u4以上的版本上。
JVM進程的內存結果
JVM內存由幾部分組成:
Java代碼本身:包括內部代碼、數據、介面,調試和監控代理或者位元組碼指令
非堆內存:用於載入類
棧內存:用於為每個線程存儲本地變數和操作數
堆內存:用於存放對象引用和對象本身
直接緩沖區:用於緩沖I/O數據
堆內存的大小設置非常重要,因為Java的運行依賴於合理的堆大小,並且JVM需要從操作系統那獲取有限的堆內存,用於支撐整個JVM生命周期。
如果堆太小,垃圾回收就會頻繁發生,發生OOM的幾率會很大。
如果堆太大,垃圾回收會延遲,但是一旦回收,就需要處理大量的存活堆數據。並且,操作系統的壓力也會變大,因為JVM進程需要更大的堆,產生換頁的可能性就會提高。
注意,使用CMS垃圾收集器,Java不會把內存還給操作系統,因此配置合理的堆初始值和最大值就非常重要。
非堆內存由Java應用自動分配。沒有什麼參數控制這里的大小,這是由Java應用程序代碼自己決定的。
棧內存在每個線程中分配,在Elasticsearch中,每個線程大小必須由128K增加到256K,因為Java7比Java6需要更大的棧內存 ,這是由於Java7支持新的編程語言特徵來利用棧空間。比如,引入了continuations模型,編程語言的一個著名概念。Continuations模型對於
協同程序、綠色線程(green thread)、纖程(fiber)非常有用 。當實現非阻塞I/O時,一個大的優勢是,代碼可以根據線程實際使用情況編寫,但是運行時仍然在後台採用非阻塞I/O。Elasticsearch使用了多個線程池,因為Netty I/O框架和Guava是Elasticsearch的基礎組件,因此在用Java7時,可以考慮進一步挖掘優化線程的特性。
發揮增加棧空間大小的優勢還是有挑戰的,因為不同的操作系統、不同的CPU架構,甚至在不同的JVM版本之間,棧空間的消耗不是容易比較的。取決於CPU架構和操作系統,JVM的棧空間大小是內建的。他們是否在所有場景下都適合?例如Sloaris Sparc 64位的JVM Xss默認為512K,因為有更大地址指針,Sloaris X86為320K。Linux降為256K。Windows 32位Java6默認320K,Windows 64位則為1024K。
大堆的挑戰
今天,幾GB的內存是很常見的。但是在不久以前,系統管理員還在為多幾G的內存需求淚流滿面。
Java垃圾收集器是隨著2006年的Java6的出現而顯著改進的。從那以後,可以並發執行多任務,並且減少了GC停頓幾率: stop - the - world階段。CMS演算法是革命性的,多任務,並發, 不需要移動的GC。但是不幸的是,對於堆的存活數據量來說,它是不可擴展的。Prateek Khanna 和 Aaron Morton給出了CMS垃圾收集器能夠處理的堆規模的數字。
避免Stop-the-world階段
我們已經學習了Elasticsearch如何配置CMS垃圾收集器。但這並不能組織長時間的GC停頓,它只是降低了發生的幾率。CMS是一個低停頓幾率的收集器,但是仍然有一些邊界情況。當堆上有MB級別的大數組,或者其他一些特殊的場景,CMS可能比預期要花費更多的時間。
MB級別數組的創建在Lucene segment-based索引合並時是很常見的。如果你希望降低CMS的額外負載,就需要調整Lucene合並階段的段數量,使用參數index.merge.policy.segments_per_tier
減少換頁
大堆的風險在於內存壓力上。注意,如果Java JVM在處理大堆時,這部分內存對於系統其它部分來說是不可用的。如果內存吃緊,操作系統會進行換頁,並且,在緊急情況下,當所有其他方式回收內存都失敗時,會強制殺掉進程。如果換頁發生,整個系統的性能會下降,自然GC的性能也跟著下降。所以,不要給堆分配太多的內存。
垃圾收集器的選擇
從Java JDK 7u4開始,Garbage-First(G1)收集器是Java7默認的垃圾收集器。它適用於多核的機器以及大內存。它一方面降低了停頓時間,另一方面增加了停頓的次數。整個堆的操作,例如全局標記,是在應用線程中並發執行的。這會防止隨著堆或存活數據大小的變化,中斷時間也成比例的變化。
G1收集器目標是獲取更高的吞吐量,而不是速度。在以下情況下,它能運行的很好:
1. 存活數據佔用了超過50%的Java堆
2. 對象分配比例或者promotion會有明顯的變化
3. 不希望gc或者compaction停頓時間長(超過0.5至1s)
注意,如果使用G1垃圾收集器,堆不再使用的內存可能會被歸還給操作系統
G1垃圾收集器的不足是CPU使用率越高,應用性能越差。因此,如果在內存足夠和CPU能力一般的情況下,CMS可能更勝一籌。
對於Elasticsearch來說,G1意味著沒有長時間的stop-the-world階段,以及更靈活的內存管理,因為buffer memory和系統I/O緩存能更充分的利用機器內存資源。代價就是小成本的最大化性能,因為G1利用了更多CPU資源。
性能調優策略
你讀這篇博文因為你希望在性能調優上得到一些啟示:
1. 清楚了解你的性能目標。你希望最大化速度,還是最大化吞吐量?
2. 記錄任何事情(log everything),收集統計數據,閱讀日誌、分析事件來診斷配置
3. 選擇你調整的目標(最大化性能還是最大化吞吐量)
4. 計劃你的調整
5. 應用你的新配置
6. 監控新配置後的系統
7. 如果新配置沒有改善你的處境,重復上面的一系列動作,反復嘗試
Elasticsearch垃圾收集日誌格式
Elasticsearch長時間GC下warns級別的日誌如下所示:
[2012-11-26 18:13:53,166][WARN ][monitor.jvm ] [Ectokid] [gc][ParNew][1135087][11248] ration [2.6m], collections [1]/[2.7m], total [2.6m]/[6.8m], memory [2.4gb]->[2.3gb]/[3.8gb], all_pools {[Code Cache] [13.7mb]->[13.7mb]/[48mb]}{[Par Eden Space] [109.6mb]->[15.4mb]/[1gb]}{[Par Survivor Space] [136.5mb]->[0b]/[136.5mb]}{[CMS Old Gen] [2.1gb]->[2.3gb]/[2.6gb]}{[CMS Perm Gen] [35.1mb]->[34.9mb]/[82mb]}
JvmMonitorService類中有相關的使用方式:
Logfile Explanation
gc 運行中的gc
ParNew new parallel garbage collector
ration 2.6m gc時間為2.6分鍾
collections [1]/[2.7m] 在跑一個收集,共花2.7分鍾
memory [2.4gb]->[2.3gb]/[3.8gb] 內存消耗, 開始是2.4gb, 現在是2.3gb, 共有3.8gb內存
Code Cache [13.7mb]->[13.7mb]/[48mb] code cache佔用內存
Par Eden Space [109.6mb]->[15.4mb]/[1gb] Par Eden Space佔用內存
Par Survivor Space [136.5mb]->[0b]/[136.5mb] Par Survivor Space佔用內存
CMS Old Gen [2.1gb]->[2.3gb]/[2.6gb] CMS Old Gen佔用內存
CMS Perm Gen [35.1mb]->[34.9mb]/[82mb] CMS Perm Gen佔用內存
JvmMonitorSer
一些建議
1. 不要在Java 6u22之前的發布版本中跑Elasticsearch。有內存方面的bug。那些超過兩三年的bug和缺陷會妨礙Elasticsearch的正常運行。與舊的OpenJDK 6相比,更推薦Sun/Oracle的版本,因為後者修復了很多bug。
2. 放棄Java6,轉到Java7。Oracle宣稱Java6更新到2013年2月結束。考慮到Elasticsearch還是一個相對新的軟體,應該使用更新的技術來提升性能。盡量從JVM中擠壓性能。檢查操作系統的版本。在最新版本的操作系統中運行,有助於你的Java運行環境達到最佳性能。
3. 定期更新Java運行環境。平均一個季度一次。告訴sa你需要及時更新Java版本,以獲取Java性能的提升。
4. 從小到大。先在Elasticsearch單節點上進行開發。但是不要忘了Elasticsearch分布式的強大功能。單節點不能模擬生產環境的特徵,至少需要3個節點進行開發測試。
5. 在調整JVM之前先做一下性能測試。對你的系統建立性能基線。調整測試時候的節點數量。如果索引時候負載很高,你可能需要降低Elasticsearch索引時候佔用的堆大小,通過index.merge.policy.segments_per_tierparameter參數調整段的合並。
6. 調整前清楚你的性能目標,然後決定是調整速度還是吞吐量。
7. 啟用日誌以便更好的進行診斷。在優化系統前進行小心的評估。
8. 如果使用CMS垃圾收集器,你可能需要加上合理的 -XX:CMSWaitDuration 參數。
9. 如果你的堆超過6-8GB,超過了CMS垃圾收集器設計容量,你會遇到長時間的stop-the-world階段,你有幾個方案:調整參數降低長時間GC的幾率減少最大堆的大小;啟用G1垃圾收集器。
10. 學習垃圾收集調優藝術。如果你想精通的話,列出可用的JVM選項,在java命令中加入java -XX:+UnlockDiagnosticVMOptions -XX:+PrintFlagsFinal -version,然後調優。

⑶ 最近在學習Elasticsearch搜索系統,啟動時報錯了

這只是一個warning,並不影響,你可以訪問了。

官方Issue

⑷ elasticsearch 日誌儲存滿怎麼辦

內存和打開的文件數

如果你的elasticsearch運行在專用伺服器上,經驗值是分配一半內存給elasticsearch。另一半用於系統緩存,這東西也很重要的。

你可以通過修改ES_HEAP_SIZE環境變數來改變這個設定。在啟動elasticsearch之前把這個變數改到你的預期值。另一個選擇上球該elasticsearch的ES_JAVA_OPTS變數,這個變數時在啟動腳本(elasticsearch.in.sh或elasticsearch.bat)里傳遞的。你必須找到-Xms和-Xmx參數,他們是分配給進程的最小和最大內存。建議設置成相同大小。嗯,ES_HEAP_SIZE其實就是乾的這個作用。

你必須確認文件描述符限制對你的elasticsearch足夠大,建議值是32000到64000之間。關於這個限制的設置,另有教程可以參見。

⑸ 如何不再使用CTRL+C關閉Elasticsearch

電腦的Ctrl+C不能復制的原因: 該熱鍵與其他軟體的熱鍵相沖突。 解決辦法: 1.查看第三方輸入法(QQ拼音輸入法、搜狗輸入法)里的設置,看有沒有跟CTRL+C重復的快捷鍵,如果有的話將第三方輸入法里使用CTRL+C的快捷鍵改變成別的組合。

⑹ Elasticsearch怎麼這么慢

A、清除緩存垃圾的軟體就好
打開騰訊手機管家——清理加速,減少手機內存佔用過多、減少系統垃圾、緩存文件。
B、還可以打開騰訊手機管家——懸浮窗——小火箭,關閉後台同時清理掉該程序緩存數據
C、用騰訊手機管家卸載軟體,用軟體搬移把軟體到SD卡中,合理分配運行更流暢的

⑺ elasticsearch 伺服器開的時間較長佔用內存大怎麼辦

這個應該是手機的內存不足,或者是手機的垃圾文件沒有及時處理累計過多導致,你可以安裝一個騰訊手機管家把一些影響手機運行速度的緩存垃圾,後台程序,和一些不用的安裝包清理一下;使手機運行快速流暢;這樣使用起來也會更加舒心

⑻ elasticsearch 首次查詢緩慢 請問該如何優化

首次查詢瓶頸在外部存儲IO,思路是提升IO速度、減少IO次數,可以:

  1. 使用SSD陣列

  2. 更多shard

  3. 優化查詢條件,比如按照時間范圍檢索,每個月一個index,query可以指定到對應的index


另一個思路,應用層優化:緩存預讀

對於頻繁查詢的數據,後台程序在ES啟動之後就進行查詢,將數據載入到內存。前端發起的查詢就不是首次查詢了。

⑼ 怎麼關閉Elasticsearch服務

運行services.msc(可以使用win+R鍵調出「運行」),
找到WindowsSearch,雙擊,在「啟動類型」中選擇「禁用」,確定
linux使用命令kill殺掉伺服器的ES進程即可
1.查找ES進程
ps -ef | grep elastic
2.殺掉ES進程
kill -9 2382(進程號)
3.重啟ES
sh elasticsearch -d

⑽ Elasticsearch中refresh和flush的區別是什麼

在ES中, 要保證被索引的文檔能夠立即被搜索到, 有兩種方法:_refresh 或者_flush。
那麼二者的區別是什麼呢?要搞懂這個問題, 就需要對ES中文檔的索引過程有個了解。
我們知道ES的索引數據是寫入到磁碟上的。但這個過程是分階段實現的,因為IO的操作是比較費時的。
當一個文檔進入ES的初期, 文檔是被存儲到內存里的,默認經過1s之後, 會被寫入文件系統緩存,這樣該文檔就可以被搜索到了,注意,此時該索引數據被沒有最終寫入到磁碟上。如果你對這1s的時間間隔還不滿意, 調用_refresh就可以立即實現內存->文件系統緩存, 從而使文檔可以立即被搜索到。
所以refresh實現的是文檔數據從內存到文件系統緩存的過程。
再來看flush,flush是用於translog的。
ES為了數據的安全, 在接受寫入的文檔的時候, 在寫入內存buffer的同時, 會寫一份translog日誌,從而在出現程序故障/磁碟異常時, 保證數據的完整和安全。flush會觸發lucene commit,並清空translog日誌文件。 translog的flush是ES在後台自動執行的,默認情況下ES每隔5s會去檢測要不要flush translog,默認條件是:每 30 分鍾主動進行一次 flush,或者當 translog 文件大小大於 512MB主動進行一次 flush。對應的配置是index.translog.flush_threshold_period 和 index.translog.flush_threshold_size
需要指出的是, 從ES2.0開始,每次 index、bulk、delete、update 完成的時候,一定觸發flush translog 到磁碟上,才給請求返回 200 OK。這個改變提高了數據安全性,但是會對寫入的性能造成不小的影響。在寫入效率優先的情況下,可以在 index template 里設置如下參數:"index.translog.rability":"async" 和 "index.translog.sync_interval":30s (默認是5s)。