當前位置:首頁 » 網頁前端 » web日誌監控系統
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

web日誌監控系統

發布時間: 2022-12-14 11:55:18

A. 如何進行大文件日誌內容監控

大數據時代,誰掌握了足夠的數據,誰就有可能掌握未來,而其中的數據採集就是將來的流動資產積累。幾乎任何規模企業,每時每刻也都在產生大量的數據,但這些數據如何歸集、提煉始終是一個困擾。而大數據技術的意義確實不在於掌握規模龐大的數據信息,而在於對這些數據進行智能處理,從中分析和挖掘出有價值的信息,但前提是如何獲取大量有價值的數據。在最近的工作當中,本人剛好實現了運用大數據技術分析網站訪問日誌的方案,整個方案包括對網站日誌的採集、清洗、存儲和統計分析,計劃通過幾篇文章將技術實現細節分享出來,以期引起的思考和討論。網站訪問日誌介紹相信很多做過網站管理的人對網站訪問日誌(AccessLog)應該不會陌生,現在主流的網站伺服器(如apache,tomcat,ngxin等)都支持將日誌數據記錄到伺服器的日誌文件中。網站的訪問日誌中記錄了很多有用的信息,比如正常用戶的訪問足跡、惡意搗亂的足跡、用戶的入站方式、出站頁面等等信息。對以上信息匯總分類後,可以得到更有價值的東西,比如可以得到搜索引擎的抓取頻率和來訪時間段、可以得到哪些頁面是用戶熱搜的等等。首先看一個訪問日誌的例子:10.52.10.49--[17/Sep/2014:11:34:21+0800]"GET/webappHTTP/1.1"302-"-""Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/37.0.2062.120Safari/537.36"這是一個combined格式的訪問日誌,裡面記錄了用戶的訪問ip、時間、訪問地址、來源地址等。如要了解具體的格式說明,請查看相關資料。日誌採集存儲方案對於一個比較活躍的網站來說,訪問日誌將會是一個海量的數據,考慮到網站日誌更新頻繁、和海量數據的特點,我選擇了Flume+HBase的採集和存儲方案。FlumeFlume最早是Cloudera提供的日誌收集系統,目前是Apache下的一個項目,Flume支持在日誌系統中定製各類數據發送方,用於收集數據。Flume提供對數據進行簡單處理,並寫到各種數據接受方(可定製)的能力Flume提供了從console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog日誌系統,支持TCP和UDP等2種模式),exec(命令執行)等數據源上收集數據的能力。HBaseHBase–HadoopDatabase,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。本次方案以Tomcat為Web伺服器,通過Flume實時監控網站的日誌文件並將新增日誌收集、清洗並保存到HBase中,供Spark等分布計算框架分析使用等。方案實現前提條件:已經在linux伺服器上安裝並啟動了相關的程序:Tomcat7,Hadoop2.4.1,Zookeeper3.4.6,HBase0.98.5,Flume1.5。具體安裝步驟請自行查看相關文檔。1.首先開啟Tomcat中的日誌記錄功能,並選擇combined格式。修改TOMCAT_PATH/conf/server.xml,增加日誌記錄:這樣,tomcat就會在logs目錄下每天生成localhost_access_log文件並實時記錄用戶的訪問情況。2.實現日誌文件對象和解析程序AccessLog.java:publicclassAccessLog{privateStringclientIp;privateStringclientIndentity;privateStringremoteUser;privateDatedateTime;privateStringrequest;privateStringhttpStatusCode;privateStringbytesSent;privateStringreferer;privateStringuserAgent;…}AccessLogParser.java:publicclassAccessLogParser{privatestaticStringpattern="^([\\d.]+)(\\S+)(\\S+)\\[([\\w:/]+\\s[+\\-]\\d{4})\\]\"(.+?)\"(\\d{3})(\\d+|-)\"([^\"]+)\"\"([^\"]+)\"";privatestaticPatternp=Pattern.compile(pattern);publicstaticAccessLogparse(Stringline){Matchermatcher=p.matcher(line);if(matcher.matches()){AccessLogaccessLog=newAccessLog();accessLog.setClientIp(matcher.group(1));accessLog.setClientIndentity(matcher.group(2));accessLog.setRemoteUser(matcher.group(3));accessLog.setDateTime(getDateTime(matcher.group(4)));accessLog.setRequest(matcher.group(5));accessLog.setHttpStatusCode(matcher.group(6));accessLog.setBytesSent(matcher.group(7));accessLog.setReferer(matcher.group(8));accessLog.setUserAgent(matcher.group(9));returnaccessLog;}logger.warn(",ignoredit.--"+line);returnnull;}3.通過HBaseShell在HBase中建立相應的表access_log執行:$HBASE_HOME/bin/hbaseshell,進入shell命令行create'access_log','cb',創建access_log,和一個列族cb。因為hbase是一個列伺服器,一個列族中可以增加很多列,為了性能考慮,一般不要創建多於三個列族。出現如下提示信息,即創建成功0row(s)in11.9690seconds=>Hbase::Table-access_log可以通過list命令查看資料庫中的表,或scan『access_log』,查看錶中數據4.配置Flume,實現採集和存儲在本方案中,我們要將數據存儲到HBase中,所以使用flume中提供的hbasesink,同時,為了清洗轉換日誌數據,我們實現自己的AsyncHbaseEventSerializer。

B. 如何搭建日誌監控系統

ELK(ElasticSearch, Logstash, Kibana)搭建實時日誌分析平台(開源實時日誌分析ELK平台部署)

日誌主要包括系統日誌、應用程序日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷,性能安全性,從而及時採取措施糾正錯誤。

通常,日誌被分散的儲存不同的設備上。如果你管理數十上百台伺服器,你還在使用依次登錄每台機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日誌管理,例如:開源的syslog,將所有伺服器上的日誌收集匯總。

集中化管理日誌後,日誌的統計和檢索又成為一件比較麻煩的事情,一般我們使用grep、awk和wc等Linux命令能實現檢索和統計,但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

開源實時日誌分析ELK平台能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站:

 Elasticsearch是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發現,索引自動分片,索引副本機制,restful風格介面,多數據源,自動搜索負載等。

 Logstash是一個完全開源的工具,他可以對你的日誌進行收集、分析,並將其存儲供以後使用(如,搜索)。

 kibana也是一個開源和免費的工具,他Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數據日誌。 工作原理如下所示:

在需要收集日誌的所有服務上部署logstash,作為logstash agent(logstash shipper)用於監控並過濾收集日誌,將過濾後的內容發送到logstash indexer,logstash indexer將日誌收集在一起交給全文搜索服務ElasticSearch,可以用ElasticSearch進行自定義搜索通過Kibana 來結合自定義搜索進行頁面展示。

四大組件:

Logstash: logstash server端用來搜集日誌;

Elasticsearch: 存儲各類日誌;

Kibana: web化介面用作查尋和可視化日誌;

Logstash Forwarder: logstash client端用來通過lumberjack 網路協議發送日誌到logstash server;

C. 監控日誌操作記錄怎麼描述

首先描述監控日誌的內容。
內容主要有:
1、關鍵業務數據統計。
2、一些關鍵調用的成功、失敗次數。
3、關鍵異常數目。
4、線程保護(一般在調用遠程功能時),調用次數。
5、其他業務上關注的信息。
監控顯示:1、總體顯示:關鍵字,描述,出現次數,採集時間——註:總體表示總個集群)點擊總體顯示中關鍵字的連接可以個體列表。
格式可以像:(機器ip或名字、關鍵字、出現次數、時間等)。
而個體顯示,一般是包含所有個體機器的列表,點擊其中一個可以進入相應機器的監控界面。
通過定期抓取(如120s)日誌,匹配關鍵字的數目(如perl腳本),可以繪制圖表。
在日誌抓取方面一般都是有專門日誌伺服器負責抓取各機器上的日誌。如果一個應用需要加入到監控系統,只需要向監控平台指定日誌文件位置,並且告知需要統計的關鍵字。
對應異常的監控,應該可以根據關鍵字出現的數目設定閥值,如果超過閥值就通知某些人。

D. windows平台上如何監控日誌並郵件或者簡訊報警

1) 有基於Tomcat的web應用

2) 有獨立的Java Application應用

3) 有運行在Linux上的腳本程序

4) 有大規模的集群框架(zookeeper、Hadoop、Storm、SRP……)

5) 有操作系統的運行日誌

E. 有什麼好用的基於Web的Linux系統監控開源工具

可以用一些命令來實現你說的功能的。
請看下文,請採納。謝謝。

一、基於命令行的性能監控工具
1.dstat - 多類型資源統計工具
該命令整合了vmstat,iostat和ifstat三種命令。同時增加了新的特性和功能可以讓你能及時看到各種的資源使用情況,從而能夠使你對比和整合不同的資源使用情況。通過不同顏色和區塊布局的界面幫助你能夠更加清晰容易的獲取信息。它也支持將信息數據導出到cvs格式文件中,從而用其他應用程序打開,或者導入到資料庫中
2.atop - 相比top更好的ASCII碼體驗
這個使用ASCII碼顯示方式的命令行工具是一個顯示所有進程活動的性能監控工具。它可以展示每日的系統日誌以進行長期的進程活動分析,並高亮顯示過載的系統使用資源。它包含了CPU,內存,交換空間,磁碟和網路層的度量指標。所有這些功能只需在終端運行atop即可。
3.Nmon - 類Unix系統的性能監控
Nmon是Nigel's Monitor縮寫,它最早開發用來作為AIX的系統監控工具。如果使用在線模式,可以使用游標鍵在屏幕上操作實時顯示在終端上的監控信息。使用捕捉模式能夠將數據保存為CSV格式,方便進一步的處理和圖形化展示。
4.slabtop - 顯示內核slab緩存信息
這個應用能夠顯示緩存分配器是如何管理Linux內核中緩存的不同類型的對象。這個命令類似於top命令,區別是它的重點是實時顯示內核slab緩存信息。它能夠顯示按照不同排序條件來排序顯示緩存列表。它同時也能夠顯示一個slab層信息的統計信息的題頭。
5.sar - 性能監控和瓶頸檢查
sar 命令可以將操作系統上所選的累積活動計數器內容信息輸出到標准輸出上。其基於計數值和時間間隔參數的審計系統,會按照指定的時間間隔輸出指定次數的監控信息。如果時間間隔參數為設置為0,那麼sar命令將會顯示系統從開機到當時時刻的平均統計信息。有用的命令如下:
# sar -u 2 3
# sar -u -f /var/log/sa/sa05
# sar -P ALL 1 1
# sar -r 1 3
# sar -W 1 3
6.Saidar - 簡單的統計監控工具
Saidar是一個簡單且輕量的系統信息監控工具。雖然它無法提供大多性能報表,但是它能夠通過一個簡單明了的方式顯示最有用的系統運行狀況數據。你可以很容易地看到運行時間、平均負載、CPU、內存、進程、磁碟和網路介面統計信息。
Usage: saidar [-d delay] [-c] [-v] [-h]

-d 設置更新時間(秒)
-c 彩色顯示
-v 顯示版本號
-h 顯示本幫助
7.top - 經典的Linux任務管理工具
作為一個廣為人知的Linux工具,top是大多數的類Unix操作系統任務管理器。它可以顯示當前正在運行的進程的列表,用戶可以按照不同的條件對該列表進行排序。它主要顯示了系統進程對CPU和內存的使用狀況。top可以快速檢查是哪個或哪幾個進程掛起了你的系統
8.Sysdig - 系統進程的高級視圖
Sysdig是一個能夠讓系統管理員和開發人員以前所未有方式洞察其系統行為的監控工具。其開發團隊希望改善系統級的監控方式,通過提供關於存儲,進程,網路和內存子系統的統一有序以及粒度可見的方式來進行錯誤排查,並可以創建系統活動記錄文件以便你可以在任何時間輕松分析。

F. 利用Windows自帶的性能監視器對WebService服務進行監控,通常使用哪些計數器,標准值是什麼

  • 1. 處理器對象(Processor Object)

  • 一條經驗規則是不要使你所監控的每個處理器的C P U使用率高於9 0%。峰值超過9 0%是可以接受的,但平均使用率超過9 0%則是應該避免的。

    • 處理器時間百分比(%Processor Time) 處理器執行一個非空閑線程的時間百分比。用%1 0 0減去處理器空閑的總時間得出這個值。這是整個系統的C P U使用的一個好的指示器。

    • 特權時間百分比(%Privileged Time) 處理器用於在特權模式下(即,執行操作系統功能和運行驅動器,如I / O )工作時間的百分比。這個時間包括C P U (或C P U )用於維護中斷和延遲過程調用( D P C )的時間。

    • 用戶時間百分比(%User Time) 處理器用於在用戶模式工作的時間百分比。這種類型的工作是由應用產生的。通常,希望極大化用戶時間百分比的值,極小化特權時間百分比的值。

    • 中斷時間百分比(%Interrupt Time) CPU忙於維護硬體中斷的時間百分比。系統中的許多硬體部件,如滑鼠、網路介面卡或磁碟控制器,都可以發出處理器中斷。你可以將中斷看作為Windows NT正常操作的一部分發生。

    • 中斷數/秒(Interrupts/sec) 處理器每秒接收並處理的硬體中斷的數量。它不包括系統

    D P C,系統D P C單獨計數。

  • 2. 系統對象(System Object)

  • 系統對象與它的相關計數器衡量處理器上運行的線程的總計數據。雖然使用這些計數器不能觀察一個特定處理器的工作負載或一個特定線程的行為,但它們提供了有關整個系統性能有價值的內部信息。系統計數器如下所示:

    • 處理器隊列長度(Processor Queue Length) 處理器隊列中的線程的數量。換句話說,它

    是等待運行的線程數。即使你的系統具有多個處理器,但只有一個隊列用於處理器時間。計數器只記錄那些准備執行但仍處於等待的線程,不是那些正在運行的線程。

    • 環境切換/秒(Context Switches/sec) 系統上的所有處理器從一個線程切換到另一個線程的組合比率。當一個正在運行的線程自動地放棄處理器,處理器由一個高優先順序的待命線程搶占時發生環境切換,或在用戶模式和特權(核心)模式之間切換,以使用一個執行或子系統的服務。這是線程的總和:計算機上運行在所有處理器上的所有線程的環境切換數/秒。

  • 3. SQL Server:緩沖區管理器對象( B u ffer Manager Object)

  • 緩沖區管理器計數器提供了SQL Server使用的內存緩沖區的有關信息。這些計數器如下所示:

    • 高速緩存命中率( B u ffer Cache Hit Ratio) 引用當前位於高速緩存中頁的需求的百分率。預先在內存中擁有頁,允許SQL Server避免請求從磁碟子系統執行一次物理I / O。因為訪問內存相對於訪問物理I / O,代價更小,一個高的緩沖區高速緩存命中率增強了系統的性能與吞吐量。如果你的系統很好地調整過,這個命中率應該是8 0%或更高。如果具有一個低的緩沖區高速緩存命中率,你應該為SQL Server分配更多的內存。如果你已將現有的所有內存都分配給了SQL Server,那麼需要增加系統中物理內存的數量。

    • 高速緩存大小(頁)(Cache Size) 在SQL Server緩沖區高速緩存中的頁的數量。這個數量乘以8 K B,即可得到正在使用的以千位元組為單位的緩存數。

    • 空閑緩沖區(Free Buffer) 空閑SQL Server內存緩沖區的數量。

    • 讀的頁/秒(Page Reads/sec) 每秒請求的物理數據頁I / O的數量。

    • 偷取的頁計數(Stolen Page Count) SQL Server用於緩沖區高速緩存的頁數,這些內存被給予系統中的另外一個進程。Windows NT回收這個內存以滿足其他系統部件的需要。

    • 寫的頁/秒(Page Writes/sec) 由SQL Server執行的每秒寫的物理數據頁的數量。

  • 4. SQL Server:資料庫對象(Database Object)

  • 資料庫對象計數器提供了有關SQL Server資料庫的信息,包括可用的空閑日誌空間量和資料庫中活動事務的數量。對於系統中的每個資料庫的每個計數器有一個實例。這些計數器包括如下:

    • 日誌刷新等待/秒(Log Flush Wait/sec) 在能夠繼續執行前,必須等待日誌刷新的資料庫提交數量。

    • 日誌使用的百分比(Percent Log Used) SQL Server實際使用的當前定義的日誌空間的百分比。

  • 5. SQL Server:常規統計對象(General Statistics Object)

  • 常規統計對象含有常規伺服器范圍活動的有關信息,它有一個計數器:

    • 用戶連接數(User Connections) 系統中用戶連接的當前數量。

  • 6. SQL Server:閂對象(Latches Object)

  • 這個對象計數器提供了在內部SQL Server資源中有效的閂的信息。計數器如下:

    • 平均閂等待時間(毫秒) ( Average Latch Wait Time) 閂請求在得到服務之前必須等待的平均時間,以毫秒為單位。

    • 閂等待數/秒(Latch Waits/sec) 不能立即服務,被迫等待其他資源釋放的閂請求的數量。

  • 7. SQL Server:鎖對象(Locks Object)

  • 鎖對象提供了由SQL Server提出的各個鎖請求的有關數據,例如鎖生命周期和死鎖。可以在系統上具有多個這些計數器的實例。計數器如下所示:

    • 平均等待時間(毫秒) ( Average Wait Time) 每個鎖請求被迫等待的平均時間量,以毫秒為單位。

    • 鎖到期數/秒(Lock Timeouts/sec) 在系統中過期的鎖請求的數量。

    • 鎖等待數/秒(Lock Wa i t s / s e c )不能立即滿足,需要調用線程在給予鎖之前處於等待狀態的鎖請求的數量。

    • 死鎖數/秒(Number of Deadlocks/sec) 導致產生死鎖的鎖請求的數量。

  • 8. SQL Server:內存管理器對象(Memory Manager Object)

  • 內存管理器對象含有有關SQL Server內存使用的信息,包括SQL Server正在使用的高速緩

    存內存的數量。這個對象下的計數器如下所示:

    • 內存授權掛起(Memory Grants Pending) 等待授予工作空間內存的進程的當前數量。

    • S Q L高速緩存內存(KB)(SQL Cache Memory) SQL Server用於動態SQL 高速緩存的動態

    內存數量。

    • 目標伺服器內存( K B ) ( Ta rget Server Memory) SQL Server將會消耗的動態內存的總額。

    • 總的伺服器內存( K B ) ( Total Server Memory) SQL Server當前消耗的動態內存的總額。

  • 9. SQL Server:S Q L統計對象(SQL Statistics Object)

  • 這個對象提供了系統上正在執行的S Q L查詢的有關信息,包括查詢編譯和重新編譯的數量的數據。它有如下計數器:

    • 批請求/秒(Batch Requests/sec) 伺服器接收到的S Q L批請求的數量。

    • SQL 編譯/秒(SQL Compilations/sec) SQL Server每秒執行的S Q L語句編譯的數量。

    • S Q L重新編譯/秒(SQL Re-Compilations/sec) SQL Server每秒執行的S Q L語句重新編譯的數量。

  • 10. 邏輯磁碟對象(Logical Disk Object)

  • 邏輯磁碟對象提供了有關邏輯磁碟I / O性能的信息。邏輯磁碟計數器與Windows NT磁碟

    系統管理員分配給邏輯磁碟驅動器的字母相關。這個對象含有如下計數器:

    • 磁碟讀時間百分比(%Disk Read Time) 選中的邏輯磁碟忙於服務讀請求總共用去時間的

    百分比。

    • 磁碟寫時間百分比(%Disk Write Time) 選中的邏輯磁碟忙於服務寫請求總共用去時間

    的百分比。

    • 磁碟時間百分比(%Disk Time) 選中的邏輯磁碟忙於服務讀請求或寫請求總共用的時間

    的百分比,是磁碟寫時間百分比與磁碟讀時間百分比的和。

    • 空閑時間百分比(%Idle Time) 邏輯磁碟在采樣時間間隔中處於空閑狀態的時間百分比。

    • 平均磁碟隊列長度( Avg. Disk Queue Length) 在采樣的時間間隔中,選中的邏輯磁碟讀請求和寫請求排隊的平均數量。

    • 平均磁碟讀隊列長度( Avg. Disk Read Queue Length) 在采樣的時間間隔中,對選中的邏輯磁碟讀請求排隊的平均數量。

    • 平均磁碟寫隊列長度( Avg. Disk Write Queue Length) 在采樣的時間間隔中,對選中的邏輯磁碟寫請求排隊的平均數量。

    • 平均磁碟秒數/讀( Avg. Disk sec/Read) 從邏輯磁碟讀數據的平均時間,以秒為單位。

    • 平均磁碟秒數/寫( Avg. Disk sec/Write) 向邏輯磁碟寫數據的平均時間,以秒為單位。

    • 平均磁碟秒數/傳輸( ( Avg. Disk sec/Transfer) 從邏輯磁碟進行傳輸的平均時間,以秒為單位。

    • 磁碟讀/秒(Disk Reads Bytes/sec) 邏輯磁碟上每秒讀位元組。

    • 磁碟讀/秒(Disk Writes Bytes/sec) 邏輯磁碟上每秒寫位元組。

    • 磁碟讀/秒(Disk Reads/sec) 邏輯磁碟上的讀操作比率。

    • 磁碟寫/秒(Disk Writes/sec) 邏輯磁碟上的寫操作比率。

    • 磁碟傳輸/秒(Disk Transfers/sec) 邏輯磁碟上的讀和寫操作的比率。

  • 11. 物理磁碟對象(PhysicalDisk Object)

  • 物理磁碟對象提供了有關物理磁碟I / O性能的信息。它的磁碟計數器與系統中的物理驅動器有關,並且只有當運行了D i s k P e r f服務時,它才被激活。這個對象下的計數器如下所示:

    • 磁碟讀時間百分比(%Disk Read Time) 選中的物理磁碟忙於服務讀請求總共用的時間的百分比。

    • 磁碟寫時間百分比(%Disk Write Time) 選中的物理磁碟忙於服務寫請求總共用的時間的百分比。

    • 磁碟時間百分比(%Disk Time) 選中的物理磁碟忙於服務讀請求或寫請求總共用的時間的百分比,是磁碟寫時間百分比與磁碟讀時間百分比的和。

    • 空閑時間百分比(%Idle Time) 物理磁碟在采樣時間間隔中處於空閑狀態的時間百分比。

    • 平均磁碟隊列長度( Avg. Disk Queue Length) 在采樣的時間間隔中,選中的物理磁碟讀請求和寫請求排隊的平均數量。

    • 平均磁碟讀隊列長度( Avg. Disk Read Queue Length) 在采樣的時間間隔中,選中的物理磁碟讀請求排隊的平均數量。

    • 平均磁碟寫隊列長度( Avg. Disk Write Queue Length) 在采樣的時間間隔中,選中的物理磁碟寫請求排隊的平均數量。

    • 平均磁碟秒數/讀( Avg. Disk sec/Read) 從物理磁碟讀數據的平均時間,以秒為單位。

    • 平均磁碟秒數/寫( Avg. Disk sec/Write) 向物理磁碟寫數據的平均時間,以秒為單位。

    • 平均磁碟秒數/傳輸( Avg. Disk sec/Transfer) 從物理磁碟進行傳輸的平均時間,以秒為單位。

    • 磁碟讀/秒(Disk Reads Bytes/sec) 物理磁碟上每秒讀位元組。

    • 磁碟讀/秒(Disk Writes Bytes/sec) 物理磁碟上每秒寫位元組。

    • 磁碟讀/秒(Disk Reads/sec) 物理磁碟上的讀操作比率。

    • 磁碟寫/秒(Disk Writes/sec) 物理磁碟上的寫操作比率。

    • 磁碟傳輸/秒(Disk Transfers/sec) 物理磁碟上的讀和寫操作的比率。

  • 12. 內存

  • 內存在任何系統中都是一個非常有價值的資源。Windows NT不只允許過量使用內存,而且鼓勵你過量使用內存。Windows NT提供了一種透明機制,允許應用「相信」它們具有比系統中可用的物理內存更多的內存。當Windows NT處理應用時,它將不使用的內存頁調出(交換出)到磁碟上的頁文件中。在大多數系統中,頁調度是正常的,但過量的頁調度會削弱整個系統的性能。下面的計數器允許你監控系統的頁調度。

    • 失效的頁/秒(Page Faults/sec) 每秒由處理器處理的失效頁的全部數量。當一個進程需

    要的代碼或數據不在它的工作區(它的空間在物理內存中)中時,發生失效頁。這個計數

    器包括硬的頁失效(那些需要磁碟訪問的)和軟的頁失效(在物理內存的其他地方發現了失

    效頁)。

    • 讀的頁/秒(Page Reads/sec) 讀取磁碟以解決硬的頁失效所需要的時間數(當一個進程需要的代碼或數據不在其工作區或內存中的其他地方,必須從磁碟提取這些代碼和數據時,發生硬的頁失效)。這個計數器包括為滿足在文件系統高速緩存(通常是應用請求的)以及在非高速緩存映像內存文件中的失效而進行的讀。

    • 寫的頁/秒(Page Writes/sec) 將頁寫向磁碟以釋放物理內存空間的時間數。只有當頁在物理內存中被改變的時候,將頁寫入磁碟,這樣,它們更有可能含有數據,而不是代碼。

    • 頁/秒(Pages/sec) 為解決硬的頁失效,所需要讀或寫磁碟的時間數。它是讀的頁/秒與寫的頁/秒的計數器的和。

G. 如何查看Web伺服器日誌

這些日誌信息對計算機犯罪調查人員非常有用。
所謂日誌是指系統所指定對象的某些操作和其操作結果按時間有序的集合。每個日誌文件由日誌記錄組成.每條日誌記錄描述了一次單獨的系統事件。通常情況下,系統日誌
是用戶可以直接閱讀的文本文件,其中包含了一個時間戳和一個信息或者子系統所特有的其他信息。日誌文件為伺服器、工作站、防火牆和應用軟體等IT資源相關活動記錄必要的、有價值的信息,這對系統監控、查詢、報表和安全審汁是十分重要的。日誌文件中的記錄可提供以下用途:監控系統資源,審汁用戶行為,對可疑行為進行報警,確定入侵行為的范圍,為恢復系統提供幫助,生成調查報告,為打擊計算機犯罪提供證據來源。
在windows操作系統中有一位系統運行狀況的忠實記錄者,它可以詳細記錄計算機從開機、運行到關機過程中發生的每一個事件,它就是「事件查看器」。用戶可以利用這個系統維護工具,收集有關硬體、軟體、系統問題方面的信息,並監視系統安全事件,將系統和其他應用程序運行中的錯誤或警告事件記錄下來,便於診斷和糾正系統發生的錯誤和問題。
可以雙擊「控制面板」中「管理工具」中的「事件查看器」,打開事件查看器窗口

H. 動環監控系統方案

動力環境監控系統,可以對各種機房運行環境24小時監測,根據設備特點和實際環境條件,對門磁、紅外人體檢測、振動、門禁、視頻、消防、繼電器、風速、發電機、新風機、蓄電池、三相電量儀、市配電電壓電流、精密空調、普通空調、UPS、溫濕度、煙感、市電停電斷電、漏水水浸等進行監測。並根據後台設置通過簡訊、電話、郵件、微信、聲光報警器、電腦軟體、手機APP、Web等多種方式自動報警的智能監管設備。

動環監控系統功能

可對動力設備、機房環境、安保進行遙測採集,實時監視,並能記錄保存處理相關數據,偵測故障,實現機房的安防系統、動力系統、環境系統智能監控維護管理。為確保機房安全,可進入機房的人員進行分級授權管理,無人值守、遠程管控多個機房。

動力環境監控系統監控的數據1分鍾記錄一次,監控數據以曲線顯示,歷史記錄數據報表也可以EXCEL格式導出下載,同時針對有特殊要求的機房環境,也能進行二次開發,調用伺服器API介面開發或私有部署平台,可拓展。

I. 如何實時監控系統日誌

DBTMon 主要用於資料庫監控與分析。DBTMon主要實時監控資料庫事務日誌文件,捕捉其新增日誌記錄,然後分析。主要技術來源於浪擎.鏡像系統的日誌捕捉引擎。主要有以下功能:資料庫變化監控實時監控事務變化將事務日誌導出成excel管理員可以審計數據變更

J. 部署好supervisor,輕松管理web應用

在 web 應用部署到線上後,需要保證應用一直處於運行狀態,在遇到程序異常、報錯等情況,導致 web 應用終止時,需要保證程序可以立刻重啟,繼續提供服務。因為最近系統經常GG,掛的有點莫名其妙,所以領導說需要一個工具,時刻監控 web 應用的運行情況,管理該進程。

剛好Supervisor 就是解決這種需求的工具,可以保證程序崩潰後,重新把程序啟動起來等功能。下面介紹下部署教程,以下基於centos7.3系統。

supervisor:要安裝的軟體的名稱。

supervisord:裝好supervisor軟體後,supervisord用於啟動supervisor服務。

supervisorctl:用於管理supervisor配置文件中program。

#vi /etc/supervisord.d/tomcat8090.ini

配置如下:

測試過停止tomcat會自動拉起。

最後有個小問題,如果不先停止所有管理進程,只是殺supervisor進程然後直接重啟會產生多個管理進程,因為之前的tomcat進程是沒有殺掉的,這時候看日誌就會有埠沖突的問題了。

另外一個問題是一殺進程這個supervisor就自動重啟tomcat了,那我之前寫的自動部署tomcat腳本(每次殺掉進程替換文件)不就沖突了?這個問題還在考慮怎麼解決中。

最後一個問題就是集群化管理了,如果有幾百台伺服器需要控制的話是可以考慮一下 supervisord-monitor這個集群化解決方案。