當前位置:首頁 » 數據倉庫 » 資料庫日誌分析工具
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

資料庫日誌分析工具

發布時間: 2022-08-24 02:40:58

1. 如何對oracle11g日誌分析

logminer作為相關的日誌分析工具集成與oracle中,我們可通過該工具清楚的分析重做相關日誌和歸檔日誌中的所有事物變化,並且可以准確的確定各種DML和DDL操作的具體時間和SCN值。
通過logminer我們可以實現:
1,確定數據的邏輯損壞的時間
2,跟蹤用戶執行的事務變化操作
3,跟蹤表的DML操作
如果我們要分析歸檔日誌,我們首先修改oracle歸檔日誌的模式,我們要把默認的歸檔路徑改成我們自己的路徑:
start mount;
alter database archivelog;
alter database open;
alter system set log_archive_dest_1='location=d:\oracle' scope=spfile;
alter system set log_archive_format='arch_%t_%s_%r.trc' scope=spfile;
查看我們修改過的歸檔路徑:
archive log list;
查看歸檔日誌:
select name,dest_id from v$archived_log;
如果查詢的沒有更改,我們需要重啟一下資料庫
安裝logminer,安裝logminer需要我們安裝下面的幾個包:
$ORACLE_HOME/rdbms/admin/dbmslm.sql
$ORACLE_HOME/rdbms/admin/dbmslmd.sql
$ORACLE_HOME/rdbms/admin/dbmslms.sql
這幾個腳本必須是sys用戶運行
@$ORACLE_HOME/rdbms/admin/dbmslm.sql
@$ORACLE_HOME/rdbms/admin/dbmslmd.sql
@$ORACLE_HOME/rdbms/admin/dbmslms.sql
添加數據字典,需要添加參數utl_file_dir,
alter system set utl_file_dir='/home/oracle/dir' scope=spfile;
添加supplement logging
首先查看
select name,supplemental_log_data_min from v$database;是否是yes
YES為打開狀態,會記錄session_info,username等信息
NO為關閉狀態,不會記錄sesion_info,username等信息
添加
alter database add supplemental log data;
關閉
alter database drop supplemental log data;
重啟資料庫,這樣我們剛才的兩個參數就會生效;
查看數據字典:
show parameter utl;
添加數據字典:
SQL> begin
2 dbms_logmnr_d.build(
3 dictionary_filename=>'logminer_dict.dat',
4 dictionary_location=>'/home/oracle/logminer');
5 end;
6 /
PL/SQL procere successfully completed.
或是:
execute dbms_logmnr_d.build(dictionary_filename=>'logminer_dict.dat',dictionary_location=>'/home/oracle/logminer');
創建登錄觸發器:
SQL> create or replace trigger on_logon_tigger
2 after logon on database
3 begin
4 dbms_application_info.set_client_info(sys_context('userenv','ip_address'));
5 end;
6 /
Trigger created.
我們就可以在V$SESSION視圖的CLIENT_INFO列中看到新登錄的客戶端IP地址了。那麼現在就可以在
添加要分析的歸檔日誌文件
SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_6_758944049_1.trc',options=>dbms_logmnr.new);
4 end;
5 /
PL/SQL procere successfully completed.

SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_7_758944049_1.trc',
4 options=>dbms_logmnr.addfile);
5 end;
6 /
PL/SQL procere successfully completed.

切換歸檔日誌:
alter system switch logfile;
開啟分析:
execute dmbs_logmnr.start_logmnr(dictfilename='/home/oracle/logminer/logminer_dict.dat');
或是:
execute dbms_logmnr.start_logmnr;
查詢歸檔日誌:
SQL> select name from v$archived_log;
NAME
--------------------------------------------------------------------------------
/home/oracle/arch/arch_6_758944049_1.trc
/home/oracle/arch/arch_7_758944049_1.trc
/home/oracle/arch/arch_8_758944049_1.trc
為了節約pga的空間,當我們分析完日誌後,移除不需要的日誌:
SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_7_758944049_1.trc',
4 options=>dbms_logmnr.removefile);
5 end;
6 /
PL/SQL procere successfully completed.

查詢結果在v$logmnr_contents;
查詢資料庫上面的操作
select scn,sql_redo,timestamp from v$logmnr.contents;
關閉分析
execute dbms_logmnr.stop_logmnr;
查詢的時候最好使用plsql查詢。

2. 大數據分析一般用什麼工具呢

雖然數據分析的工具千萬種,綜合起來萬變不離其宗。無非是數據獲取、數據存儲、數據管理、數據計算、數據分析、數據展示等幾個方面。而SAS、R、SPSS、python、excel是被提到頻率最高的數據分析工具。


  • Python

  • Python,是一種面向對象、解釋型計算機程序設計語言。Python語法簡潔而清晰,具有豐富和強大的類庫。它常被昵稱為膠水語言,能夠把用其他語言製作的各種模塊(尤其是C/C++)很輕松地聯結在一起。

    常見的一種應用情形是,使用Python快速生成程序的原型(有時甚至是程序的最終界面),然後對其中有特別要求的部分,用更合適的語言改寫,比如3D游戲中的圖形渲染模塊,性能要求特別高,就可以用C/C++重寫,而後封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平台問題,某些可能不提供跨平台的實現。

  • R軟體

  • R是一套完整的數據處理、計算和制圖軟體系統。它可以提供一些集成的統計工具,但更大量的是它提供各種數學計算、統計計算的函數,從而使使用者能靈活機動的進行數據分析,甚至創造出符合需要的新的統計計算方法。

  • SPSS

  • SPSS是世界上最早的統計分析軟體,具有完整的數據輸入、編輯、統計分析、報表、圖形製作等功能,能夠讀取及輸出多種格式的文件。

  • Excel

  • 可以進行各種數據的處理、統計分析和輔助決策操作,廣泛地應用於管理、統計財經、金融等眾多領域。

  • SAS軟體

  • SAS把數據存取、管理、分析和展現有機地融為一體。提供了從基本統計數的計算到各種試驗設計的方差分析,相關回歸分析以及多變數分析的多種統計分析過程,幾乎囊括了所有最新分析方法,其分析技術先進,可靠。分析方法的實現通過過程調用完成。許多過程同時提供了多種演算法和選項。

3. 大數據分析工具都有哪些

思邁特軟體Smartbi數據分析平台:定位為一站式滿足所有用戶全面需求場景的大數據分析平台。它融合了BI定義的所有階段,對接各種業務資料庫、數據倉庫和大數據分析平台,進行加工處理、分析挖掘和可視化展現;滿足所有用戶的各種數據分析應用需求,如大數據分析、可視化分析、探索式分析、企業報表平台、應用分享等等。
大數據分析的特點有以下幾點:第一,數據體量巨大。從TB級別,躍升到PB級別。第二,數據類型繁多,包括網路日誌、視頻、圖片、地理位置信息等等。第三,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。第四,處理速度快。最後這一點也是和傳統的數據挖掘技術有著本質的不同。大數據分析軟體讓企業能夠從數據倉庫獲得洞察力,從而在數據驅動的業務環境中提供重要的競爭優勢。
Smartbi是目前國內大數據分析軟體的佼佼者。主打的是企業報表和自助式分析2個特點,最高可以支撐20億數據的秒級呈現,適用於企業中的技術人員、業務人員和數據分析師,可以完全自主的進行探索式分析,軟體在易用性和功能上做的都很不錯,說實話,國內的BI行業由於起步較晚,能做到這個程度的確是下了一番功夫。相較於國外產品而言,Smartbi最大的優勢在於Smartbi自主搭建的實施團隊和服務團隊,強大的服務讓它成為國內首屈一指的商業智能產品。

4. 用什麼資料庫存儲訪問日誌做分析比較好

日誌記錄的是,我們操作系統或某個服務或某個軟體在運行過程當中所產生事件信息的,這對於我們後續分析系統比較有價值。
比如,某個服務在運行過程中出現故障了,就可以查看該服務的日誌信息,分析日誌找出服務出現故障的原因所在。
如:我們使用【yum】工具安裝軟體,系統都會把程序yum做的操作記錄到日誌里。
如果,我們管理的不是一台主機,每台主機的日誌信息都是單獨存放的,如果要分析報告當前所有主機的的所有服務的過去某一時間段運行狀態,我們則要逐一查看每一台主機的日誌文件了。這很不方便。不利於使用一些日誌分析工具來分析日誌。所以我們要做日誌的集中化存儲。意思是說:把所有主機產生日誌信息發往日誌伺服器,由日誌伺服器幫助眾多需要存儲日誌數據的主機存儲日誌數據。
存儲日誌數據有兩種方式:
1、使用文件存儲日誌數據
2、把日誌信息存儲到資料庫里

5. 如何使用Oracle的LogMiner工具

我們可以使用logminer分析其它instance(版本可不一致)的重做日誌文件,但是必須遵循以下要求:

1.LogMiner日誌分析工具僅能夠分析Oracle 8以後的產品

2.LogMiner必須使用被分析資料庫實例產生的字典文件,且安裝LogMiner資料庫的字元集必須和被分析資料庫的字元集相同

3.被分析資料庫平台必須和當前LogMiner所在資料庫平台一樣,且block size相同。

使用logminer

1.安裝logminer:

要安裝Oracle LogMiner工具,必須首先要運行下面這樣兩個腳本,
$ORACLE_HOME/rdbms/admin/dbmslm.sql $ORACLE_HOME/rdbms/admin/dbmslmd.sql.

這兩個腳本必須均以SYS用戶身份運行。

2.創建數據字典文件

首先在init.ora初始化參數文件中,添加參數UTL_FILE_DIR,該參數值為伺服器中放置數據字典文件的目錄。如:
UTL_FILE_DIR = (D:\Oracle\logs)

重新啟動資料庫,使新加的參數生效,然後創建數據字典文件:
SQL> EXECUTE dbms_logmnr_d.build( dictionary_filename => ' logmn_ora817.dat', dictionary_location => ' D:\Oracle\logs ');

創建數據字典是讓LogMiner引用涉及到內部數據字典中的部分時使用對象的名稱,而不是系統內部的16進制的ID。如果我們要分析的資料庫中的表有變化,影響到庫的數據字典也發生變化,就需要重新創建該字典。

3.添加要分析的日誌文件

Oracle Logminer工具可以用來分析在線的重做日誌文件和歸檔日誌文件,但是我們一般建議使用歸檔的日誌文件。

a.添加新的日誌文件:

SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' D:\database\oracle\oradata\ora817\archive
\ ARC01491.001 ', Options=>dbms_logmnr.new);

b.添加另外的日誌文件到列表

SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' D:\database\oracle\oradata\ora817\archive
\ ARC01491.002', Options=>dbms_logmnr.addfile);

c. 移去一個日誌文件

SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' D:\database\oracle\oradata\ora817\archive
\ ARC01491.002', Options=>dbms_logmnr. REMOVEFILE);

創建了要分析的日誌文件,就可以對其進行分析。

4. 進行日誌分析
SQL> EXECUTE dbms_logmnr.start_logmnr( DictFileName=>' D:\Oracle\logs\ logmn_ora817.dat ');

可以使用相應的限制條件:

時間范圍:對dbms_logmnr.start_logmnr使用StartTime和EndTime參數

SCN范圍:對dbms_logmnr.start_logmnr使用StartScn和EndScn參數

5.觀察結果:

主要是查詢v$logmnr_contents:
SQL> desc v$logmnr_contents;

上述的相關內容就是對Oracle LogMiner工具的使用方法的描述,希望會給你帶來一些幫助在此方面。

6. 常見的大數據分析工具有哪些

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助,而大數據分析是去分析海量的數據,所以就不得不藉助一些工具去分析大數據,。一般來說,數據分析工作中都是有很多層次的,這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據,數據的存儲是一個非常重要的事情,如果懂得資料庫技術,並且能夠操作好資料庫技術,這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫,這個對於部門級或者互聯網的資料庫應用是必要的,這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本,對中小企業,一些大型企業也可以採用SQL Server資料庫,其實這個時候本身除了數據存儲,也包括了數據報表和數據分析了,甚至數據挖掘工具都在其中了。
3、DB2,Oracle資料庫都是大型資料庫了,主要是企業級,特別是大型企業或者對數據海量存儲需求的就是必須的了,一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說,當企業存儲了數據後,首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表,Bill報表,這都是全球最流行的報表工具,非常規范的報表設計思想,早期商業智能其實大部分人的理解就是報表系統,不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體,這個軟體是近年來非常棒的一個軟體,當然它已經不是單純的數據報表軟體了,而是更為可視化的數據分析軟體,因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具,當然我們最常用的就是Excel,我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體,首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能,Excel功能非常強大,甚至可以完成所有的統計分析工作!但是我也常說,有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體:當前版本是18,名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析,到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化,從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體:大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體:這些都是非常好用的流程圖、營銷圖表、地圖等,而且從這里可以得到很多零件;
3、Swiff Chart軟體:製作圖表的軟體,生成的是Flash

7. 伺服器日誌分析工具中文版哪個好用

IIS日誌查看器綠色版, 本工具使用本地SQLite微型資料庫,支持IIS6、IIS7大日誌分析處理,速度極快, 體積小巧,無廣告。
主要功能:
1. 分析日誌詳情,顯示蜘蛛\訪客到訪網址、時間、訪者IP、狀態碼等;最全的條件篩選,網頁與資源文件(jpg\png\gif\js\css\txt等)分離查詢,可根據多條件進行篩選;
2. 可快捷驗證受訪URL的在網路中的收錄、訪客IP歸屬地、定位該訪客所有訪問信息,助您排查網站是否受採集、受攻擊。
3. 日誌導入本地資料庫,方便存檔。
4. 最全的統計報表;可以:訪客分類統計、URL分組統計、狀態碼統計、IP分類統計、時間段統計等。
5. 可使用Sqlite語句進行自定義查詢, 欄位為原IIS日誌欄位名,查詢便捷。
其它功能若干,不再一一描述, 歡迎下載體驗!

8. 求一款資料庫工具,可以記錄所有執行過的SQL

你是什麼資料庫?

資料庫都有自己的日誌

MSSQL

自己就有這個可以看到所有執行的語句包括參數值等

9. 跪求MySQL Binlog Digger(日誌挖掘分析工具) V4.4 綠色版軟體百度雲資源

鏈接:

提取碼:a2vh

軟體名稱:MySQLBinlogDigger(日誌挖掘分析工具)V4.4綠色版

語言:英文軟體

大小:13.14MB

類別:系統工具

介紹:MySQLBinlogDigger基於圖形界面,綠色免安裝,能對在線binlog與離線binlog進行分析,在選定在線binlog或離線binlog日誌後,可對資料庫、表、binlog開始時間、binlog結束時間、誤操作的重做類型進行信息分析。

10. 什麼工具可以分析mysql慢查詢日誌

這是一個慢查詢日誌的展示工具,能夠幫助 DBA 或者開發人員分析資料庫的性能問題,給出全面的數據擺脫直接查看 slow-log。QAN(Query Analytics)

PMM 目前有 2 個版本,但是對於 QAN 來說其大致由三部分組成:

QAN-Agent(client):負責採集 slow-log 的數據並上報到服務端

QAN-API(server):負責存儲採集的數據,並對外提供查詢介面

QAN-APP:專門用來展示慢查詢數據的 grafana 第三方插件


1. 數據流轉

slow-log --> QAN-Agent --> QAN-API <--> QAN-APP(grafana)

2. pmm1 架構圖