当前位置:首页 » 数据仓库 » 数据库日志分析工具
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

数据库日志分析工具

发布时间: 2022-08-24 02:40:58

1. 如何对oracle11g日志分析

logminer作为相关的日志分析工具集成与oracle中,我们可通过该工具清楚的分析重做相关日志和归档日志中的所有事物变化,并且可以准确的确定各种DML和DDL操作的具体时间和SCN值。
通过logminer我们可以实现:
1,确定数据的逻辑损坏的时间
2,跟踪用户执行的事务变化操作
3,跟踪表的DML操作
如果我们要分析归档日志,我们首先修改oracle归档日志的模式,我们要把默认的归档路径改成我们自己的路径:
start mount;
alter database archivelog;
alter database open;
alter system set log_archive_dest_1='location=d:\oracle' scope=spfile;
alter system set log_archive_format='arch_%t_%s_%r.trc' scope=spfile;
查看我们修改过的归档路径:
archive log list;
查看归档日志:
select name,dest_id from v$archived_log;
如果查询的没有更改,我们需要重启一下数据库
安装logminer,安装logminer需要我们安装下面的几个包:
$ORACLE_HOME/rdbms/admin/dbmslm.sql
$ORACLE_HOME/rdbms/admin/dbmslmd.sql
$ORACLE_HOME/rdbms/admin/dbmslms.sql
这几个脚本必须是sys用户运行
@$ORACLE_HOME/rdbms/admin/dbmslm.sql
@$ORACLE_HOME/rdbms/admin/dbmslmd.sql
@$ORACLE_HOME/rdbms/admin/dbmslms.sql
添加数据字典,需要添加参数utl_file_dir,
alter system set utl_file_dir='/home/oracle/dir' scope=spfile;
添加supplement logging
首先查看
select name,supplemental_log_data_min from v$database;是否是yes
YES为打开状态,会记录session_info,username等信息
NO为关闭状态,不会记录sesion_info,username等信息
添加
alter database add supplemental log data;
关闭
alter database drop supplemental log data;
重启数据库,这样我们刚才的两个参数就会生效;
查看数据字典:
show parameter utl;
添加数据字典:
SQL> begin
2 dbms_logmnr_d.build(
3 dictionary_filename=>'logminer_dict.dat',
4 dictionary_location=>'/home/oracle/logminer');
5 end;
6 /
PL/SQL procere successfully completed.
或是:
execute dbms_logmnr_d.build(dictionary_filename=>'logminer_dict.dat',dictionary_location=>'/home/oracle/logminer');
创建登录触发器:
SQL> create or replace trigger on_logon_tigger
2 after logon on database
3 begin
4 dbms_application_info.set_client_info(sys_context('userenv','ip_address'));
5 end;
6 /
Trigger created.
我们就可以在V$SESSION视图的CLIENT_INFO列中看到新登录的客户端IP地址了。那么现在就可以在
添加要分析的归档日志文件
SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_6_758944049_1.trc',options=>dbms_logmnr.new);
4 end;
5 /
PL/SQL procere successfully completed.

SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_7_758944049_1.trc',
4 options=>dbms_logmnr.addfile);
5 end;
6 /
PL/SQL procere successfully completed.

切换归档日志:
alter system switch logfile;
开启分析:
execute dmbs_logmnr.start_logmnr(dictfilename='/home/oracle/logminer/logminer_dict.dat');
或是:
execute dbms_logmnr.start_logmnr;
查询归档日志:
SQL> select name from v$archived_log;
NAME
--------------------------------------------------------------------------------
/home/oracle/arch/arch_6_758944049_1.trc
/home/oracle/arch/arch_7_758944049_1.trc
/home/oracle/arch/arch_8_758944049_1.trc
为了节约pga的空间,当我们分析完日志后,移除不需要的日志:
SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_7_758944049_1.trc',
4 options=>dbms_logmnr.removefile);
5 end;
6 /
PL/SQL procere successfully completed.

查询结果在v$logmnr_contents;
查询数据库上面的操作
select scn,sql_redo,timestamp from v$logmnr.contents;
关闭分析
execute dbms_logmnr.stop_logmnr;
查询的时候最好使用plsql查询。

2. 大数据分析一般用什么工具呢

虽然数据分析的工具千万种,综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。


  • Python

  • Python,是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。

    常见的一种应用情形是,使用Python快速生成程序的原型(有时甚至是程序的最终界面),然后对其中有特别要求的部分,用更合适的语言改写,比如3D游戏中的图形渲染模块,性能要求特别高,就可以用C/C++重写,而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题,某些可能不提供跨平台的实现。

  • R软件

  • R是一套完整的数据处理、计算和制图软件系统。它可以提供一些集成的统计工具,但更大量的是它提供各种数学计算、统计计算的函数,从而使使用者能灵活机动的进行数据分析,甚至创造出符合需要的新的统计计算方法。

  • SPSS

  • SPSS是世界上最早的统计分析软件,具有完整的数据输入、编辑、统计分析、报表、图形制作等功能,能够读取及输出多种格式的文件。

  • Excel

  • 可以进行各种数据的处理、统计分析和辅助决策操作,广泛地应用于管理、统计财经、金融等众多领域。

  • SAS软件

  • SAS把数据存取、管理、分析和展现有机地融为一体。提供了从基本统计数的计算到各种试验设计的方差分析,相关回归分析以及多变数分析的多种统计分析过程,几乎囊括了所有最新分析方法,其分析技术先进,可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。

3. 大数据分析工具都有哪些

思迈特软件Smartbi数据分析平台:定位为一站式满足所有用户全面需求场景的大数据分析平台。它融合了BI定义的所有阶段,对接各种业务数据库、数据仓库和大数据分析平台,进行加工处理、分析挖掘和可视化展现;满足所有用户的各种数据分析应用需求,如大数据分析、可视化分析、探索式分析、企业报表平台、应用分享等等。
大数据分析的特点有以下几点:第一,数据体量巨大。从TB级别,跃升到PB级别。第二,数据类型繁多,包括网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。大数据分析软件让企业能够从数据仓库获得洞察力,从而在数据驱动的业务环境中提供重要的竞争优势。
Smartbi是目前国内大数据分析软件的佼佼者。主打的是企业报表和自助式分析2个特点,最高可以支撑20亿数据的秒级呈现,适用于企业中的技术人员、业务人员和数据分析师,可以完全自主的进行探索式分析,软件在易用性和功能上做的都很不错,说实话,国内的BI行业由于起步较晚,能做到这个程度的确是下了一番功夫。相较于国外产品而言,Smartbi最大的优势在于Smartbi自主搭建的实施团队和服务团队,强大的服务让它成为国内首屈一指的商业智能产品。

4. 用什么数据库存储访问日志做分析比较好

日志记录的是,我们操作系统或某个服务或某个软件在运行过程当中所产生事件信息的,这对于我们后续分析系统比较有价值。
比如,某个服务在运行过程中出现故障了,就可以查看该服务的日志信息,分析日志找出服务出现故障的原因所在。
如:我们使用【yum】工具安装软件,系统都会把程序yum做的操作记录到日志里。
如果,我们管理的不是一台主机,每台主机的日志信息都是单独存放的,如果要分析报告当前所有主机的的所有服务的过去某一时间段运行状态,我们则要逐一查看每一台主机的日志文件了。这很不方便。不利于使用一些日志分析工具来分析日志。所以我们要做日志的集中化存储。意思是说:把所有主机产生日志信息发往日志服务器,由日志服务器帮助众多需要存储日志数据的主机存储日志数据。
存储日志数据有两种方式:
1、使用文件存储日志数据
2、把日志信息存储到数据库里

5. 如何使用Oracle的LogMiner工具

我们可以使用logminer分析其它instance(版本可不一致)的重做日志文件,但是必须遵循以下要求:

1.LogMiner日志分析工具仅能够分析Oracle 8以后的产品

2.LogMiner必须使用被分析数据库实例产生的字典文件,且安装LogMiner数据库的字符集必须和被分析数据库的字符集相同

3.被分析数据库平台必须和当前LogMiner所在数据库平台一样,且block size相同。

使用logminer

1.安装logminer:

要安装Oracle LogMiner工具,必须首先要运行下面这样两个脚本,
$ORACLE_HOME/rdbms/admin/dbmslm.sql $ORACLE_HOME/rdbms/admin/dbmslmd.sql.

这两个脚本必须均以SYS用户身份运行。

2.创建数据字典文件

首先在init.ora初始化参数文件中,添加参数UTL_FILE_DIR,该参数值为服务器中放置数据字典文件的目录。如:
UTL_FILE_DIR = (D:\Oracle\logs)

重新启动数据库,使新加的参数生效,然后创建数据字典文件:
SQL> EXECUTE dbms_logmnr_d.build( dictionary_filename => ' logmn_ora817.dat', dictionary_location => ' D:\Oracle\logs ');

创建数据字典是让LogMiner引用涉及到内部数据字典中的部分时使用对象的名称,而不是系统内部的16进制的ID。如果我们要分析的数据库中的表有变化,影响到库的数据字典也发生变化,就需要重新创建该字典。

3.添加要分析的日志文件

Oracle Logminer工具可以用来分析在线的重做日志文件和归档日志文件,但是我们一般建议使用归档的日志文件。

a.添加新的日志文件:

SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' D:\database\oracle\oradata\ora817\archive
\ ARC01491.001 ', Options=>dbms_logmnr.new);

b.添加另外的日志文件到列表

SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' D:\database\oracle\oradata\ora817\archive
\ ARC01491.002', Options=>dbms_logmnr.addfile);

c. 移去一个日志文件

SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' D:\database\oracle\oradata\ora817\archive
\ ARC01491.002', Options=>dbms_logmnr. REMOVEFILE);

创建了要分析的日志文件,就可以对其进行分析。

4. 进行日志分析
SQL> EXECUTE dbms_logmnr.start_logmnr( DictFileName=>' D:\Oracle\logs\ logmn_ora817.dat ');

可以使用相应的限制条件:

时间范围:对dbms_logmnr.start_logmnr使用StartTime和EndTime参数

SCN范围:对dbms_logmnr.start_logmnr使用StartScn和EndScn参数

5.观察结果:

主要是查询v$logmnr_contents:
SQL> desc v$logmnr_contents;

上述的相关内容就是对Oracle LogMiner工具的使用方法的描述,希望会给你带来一些帮助在此方面。

6. 常见的大数据分析工具有哪些

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助,而大数据分析是去分析海量的数据,所以就不得不借助一些工具去分析大数据,。一般来说,数据分析工作中都是有很多层次的,这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据,数据的存储是一个非常重要的事情,如果懂得数据库技术,并且能够操作好数据库技术,这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库,这个对于部门级或者互联网的数据库应用是必要的,这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本,对中小企业,一些大型企业也可以采用SQL Server数据库,其实这个时候本身除了数据存储,也包括了数据报表和数据分析了,甚至数据挖掘工具都在其中了。
3、DB2,Oracle数据库都是大型数据库了,主要是企业级,特别是大型企业或者对数据海量存储需求的就是必须的了,一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说,当企业存储了数据后,首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表,Bill报表,这都是全球最流行的报表工具,非常规范的报表设计思想,早期商业智能其实大部分人的理解就是报表系统,不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件,这个软件是近年来非常棒的一个软件,当然它已经不是单纯的数据报表软件了,而是更为可视化的数据分析软件,因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具,当然我们最常用的就是Excel,我经常用的就是统计分析和数据挖掘工具;
1、Excel软件,首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能,Excel功能非常强大,甚至可以完成所有的统计分析工作!但是我也常说,有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件:当前版本是18,名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析,到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化,从重视医学、化学等开始越来越重视商业分析,现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件:大部分人都是用PPT写报告。
2、Visio、SmartDraw软件:这些都是非常好用的流程图、营销图表、地图等,而且从这里可以得到很多零件;
3、Swiff Chart软件:制作图表的软件,生成的是Flash

7. 服务器日志分析工具中文版哪个好用

IIS日志查看器绿色版, 本工具使用本地SQLite微型数据库,支持IIS6、IIS7大日志分析处理,速度极快, 体积小巧,无广告。
主要功能:
1. 分析日志详情,显示蜘蛛\访客到访网址、时间、访者IP、状态码等;最全的条件筛选,网页与资源文件(jpg\png\gif\js\css\txt等)分离查询,可根据多条件进行筛选;
2. 可快捷验证受访URL的在网络中的收录、访客IP归属地、定位该访客所有访问信息,助您排查网站是否受采集、受攻击。
3. 日志导入本地数据库,方便存档。
4. 最全的统计报表;可以:访客分类统计、URL分组统计、状态码统计、IP分类统计、时间段统计等。
5. 可使用Sqlite语句进行自定义查询, 字段为原IIS日志字段名,查询便捷。
其它功能若干,不再一一描述, 欢迎下载体验!

8. 求一款数据库工具,可以记录所有执行过的SQL

你是什么数据库?

数据库都有自己的日志

MSSQL

自己就有这个可以看到所有执行的语句包括参数值等

9. 跪求MySQL Binlog Digger(日志挖掘分析工具) V4.4 绿色版软件百度云资源

链接:

提取码:a2vh

软件名称:MySQLBinlogDigger(日志挖掘分析工具)V4.4绿色版

语言:英文软件

大小:13.14MB

类别:系统工具

介绍:MySQLBinlogDigger基于图形界面,绿色免安装,能对在线binlog与离线binlog进行分析,在选定在线binlog或离线binlog日志后,可对数据库、表、binlog开始时间、binlog结束时间、误操作的重做类型进行信息分析。

10. 什么工具可以分析mysql慢查询日志

这是一个慢查询日志的展示工具,能够帮助 DBA 或者开发人员分析数据库的性能问题,给出全面的数据摆脱直接查看 slow-log。QAN(Query Analytics)

PMM 目前有 2 个版本,但是对于 QAN 来说其大致由三部分组成:

QAN-Agent(client):负责采集 slow-log 的数据并上报到服务端

QAN-API(server):负责存储采集的数据,并对外提供查询接口

QAN-APP:专门用来展示慢查询数据的 grafana 第三方插件


1. 数据流转

slow-log --> QAN-Agent --> QAN-API <--> QAN-APP(grafana)

2. pmm1 架构图