日志挖掘(logminer)
如何使用logminer分析Oracle ? 聯機日志 ??
? ??
? 筆者在工作中經常遇到這樣的情況：為了追蹤數據的變化，需要知道某個表或者表中的某行數據是什么時候被修改的，以及修改前的內容。但是，Oracle并不提供這樣的功能。怎么才能做到這一點呢？我們都知道，Oracle ? 的聯機日志（Online ? redo ? log）和歸檔日志（Archived ? redo ? log）中記錄了每一個數據庫事務（transaction），也就是說，這些日志文件中保存了自Oracle運行以來所有的數據修改操作，但是，在Oracle ? 8以及以前的版本中，并沒有提供任何手段可以讓DBA來發掘這里面的內容。這正像一座富礦，卻沒有手段開采，只能任其沉睡。但是現在情況已經改變，Oracle ? 8i ? 中提供了一個工具，logminer，來分析這些日志文件。本文就是結合筆者的使用經驗，介紹這個工具的使用。 ? ??
? ? ??
? 本文分三部分：第一部分，介紹如何設置、使用logminer；第二部分，介紹一些logminer的實際應用；第三部分，介紹logminer ? 的兩個特別技巧 ? ??
? ? ??
? 第一部分：設置logminer ? ??
? ? ??
? 一， ? 首先，建立一個字典文件(dictionary ? file)。 ? ??
? Oracle ? 的日志文件中，對于表等用戶對象( ? Object)，并不是保存名字，而是保存一個ID ? 號。建立字典文件的目的就是使logminer在分析時可以將Object ? ID翻譯成我們所熟悉的對象名。 ? ??
? 建立字典文件之前，先要確保數據庫的初始化參數 ? UTL_FILE_DIR ? 已經正確地設置。在sqlplus ? 下鍵入 ? show ? parameters ? utl_file_dir, ? 可以看到該參數的當前設置。如果沒有值，必須修改數據庫的initsid.ora文件，將utl_file_dir ? 指向一個你想用來保存字典文件的路徑。本例中，筆者設置 ? UTL_FILE_DIR=/u11/logs。 ? ??
? 創建字典文件的語句如下例： ? ??
? begin ? sys.dbms_logmnr_d.build(dictionary_filename=>'dictionary.ora', ? dictionary_location ? =>'/u11/logs'); ? ??
? end; ? ??
? 其中，dictionary.ora是筆者給字典文件起的文件名（可任意）。 ? ??
? 整個創建過程，可能需要十幾分鐘到一個小時，視該數據庫的object ? 個數以及繁忙程度而定。完成后，會在/u11/logs目錄下看到一個名為dictionary.ora的文件。 ? ??
? ? ??
? 二， ? 選取要分析的文件 ? ??
? 日志文件和歸檔日志文件的數量是非常多的。以筆者公司的數據庫而言，每半小時要產生一個50M的日志文件，數據量非常之大。因此事實上不可能把所有的日志文件都分析一遍（你要做也行，不過要保證有足夠的空間和時間，并且不怕影響數據庫性能），通常選取你感興趣的時間段內的日志進行分析。 ? ??
? 選取日志文件的操作如下例： ? ??
? begin ? sys.dbms_logmnr.add_logfile ? (logfilename ? =>'/02/admin/mydb/redo01.log', ? options=>sys.dbms_logmnr.NEW); ? ??
? end; ? ??
? ? ??
? 一次只能選取一個文件。若要增加文件，使用下例： ? ??
? begin ? sys.dbms_logmnr.add_logfile ? (logfilename ? =>'/02/admin/mydb/redo02.log', ? options=>sys.dbms_logmnr.ADDFILE); ? ??
? end; ? ??
? ? ??
? 若想去掉一個已經選取或增加的文件，使用REMOVEFILE: ? ??
? begin ? sys.dbms_logmnr.add_logfile ? (logfilename ? =>'/02/admin/mydb/redo02.log', ? options=>sys.dbms_logmnr.REMOVEFILE); ? ??
? end; ? ??
? ? ??
? 如此反復操作，可以把所有要分析的文件都選取進去。????
三， ? 進行分析 ? ??
? 選取好所有需要分析的文件后，執行下面的命令，開始分析： ? ??
? begin ? sys.dbms_logmnr.start_logmnr ? (dictfilename ? =>'dictionary.ora'); ? ??
? end; ? ??
? 注意，這里的dictionary.ora就是前面創建的字典文件名。 ? ??
? 分析過程根據所選取文件的數據量，可能需要幾個小時。有時候，DBA可能并不需要這些日志文件中所有的數據，那么能否只分析部分數據呢？Oracle ? 容許你只分析指定時間段或者指定SCN段的數據，語法示例如下： ? ??
? begin ? sys.dbms_logmnr.start_logmnr ? (dictfilename ? =>'dictionary.ora'，starttime ? =>to_date('01-Aug-2001 ? 08:30:00', ? 'DD-MON-YYYY ? HH:MI:SS'),endtime ? => ? to_date('01-Aug-2001 ? 08:45:00', ? 'DD-MON-YYYY ? HH:MI:SS')); ? ??
? end; ? ??
? 或者， ? ??
? begin ? sys.dbms_logmnr.start_logmnr ? (dictfilename ? =>'dictionary.ora'，startscn ? =>100,endscn ? =>500); ? ??
? end; ? ??
? ? ??
? 分析結束后，所分析到的數據可以從一個名為 ? V$LOGMNR_CONTENTS的視圖中查詢到。我們就可以應用這個視圖中的內容來達成目的。 ? ??
? ? ??
? 第二部分：應用logminer ? ??
? ? ??
? 應用范例一：跟蹤一個特定用戶 ? ??
? ? ??
? DBA對某一個具有數據修改權限的用戶產生了疑問，想了解該用戶在最近幾天對數據做了什么樣的修改。審計（Audit）只能知道該用戶修改了哪些表，無法確認所修改的內容（Trigger ? Audit ? 可以確認內容，但嚴重影響系統性能）。使用logminer ? 可以做到。 ? ??
? 在按照第一部分的說明進行操作后，查詢v$logmnr_contents視圖： ? ??
? SELECT ? sql_redo, ? sql_undo ? FROM ? v$logmnr_contents ? WHERE ? username ? = ? 'Sigurd' ? AND ? tablename ? = ? 'SALARY'; ? ??
? 這個語句查詢用戶Sigurd ? 對Salary ? 表進行過什么樣的修改。可能的輸出如下： ? ??
? SQL_REDO ? SQL_UNDO ? ??
? -------- ? -------- ? ??
? delete ? * ? from ? SALARY ? insert ? into ? SALARY ? ? ??
? where ? EMPNO ? = ? 12345 ? ( ? NAME,EMPNO,SAL) ? ??
? and ? ROWID ? = ? 'AAABOOAABAAEPCABA'; ? values ? ('Sigurd', ? 12345,500); ? ??
? ? ??
? insert ? into ? SALARY(NAME, ? EMPNO, ? SAL) ? delete ? * ? from ? SALARY ? ??
? values('Sigurd',12345,2500); ? where ? EMPNO ? = ? 12345 ? ??
? and ? ROWID ? = ? ‘AAABOOAABAAEPCABA'; ? ??
? 2 ? rows ? selected ? ??
? ? ??
? 可以看到，Sigurd ? 對自己的工資進行了修改，將修改前的500提高到了修改后的2500 ? . ? 注意update操作在日志中是被紀錄成一個delete操作外加一個insert操作。從SQL_UNDO列中可以看到update前的內容，Sigurd的薪水是500。從SQL_REDO列看到，新的薪水是2500，其他數據未變。如果在查詢中加入 ? timestamp ? 這個字段，更可以看到修改所發生的具體時間。 ? ?
Logminer是每個Dba都應熟悉的工具，當一天由于用戶的誤操作你需要做不完全的恢復時，由于你無法確定這個操作是哪個時間做的，所以這對你的恢復 就帶來的很大的難度，丟失的數據也不能完全恢復回來。而LogMiner就可以幫你確定這個誤操作的準確時間。
測試環境是Aix4.3.3的操作系統，Oracle9.2.0.3的測試庫。
一、LogMiner的幾點說明
1、LogMiner可以幫你確定在某段時間所發的各種DML，DDL操作的具體時間和SCN號，它所依據的是歸檔日志文件及聯機日志文件。
2、它只能在Oracle8i及以后的版本中使用，不過它可以分析Oracle8的日志。
3、Oracle8i只能用于分析DML操作，到Oracle9i則可以分析DDL操作了。
4、LogMiner不支持索引組織表、Long、LOB及集合類型。
5、MTS的環境也不能使用LogMiner.
二、操作步驟
1、設定用于LogMiner分析的數據文件存放的位置
?這是設定utl_file_dir參數的過程，我的示例:
?a、在initctc.ora文件中加入如下一行
??? utl_file_dir=/u01/arch
?b、得啟數據庫
?? oracle>sqlplus /nolog???
?? sql>conn / as sysdba
?? sql>shutdown immediate
?? sql>statup
2、生成數據字典文件,是通過dbms_logmnr_d.build()來完成。
? SQL> BEGIN
?? 2???? dbms_logmnr_d.build(
?? 3?????? dictionary_filename => 'logminer_dict.dat',
?? 4?????? dictionary_location => '/u01/arch'
?? 5???? );
?? 6? END;
?? 7 /?
??
? dictionary_location指的是Logminer數據字典文件存放的位置,它必須匹配utl_file_dir的設定。
? 其中的dictionary_filename指的是放于存放位置的字典文件的名字,名字可以任意取。
3、建立一個日志分析表
? a、建立日志分析表數據庫必須在mount或nomount狀態,啟動數據庫到mount狀態。
??? sqlplus /nolog
??? sql>conn / as sysdba
??? sql>shutdown immediate
??? sql>starup mount
??
? b、建立日志分析表,使用dbms_logmnr.add_logfile()
??? SQL> BEGIN
? ?? 2???? dbms_logmnr.add_logfile(
?? ? 3?????? options => dbms_logmnr.new,
?? ? 4?????? logfilename => '/u01/arch/arc_ctc_0503.arc'
?? ? 5???? );
?? ? 6? END;
?? ? 7 /???????
??? 其中的options有三種取值，dbms_logmnr.new用于建一個日志分析表;dbms_logmnr.addfile用于加入用于分析的的日志文件;dbms_logmnr.removefile用于移出用于分析的日志文件。
???????
4、添加用于分析的日志文件。
??? SQL> BEGIN
?? ? 2???? dbms_logmnr.add_logfile(
?? ? 3?????? options => dbms_logmnr.addfile,
?? ? 4?????? logfilename => '/u01/arch/arc_ctc_0504.arc'
?? ? 5???? );
?? ? 6? END;
?? ? 7 /?
??
? 使用則可以把這個文件從日志分析表中移除，從而不進行分析。
??? SQL> BEGIN
?? ? 2???? dbms_logmnr.add_logfile(
?? ? 3?????? options => dbms_logmnr.removefile,
?? ? 4?????? logfilename => '/u01/arch/arc_ctc_0503.arc'
?? ? 5???? );
?? ? 6? END;
?? ? 7 /???
?? ?
5、啟動LogMiner進行分析。
??? SQL> BEGIN
?? ? 2???? dbms_logmnr.start_logmnr(
?? ? 3?????? dictfilename => '/u01/arch/logminer_dict.dat',
?? ? 4?????? starttime => to_date('20030501 12:15:00','yyyymmdd hh24:mi:ss'),
?? ? 5?????? endtime => to_date('20030501 15:40:30','yyyymmdd hh24:mi:ss')
?????6???? );
???? 7? END;
???? 8 /?
????
??? 即分析2003年5月1日這天12:15至15:40這段時間，并把分析結果放到數據字典中以用于查詢。還有兩個參數StartScn(起始scn號)及EndScn(終止Scn)號。
6、查看日志分析的結果,通過查詢v$logmnr_contents可以查詢到
? a、查看DML操作,示例:
??? SELECT operation,
?????????? sql_redo,
?????????? sql_undo,
????? FROM V$logmnr_contents
???? WHERE seg_name = 'QIUYB';
???
???? OPERATION???? SQL_REDO??????????????????? SQL_UNDO
???? ----------??? --------------------------? --------------------------
???? INSERT??????? inser into qiuyb.qiuyb ...? delete from qiuyb.qiuyb...
??
??? 其中operation指的是操作，sql_redo指的是實際的操作，sql_undo指的是用于取消的相反的操作。
??
? b、查看DDL操作,示例:
??? SELECT timstamp,
?????????? sql_redo
????? FROM v$logmnr_contents
???? WHERE upper(sql_redo) like '%TRUNCATE%';
7、結束LogMiner的分析。
? SQL>BEGIN
?? 2???? dbms_logmnr.end_logmnr;
?? 3?? end;
?? 4 /
三、與LogMiner相關的數據字典。
1、v$loglist?????????? 它用于顯示歷史日志文件的一些信息
2、v$logmnr_dictionary 因logmnr可以有多個字典文件，該視圖用于顯示這方面信息。
3、v$logmnr_parameters 它用于顯示logmnr的參數
4、v$logmnr_logs?????? 它用于顯示用于分析的日志列表信息。
=====================================================================================
Oracle LogMiner 是Oracle公司從產品8i以后提供的一個實際非常有用的分析工具，使用該工具可以輕松獲得Oracle 重作日志文件（歸檔日志文件）中的具體內容，特別是，該工具可以分析出所有對于數據庫操作的DML（insert、update、delete等）語句， 另外還可分析得到一些必要的回滾SQL語句。該工具特別適用于調試、審計或者回退某個特定的事務。
LogMiner分析工具實際 上是由一組PL/SQL包和一些動態視圖（Oracle8i內置包的一部分）組成，它作為Oracle數據庫的一部分來發布，是8i產品提供的一個完全免 費的工具。但該工具和其他Oracle內建工具相比使用起來顯得有些復雜，主要原因是該工具沒有提供任何的圖形用戶界面（GUI）。本文將詳細介紹如何安 裝以及使用該工具。
一、LogMiner的用途
日志文件中存放著所有進行數據庫恢復的數據，記錄了針對數據庫結構的每一個變化，也就是對數據庫操作的所有DML語句。
在Oracle 8i之前，Oracle沒有提供任何協助數據庫管理員來讀取和解釋重作日志文件內容的工具。系統出現問題，對于一個普通的數據管理員來講，唯一可以作的工 作就是將所有的log文件打包，然后發給Oracle公司的技術支持，然后靜靜地等待Oracle 公司技術支持給我們最后的答案。然而從8i以后，Oracle提供了這樣一個強有力的工具-LogMiner。
LogMiner 工具即可以用來分析在線，也可以用來分析離線日志文件，即可以分析本身自己數據庫的重作日志文件，也可以用來分析其他數據庫的重作日志文件。
總的說來，LogMiner工具的主要用途有：
1． 跟蹤數據庫的變化：可以離線的跟蹤數據庫的變化，而不會影響在線系統的性能。
2． 回退數據庫的變化：回退特定的變化數據，減少point-in-time recovery的執行。
3． 優化和擴容計劃：可通過分析日志文件中的數據以分析數據增長模式。
二、安裝LogMiner
要安裝LogMiner工具，必須首先要運行下面這樣兩個腳本，
l $ORACLE_HOME/rdbms/admin/dbmslm.sql
2 $ORACLE_HOME/rdbms/admin/dbmslmd.sql.
這兩個腳本必須均以SYS用戶身份運行。其中第一個腳本用來創建DBMS_LOGMNR包，該包用來分析日志文件。第二個腳本用來創建DBMS_LOGMNR_D包，該包用來創建數據字典文件。
三、使用LogMiner工具
下面將詳細介紹如何使用LogMiner工具。
1、創建數據字典文件（data-dictionary）
前面已經談到，LogMiner工具實際上是由兩個新的PL/SQL內建包（(DBMS_LOGMNR 和 DBMS_ LOGMNR_D）和四個V$動態性能視圖（視圖是在利用過程DBMS_LOGMNR.START_LOGMNR啟動LogMiner時創建）組成。在使 用LogMiner工具分析redo log文件之前，可以使用DBMS_LOGMNR_D 包將數據字典導出為一個文本文件。該字典文件是可選的，但是如果沒有它，LogMiner解釋出來的語句中關于數據字典中的部分（如表名、列名等）和數值 都將是16進制的形式，我們是無法直接理解的。例如，下面的sql語句：
INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '張三');
LogMiner解釋出來的結果將是下面這個樣子，
insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65'));
創建數據字典的目的就是讓LogMiner引用涉及到內部數據字典中的部分時為他們實際的名字，而不是系統內部的16進制。數據字典文件是一個文本文 件，使用包DBMS_LOGMNR_D來創建。如果我們要分析的數據庫中的表有變化，影響到庫的數據字典也發生變化，這時就需要重新創建該字典文件。另外 一種情況是在分析另外一個數據庫文件的重作日志時，也必須要重新生成一遍被分析數據庫的數據字典文件。
首先在init.ora初始化參數文件中，指定數據字典文件的位置，也就是添加一個參數UTL_FILE_DIR，該參數值為服務器中放置數據字典文件的目錄。如：
UTL_FILE_DIR = (e:\Oracle\logs)
重新啟動數據庫，使新加的參數生效，然后創建數據字典文件：
SQL> CONNECT SYS
SQL> EXECUTE dbms_logmnr_d.build(
dictionary_filename => ' v816dict.ora',
dictionary_location => 'e:\oracle\logs');?
2、創建要分析的日志文件列表
Oracle的重作日志分為兩種，在線（online）和離線（offline）歸檔日志文件，下面就分別來討論這兩種不同日志文件的列表創建。
（1）分析在線重作日志文件
A. 創建列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' e:\Oracle\oradata\sxf\redo01.log',
Options=>dbms_logmnr.new);
B. 添加其他日志文件到列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' e:\Oracle\oradata\sxf\redo02.log',
Options=>dbms_logmnr.addfile);（2）分析離線日志文件
A.創建列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' E:\Oracle\oradata\sxf\archive\ARCARC09108.001',
Options=>dbms_logmnr.new);
B.添加另外的日志文件到列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' E:\Oracle\oradata\sxf\archive\ARCARC09109.001',
Options=>dbms_logmnr.addfile);關于這個日志文件列表中需要分析日志文件的個數完全由你自己決定，但這里建議最好是每次只添加一個需要分析的日志文件，在對該文件分析完畢后，再添加另外的文件。
和添加日志分析列表相對應，使用過程 'dbms_logmnr.removefile' 也可以從列表中移去一個日志文件。下面的例子移去上面添加的日志文件e:\Oracle\oradata\sxf\redo02.log。
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' e:\Oracle\oradata\sxf\redo02.log',
Options=>dbms_logmnr. REMOVEFILE);
創建了要分析的日志文件列表，下面就可以對其進行分析了。
3、使用LogMiner進行日志分析
（1）無限制條件
SQL> EXECUTE dbms_logmnr.start_logmnr(
DictFileName=>' e:\oracle\logs\ v816dict.ora ');
（2）有限制條件
通過對過程DBMS_ LOGMNR.START_LOGMNR中幾個不同參數的設置（參數含義見表1），可以縮小要分析日志文件的范圍。通過設置起始時間和終止時間參數我們可 以限制只分析某一時間范圍的日志。如下面的例子，我們僅僅分析2001年9月18日的日志，：
SQL> EXECUTE dbms_logmnr.start_logmnr(
DictFileName => ' e:\oracle\logs\ v816dict.ora ',
StartTime => to_date('2001-9-18 00:00:00','YYYY-MM-DD HH24:MI:SS')
EndTime => to_date(''2001-9-18 23:59:59','YYYY-MM-DD HH24:MI:SS '));
也可以通過設置起始SCN和截至SCN來限制要分析日志的范圍：
SQL> EXECUTE dbms_logmnr.start_logmnr(
DictFileName => ' e:\oracle\logs\ v816dict.ora ',
StartScn => 20,
EndScn => 50);
表1 DBMS_LOGMNR.START__LOGMNR過程參數含義?
4、觀察分析結果（v$logmnr_contents）
到現在為止，我們已經分析得到了重作日志文件中的內容。動態性能視圖v$logmnr_contents包含LogMiner分析得到的所有的信息。
SELECT sql_redo FROM v$logmnr_contents;
如果我們僅僅想知道某個用戶對于某張表的操作，可以通過下面的SQL查詢得到，該查詢可以得到用戶DB_ZGXT對表SB_DJJL所作的一切工作。
SQL> SELECT sql_redo FROM v$logmnr_contents WHERE username='DB_ZGXT' AND tablename='SB_DJJL';
需要強調一點的是，視圖v$logmnr_contents中的分析結果僅在我們運行過程'dbms_logmrn.start_logmnr'這個會 話的生命期中存在。這是因為所有的LogMiner存儲都在PGA內存中，所有其他的進程是看不到它的，同時隨著進程的結束，分析結果也隨之消失。
最后，使用過程DBMS_LOGMNR.END_LOGMNR終止日志分析事務，此時PGA內存區域被清除，分析結果也隨之不再存在。
四、其他注意事項
我們可以利用LogMiner日志分析工具來分析其他數據庫實例產生的重作日志文件，而不僅僅用來分析本身安裝LogMiner的數據庫實例的redo logs文件。使用LogMiner分析其他數據庫實例時，有幾點需要注意：
1. LogMiner必須使用被分析數據庫實例產生的字典文件，而不是安裝LogMiner的數據庫產生的字典文件，另外必須保證安裝LogMiner數據庫的字符集和被分析數據庫的字符集相同。
2. 被分析數據庫平臺必須和當前LogMiner所在數據庫平臺一樣，也就是說如果我們要分析的文件是由運行在UNIX平臺上的Oracle 8i產生的，那么也必須在一個運行在UNIX平臺上的Oracle實例上運行LogMiner，而不能在其他如Microsoft NT上運行LogMiner。當然兩者的硬件條件不一定要求完全一樣。
3. LogMiner日志分析工具僅能夠分析Oracle 8以后的產品，對于8以前的產品，該工具也無能為力。
五、結語
LogMiner對于數據庫管理員（DBA）來講是個功能非常強大的工具，也是在日常工作中經常要用到的一個工具，借助于該工具，可以得到大量的關于數 據庫活動的信息。其中一個最重要的用途就是不用全部恢復數據庫就可以恢復數據庫的某個變化。另外，該工具還可用來監視或者審計用戶的活動，如你可以利用 LogMiner工具察看誰曾經修改了那些數據以及這些數據在修改前的狀態。我們也可以借助于該工具分析任何Oracle 8及其以后版本產生的重作日志文件。另外該工具還有一個非常重要的特點就是可以分析其他數據庫的日志文件。總之，該工具對于數據庫管理員來講，是一個非常 有效的工具，深刻理解及熟練掌握該工具，對于每一個數據庫管理員的實際工作是非常有幫助的。
總結
以上是生活随笔為你收集整理的日志挖掘(logminer)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Oracle数据块原理深入剖析
- 下一篇： LogMiner学习笔记