Oracle外部表支持兩種類型的驅(qū)動(dòng)：一種是ORACLE_LOADER，外部表的數(shù)據(jù)必須來(lái)源于文件文件，另一種則是ORACLE_DATAPUMP，外部表的

同事最近在忙數(shù)據(jù)一致性比對(duì)工作，需要對(duì)不同文本文件中的數(shù)據(jù)進(jìn)行比對(duì)，有的文件較大，記錄較多，如果用普通的文本編輯器打開(kāi)的話，很顯然，會(huì)很卡，甚至打不開(kāi)。

基于此，可將該文本文件的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中，在集合的層面進(jìn)行比對(duì)。

那么如何將文本文件的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中呢？在這里，主要利用了Oracle的外部表特性。

Oracle外部表支持兩種類型的驅(qū)動(dòng)：一種是ORACLE_LOADER，外部表的數(shù)據(jù)必須來(lái)源于文件文件，另一種則是ORACLE_DATAPUMP，外部表的數(shù)據(jù)必須是二進(jìn)制dump文件，該dump文件是先前將Oracle內(nèi)部表的數(shù)據(jù)導(dǎo)入到外部表中填充的文件。很顯然，Oracle希望將數(shù)據(jù)保留在數(shù)據(jù)庫(kù)內(nèi)部進(jìn)行處理。

首先，我們來(lái)看一下該文本文件的大小及記錄。

[oracle@node2 ~]$ du -sm P_20150626010000_2002371.0003479598

274 P_20150626010000_2002371.0003479598[oracle@node2~]$ wc -l P_20150626010000_2002371.0003479598

2899265 P_20150626010000_2002371.0003479598

從上面的輸出可以看出，該文件274M，有2899265條記錄。

其次，構(gòu)建創(chuàng)建外部表語(yǔ)句。

CREATE TABLEemp_load

(subsidnumber(18),

servnumberVARCHAR2(20 CHAR),

subsprodidNUMBER(18),

prodidVARCHAR2(32 CHAR),

startdate date,

enddate date,

ownerVARCHAR2(4 CHAR))

ORGANIZATION EXTERNAL

(TYPE ORACLE_LOADERDEFAULTDIRECTORY tmp

ACCESS PARAMETERS

(RECORDS DELIMITEDBYNEWLINE

FIELDS TERMINATEDBY "|"

( subsidDECIMALEXTERNAL,

servnumberCHAR(20),

subsprodidDECIMALEXTERNAL,

prodidCHAR(32),

startdate date "yyyymmddhh24miss",

enddate date "yyyymmddhh24miss",

ownerCHAR(4)

)

)

LOCATION ()

);

注意，目錄tmp必須存在，因?yàn)槲沂窃趕cott用戶下執(zhí)行的，所以scott用戶必須對(duì)該路徑有讀寫權(quán)限。

第三、在scott用戶下執(zhí)行該建表語(yǔ)句。

第四、查看生成的外部表是否有問(wèn)題

SQL(*) fromemp_load;COUNT(*)

記錄與wc-l查看的記錄數(shù)吻合。

注意，建表過(guò)程中沒(méi)有報(bào)錯(cuò)并不一定意味著數(shù)據(jù)已經(jīng)成功加載在外部表中。必須通過(guò)查詢外部表來(lái)判定數(shù)據(jù)是否已成功加載，倘若有錯(cuò)誤提示，可參看當(dāng)前目錄下生成的日志文件，具體在本例中，是EMP_LOAD_2000.bad和EMP_LOAD_2000.log。

當(dāng)然，外部表中的數(shù)據(jù)只能查詢，不能做DML操作，譬如，隨機(jī)刪除表中的一條數(shù)據(jù)

SQLemp_load where rownum=1;ERROR at line1:

ORA-30657: operation not supported on external organized table

如果想對(duì)該外部表數(shù)據(jù)進(jìn)行DML操作，可先將外部表的數(shù)據(jù)導(dǎo)入到內(nèi)部表中。具體步驟如下：

SQLtest emp_load ;Tablecreated.test emp_load;2899265rows created.

Elapsed:00:01:00.29SQLtest where rownum<=100;test ERROR at line1:

ORAmodify an object after modifying it inparallel;Commitcomplete.SQLtest where rownum<=100;

在這里，為了節(jié)省時(shí)間，我用了直接路徑插入，可以看出，插入近300萬(wàn)數(shù)據(jù)，只用了1分左右的時(shí)間，考慮到我虛擬機(jī)上的數(shù)據(jù)庫(kù)，只給它分配了300M的內(nèi)存，加載的效率還是相當(dāng)可觀的。

SQL>show parameter memory

NAME

TYPE

VALUE------------------------------------ ----------- ------------------------------

hi_shared_memory_address

integer

0memory_max_target

biginteger300M

memory_target

biginteger300M

shared_memory_addressinteger

0

后來(lái)，測(cè)試了一下傳統(tǒng)路徑插入所消耗的時(shí)間，為了和直接路徑插入進(jìn)行比較，剔除SQL解析，data buffer等因素的影響，清空了共享池和buffer cache，具體如下：

SQL> conn /assysdba

Connected.

SQL> altersystem flush shared_pool;

System altered.

SQL> altersystem flush buffer_cache;

System altered.

SQL> conn scott/tiger

Connected.

SQL> set timing onSQLtest emp_load;2899265rows created.

Elapsed:00:01:05.36

用傳統(tǒng)路徑插入(即會(huì)產(chǎn)生redo日志)，耗時(shí)1分5秒，相對(duì)于直接路徑插入，兩者效率相差不大，看來(lái)還是數(shù)據(jù)量較小，不能明顯的體現(xiàn)直接路徑插入速度上的優(yōu)勢(shì)。

注意：在SQL*PLUS中，，number字段的輸出默認(rèn)為10，這樣會(huì)導(dǎo)致對(duì)于937116510102250300這樣的數(shù)值，可能會(huì)顯示為9.3712E+17，在這里，可通過(guò)set numwidth 18來(lái)顯示完整的number字段的值。

本文永久更新鏈接地址：

本文原創(chuàng)發(fā)布php中文網(wǎng)，轉(zhuǎn)載請(qǐng)注明出處，感謝您的尊重！

總結(jié)

以上是生活随笔為你收集整理的外部表如何导入mysql_如何利用Oracle外部表导入文本文件的数据的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。