日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

转://使用insert插入大量数据的总结

發布時間:2025/3/20 编程问答 44 豆豆
生活随笔 收集整理的這篇文章主要介紹了 转://使用insert插入大量数据的总结 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

使用insert插入大量數據的個人經驗總結在很多時候,我們會需要對一個表進行插入大量的數據,并且希望在盡可能短的時間內完成該工作,這里,和大家分享下我平時在做大量數據insert的一些經驗。 前提:在做insert數據之前,如果是非生產環境,請將表的索引和約束去掉,待insert完成后再建索引和約束。

1.insert into tab1 select * from tab2;

commit;

這是最基礎的insert語句,我們把tab2表中的數據insert到tab1表中。根據經驗,千萬級的數據可在1小時內完成。但是該方法產生的arch會非常快,需要關注歸檔的產生量,及時啟動備份軟件,避免arch目錄撐爆。

2.alter table tab1 nologging;

insert /*+ append */ into tab1 select * from tab2;

commit;

alter table tab1 logging;

該方法會使得產生arch大大減少,并且在一定程度上提高時間,根據經驗,千萬級的數據可在45分鐘內完成。但是請注意,該方法適合單進程的串行方式,如果當有多個進程同時運行時,后發起的進程會有enqueue的等待。

注意此方法千萬不能dataguard上用(不過要是在database已經force logging那也是不怕的,呵呵)!!

3.insert into tab1 select /*+ parallel */ * from tab2;

commit;

對于select之后的語句是全表掃描的情況,我們可以加parallel的hint來提高其并發,這里需要注意的是最大并發度受到初始化參數parallel_max_servers的限制,并發的進程可以通過v$px_session查看,或者ps -ef |grep ora_p查看。

4.alter session enable parallel dml;

insert /*+ parallel */ into tab1 select * from tab2;

commit;

與方法2相反,并發的insert,尚未比較和方法2哪個效率更高(偶估計是方法2快),有測試過的朋友歡迎補充。

5.insert into tab1 select * from tab2 partition (p1);

insert into tab1 select * from tab2 partition (p2);

insert into tab1 select * from tab2 partition (p3);

insert into tab1 select * from tab2 partition (p4);

對于分區表可以利用tab1進行多個進程的并發insert,分區越多,可以啟動的進程越多。我曾經試過insert 2.6億行記錄的一個表,8個分區,8個進程,如果用方法2,單個進程完成可能要40分鐘,但是由于是有8個分區8個進程,后發進程有enqueue,所以因此需要的時間為40分鐘×8;但是如果用方法5,雖然單個進程需要110分鐘,但是由于能夠并發進程執行,所以總共需要的時間就約為110分鐘了。

6. DECLARE

TYPE dtarray IS TABLE OF VARCHAR2(20) INDEX BY BINARY_INTEGER;

v_col1 dtarray;

v_col2 dtarray;

v_col3 dtarray;

BEGIN

SELECT col1, col2, col3 BULK COLLECT

INTO v_col1, v_col2, v_col3

FROM tab2;

FORALL i IN 1 .. v_col1.COUNT

insert into tab1....;

END;

用批量綁定(bulk binding)的方式。當循環執行一個綁定變量的sql語句時候,在PL/SQL 和SQL引擎(engines)中,會發生大量的上下文切換(context switches)。使用bulk binding,能將數據批量的從plsql引擎傳到sql引擎,從而減少上下文切換過程,提升效率。該方法比較適合于在線處理,不必停機。

7.sqlplus -s user/pwd< runlog.txt

set copycommit 2;

set arraysize 5000;

copy from?user/pwd@sid?-

to?user/pwd@sid?-

insert tab1 using select * from tab2;

exit

EOF

用copy的方法進行插入,注意此處insert沒有into關鍵字。該方法的好處是可以設置copycommit和arrarysize來一起控制commit的頻率,上面的方法是每10000行commit一次。

?

轉載于:https://www.cnblogs.com/zfox2017/p/7412786.html

總結

以上是生活随笔為你收集整理的转://使用insert插入大量数据的总结的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。