一、情況介紹

需要處理的文件是一個3.41G的csv格式文件，現在需要把它導入數據庫，進行后續處理和分析。

二、導入數據

該文件數據量龐大，無法用excel或者editplus++之類普通軟件打開，于是借用了pandas的方法查看了表的結構：

方法一：navicat客戶端導入

1.首先建立表字段

2.選擇表-右擊-導入向導

3.根據向導，設置導入類型、位置、編碼、分隔符、字段名行和首行、格式、文件字段可表字段匹配等選項。

但是這個方法導入數據太慢，大約1個小時，導入不到500w條數據。因此需要尋找更快的方法。

方法二：使用load data infile語句導入

直接運行load data infile語句，會報錯：The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

需要修改secure-file-priv 路徑

1.首先查看文件允許導入導出的路徑

2.找到文件my.ini，查看secure file priv路徑是否與之相同，若不同則修改文件路徑，或者直接把路徑改成空，允許其他路徑文件導入：

3.重啟服務

4.使用load data infile語句導入，大約花了10~20分鐘就將100,150,807條數據全部導入完畢。

三、抽取數據

1.由于數據量太大，語句執行緩慢，且存儲空間容易被臨時文件占滿，如圖：

2.為了能在本地順利運行，將抽取5%數據存入新表，但是表溢出報錯：

3.解決的方法是修改size,如圖

4.創建新表成功

總結

以上是生活随笔為你收集整理的mysql导入dat文件_MySql导入和抽取大数量级文件数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。