Python本地文件合并

• 一、單文件之間合并
• 二、單個(gè)文件夾底下多個(gè)文件合并
• 三、多個(gè)文件夾底下多個(gè)文件合并
• 四、多文件夾[函數(shù)遞歸]

注：

本篇博客的文件合并主要是針對(duì).csv的文件合并。

關(guān)于文件合并的一些數(shù)據(jù)，我會(huì)放在我的gitee里面，是關(guān)于新冠疫情的數(shù)據(jù)整理，需要的可以自行獲取：covid19數(shù)據(jù)整理

一、單文件之間合并

首先，要查詢目錄底下的文件要導(dǎo)入OS。并且我們要將.csv文件以pandas的dataframe底下，因此要導(dǎo)入PANDAS，另外由于我們要遍歷目錄，因此導(dǎo)入 GLOB：

import os import pandas as pd import glob

注：

import os的作用:在python環(huán)境下對(duì)文件，文件夾執(zhí)行操作的一個(gè)模塊。

os.name返回當(dāng)前系統(tǒng) os.getcwd()返回當(dāng)前的路徑 os.remove(路徑）刪除路徑下的文件

import glob的作用: glob是python自帶的一個(gè)操作文件的相關(guān)模塊，由于模塊功能比較少，所以很容易掌握。用它可以查找符合特定規(guī)則的文件路徑名。使用該模塊查找文件，只需要用到： “*”, “?”, “[]”這三個(gè)匹配符;

”*”匹配0個(gè)或多個(gè)字符； ”?”匹配單個(gè)字符； ”[]”匹配指定范圍內(nèi)的字符，如：[0-9]匹配數(shù)字。 f1=open('../input/covid19temp/2020/12-30-2020.csv').read() f2=open('../input/covid19temp/2020/12-31-2020.csv').read()with open('f1112.csv','a+') as f:f.write('\n'+f1)f.write('\n'+f2)

合并完成之后就會(huì)多出一個(gè)f1112.csv文件：

然而打開(kāi)f1112.csv后發(fā)現(xiàn)合并后的文件有一些臟數(shù)據(jù)沒(méi)有整理：

這時(shí)候我們?cè)囋噑kiprows:
在讀取文件的時(shí)候設(shè)置skiprows參數(shù)的值，設(shè)置為1,會(huì)跳過(guò)一行，這里是要將第二個(gè)文件的索引屬性給去掉，因?yàn)橐呀?jīng)和第一個(gè)文件合并了，而第一個(gè)文件有索引屬性了。

f1=pd.read_csv('../input/covid19temp/2020/12-30-2020.csv') f2=pd.read_csv('../input/covid19temp/2020/12-31-2020.csv',skiprows=1) f1112=f1.append(f2) f1112.to_csv('f1112.csv') # 導(dǎo)出該文件

在本地目錄中打開(kāi)該文件：

二、單個(gè)文件夾底下多個(gè)文件合并

csv_list=glob.glob('../input/covid19temp/2020/*.csv') # 如果不加上*的話拿到的就是目錄的名稱，如果加上*，拿到的就是完整的目錄數(shù)據(jù) print(csv_list)

for i in csv_list: fr=open(i,'r').read()with open('2020csvdata.csv','a') as f:f.write(fr)f.close() print('數(shù)據(jù)文件合并完成！')

csv_list=glob.glob('../input/covid19temp/2020/*') for i in csv_list:fr=open(i,'rb').read()with open('2020csvdata2.csv','ab') as f:f.write(fr)f.close() print('數(shù)據(jù)文件合并完成！')

csv_list=glob.glob('../input/covid19temp/2020/*') csvdatadf=pd.DataFrame() for i in csv_list:csvdata=pd.read_csv(i)csvdatadf=csvdatadf.append(csvdata) print('數(shù)據(jù)文件合并完成！')

合并之后使用pd.read_csv讀取文件數(shù)據(jù)，一共有20W+的疫情數(shù)據(jù)記錄：

三、多個(gè)文件夾底下多個(gè)文件合并

import os import pandas as pd import glob import openpyxl import numpy as nppath='../input/covid19temp' # 寫的路徑 csv_lists=[] # 該列表的作用# 是否更新目錄判斷： if os.path.isdir(path): #使用os.path.isdir判斷path是否是路徑if not path.endswith("/"):# 如果該路徑的最后沒(méi)有加上'/'的話，會(huì)幫忙加一個(gè)/path+="/"print(path)

如上圖所示，路徑后面多了一個(gè) ‘/’，否則路徑會(huì)找不到

文件操作：

os.listdir()： 列出路徑下所有的文件

os.path.join()： 連接文件的作用

os.path.isdir()： 判斷是否是文件夾

import os import pandas as pd import glob import openpyxl import numpy as nppath='../input/covid19temp' # 寫的路徑 csv_lists=[] # 該列表的作用# 是否更新目錄判斷： if os.path.isdir(path): #使用os.path.isdir判斷path是否是路徑if not path.endswith("/"):# 如果該路徑的最后沒(méi)有加上'/'的話，會(huì)幫忙加一個(gè)/path+="/"print(path)for each in os.listdir(path):# os.listdir()： 列出路徑下所有的文件print(each)

import os import pandas as pd import glob import openpyxl import numpy as nppath='../input/covid19temp' # 寫的路徑 csv_lists=[] # 該列表的作用# 是否更新目錄判斷： if os.path.isdir(path): #使用os.path.isdir判斷path是否是路徑if not path.endswith("/"):# 如果該路徑的最后沒(méi)有加上'/'的話，會(huì)幫忙加一個(gè)/path+="/"print(path)for each in os.listdir(path):# os.listdir()： 列出路徑下所有的文件print(each)sub_path=path+eachpath_list=[]if os.path.isdir(sub_path):path_list.append(sub_path)csv_lists.append(path_list) # 生成主目錄下路徑列表（非文件） # 根據(jù)路徑進(jìn)行路徑下文件列表的生成 csvlists=[] for i in range(len(csv_lists)): # print(i)csvlists.append(glob.glob(csv_lists[i][0]+'/*.csv')) csvlists# 獲取每年的文件路徑 csvfilelist=[] for j in range(len(csvlists)):for k in csvlists[j]:csvfilelist.append(k) csvfilelistcsvdatadf=pd.DataFrame() for m in csvfilelist:filesize=os.path.getsize(m)if filesize>0:csvdata=pd.read_csv(m)csvdatadf=csvdatadf.append(csvdata)else:continueprint('數(shù)據(jù)合并完成')

四、多文件夾[函數(shù)遞歸]

import os import pandas as pd def mergeFiles(parent,path="",pathdeep=0):fileAbsPath=os.path.join(parent,path)if os.path.isdir(fileAbsPath)==True:if (pathdeep!=0 and('.ipynb_checkpoints' not in str(fileAbsPath))):print('=='+path)for filename2 in os.listdir(fileAbsPath):mergeFiles(fileAbsPath,filename2,pathdeep=pathdeep+1)else:print(path) path=input("請(qǐng)輸入需要的文件注主目錄：") mergeFiles(path)

總結(jié)

以上是生活随笔為你收集整理的Python本地文件合并（csv）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。