文章目錄

• 1. 不是utf-8格式，先讀取一遍為utf-8，忽略掉錯(cuò)誤:
• 2. 出現(xiàn)null bytes錯(cuò)誤，使用engine='c':
• 3. 讀取成功之后，保存為utf-8格式：

1. 不是utf-8格式，先讀取一遍為utf-8，忽略掉錯(cuò)誤:

filename = open('E://source_data/insured_utf-8.csv', encoding='utf-8',errors='ignore') df_chunk = pd.read_csv('E://source_data/insured_utf-8.csv', chunksize=1000000, parse_dates=True, encoding = "utf-8", dtype='object',error_bad_lines= False,engine='c')

2. 出現(xiàn)null bytes錯(cuò)誤，使用engine=‘c’:

df_chunk = pd.read_csv('E://source_data/insured_utf-8.csv', chunksize=1000000, parse_dates=True, encoding = "utf-8", dtype='object',error_bad_lines= False,engine='c')

3. 讀取成功之后，保存為utf-8格式：

df_concat.to_csv('E://source_data/insured_utf-8.csv',header=True,index=False,encoding = "utf-8")

總結(jié)

以上是生活随笔為你收集整理的pandas读取大文件csv容易出现的错误的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。