to_sql結(jié)論可以對(duì)齊字段（dataframe的columns和數(shù)據(jù)庫(kù)字段一一對(duì)齊）

可以缺少字段（dataframe的columns可以比數(shù)據(jù)庫(kù)字段少）

不可以多出字段，會(huì)報(bào)錯(cuò)

if_exists='append’進(jìn)行新增（bug：如果設(shè)置了PK,ignore 和 replace會(huì)報(bào)錯(cuò)）

一定要先創(chuàng)建好數(shù)據(jù)庫(kù)，設(shè)置好格式，

否則使用if_exists='append’自動(dòng)創(chuàng)建的字段格式亂七八糟

項(xiàng)目需求excel表格按字段存入數(shù)據(jù)庫(kù)，近幾年的excel表格，業(yè)務(wù)系統(tǒng)幾經(jīng)迭代

所以每張表格的字段順序不一致，甚至有的字段已經(jīng)不需要剔除了

我本以為python的to_sql是按順序一一映射進(jìn)mysql里，

于是便有了下面這篇特憨的一篇的文章：

當(dāng)時(shí)找遍了百度、CSDN都沒(méi)找到解決辦法，

偶然間靈感乍現(xiàn)的思路，還以為自己開(kāi)創(chuàng)了先河

現(xiàn)在想想當(dāng)時(shí)多么自豪，現(xiàn)在就有多羞愧！

不過(guò)幾經(jīng)迭代，倒也幫我解決了to_sql不能 ignore和replace的問(wèn)題

代碼比對(duì)

to_sql代碼#構(gòu)建數(shù)據(jù)庫(kù)連接

engine=create_engine(f'mysql+pymysql://{user}:{passwd}@{host}:3306/{db}')

#可以對(duì)齊字段，以及缺少字段；不可以增加字段

data.to_sql(sql_name,engine,index=False,if_exists='append')

自定義w_sql (迭代后版本)# 定義寫(xiě)入數(shù)據(jù)庫(kù)函數(shù)

def w_sql(sql_name,data,db_name,host=host,user=user,passwd=passwd):

zd=""

for j in data.columns:

zd=zd+j+","

connent = pymysql.connect(host=host, user=user, passwd=passwd, db=db_name, charset='utf8mb4') #連接數(shù)據(jù)庫(kù)

cursor = connent.cursor()#創(chuàng)建游標(biāo)

for i in data.values:

va=""

for j in i:

if pd.isnull(j):

va=va+","+'null' #缺失值判斷和轉(zhuǎn)換

else:

va=va+","+'"'+str(j)+'"'

# sql=u"""insert ignore into %s (%s) values(%s)"""%(sql_name,zd[:-1],va[1:])

sql=u"""replace into %s (%s) values(%s)"""%(sql_name,zd[:-1],va[1:])

cursor.execute(sql)

connent.commit() #提交事務(wù)

cursor.close()#關(guān)閉游標(biāo)

connent.close()#斷開(kāi)連接

優(yōu)劣對(duì)比

對(duì)比項(xiàng)to_sql自定義w_sql運(yùn)行速度整表寫(xiě)入，運(yùn)行速度快一行行寫(xiě)入，運(yùn)行速度特慢

新表創(chuàng)建提前創(chuàng)建（格式問(wèn)題，函數(shù)本身可以創(chuàng)建）提前創(chuàng)建

字段對(duì)齊可以對(duì)齊可以對(duì)齊

字段多余報(bào)錯(cuò)警示報(bào)錯(cuò)警示

主鍵處理不可以ignore可以ignore

數(shù)據(jù)修改不可以修改replace替換

運(yùn)行速度慢可以說(shuō)是這個(gè)自定義函數(shù)唯一也是最大，甚至于說(shuō)致命的劣勢(shì)！

這也是我為什么會(huì)發(fā)現(xiàn)我這么憨的原因

畢竟自從有了這個(gè)自定義函數(shù)，以往都是無(wú)往而不利的，

基本上沒(méi)在使用過(guò)to_sql

如果不是碰到了那個(gè)她

一個(gè)上百萬(wàn)行的excel文件

我恐怕這輩子都不會(huì)發(fā)現(xiàn) to_sql的秘密

慶幸的是相比去年多少進(jìn)步了點(diǎn)兒，知道測(cè)試了，不只是憑感覺(jué)了

總的來(lái)說(shuō)，自定義的sql寫(xiě)入語(yǔ)句更靈活，但是相對(duì)于to_sql官方函數(shù)來(lái)說(shuō)效率比較低下，如果參考下源碼，或許可以優(yōu)化下效率問(wèn)題，如果有更好的想法，歡迎評(píng)論交流！

總結(jié)

以上是生活随笔為你收集整理的python to sql_python的to_sql那点儿事的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。