使用python将excel数据导入数据库
https://www.cnblogs.com/longbigbeard/p/9309180.html?
- 因?yàn)樾枰獙?duì)數(shù)據(jù)處理，將excel數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)，記錄一下過(guò)程。
- 使用到的庫(kù)：xlrd 和 pymysql （如果需要寫(xiě)到excel可以使用xlwt）
- 直接丟代碼，使用python3，注釋比較清楚。
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import?xlrd
import?pymysql
# import importlib
# importlib.reload(sys) #出現(xiàn)呢reload錯(cuò)誤使用
?
?
def?open_excel():
????try:
????????book?=?xlrd.open_workbook("XX.xlsx")??#文件名，把文件與py文件放在同一目錄下
????except:
????????print("open excel file failed!")
????try:
????????sheet?=?book.sheet_by_name("sheet名稱")???#execl里面的worksheet1
????????return?sheet
????except:
????????print("locate worksheet in excel failed!")
?
?
#連接數(shù)據(jù)庫(kù)
try:
????db?=?pymysql.connect(host="127.0.0.1",user="root",
????????passwd="XXX",
????????db="XXX",
????????charset='utf8')
except:
????print("could not connect to mysql server")
?
def?search_count():
????cursor?=?db.cursor()
????select?=?"select count(id) from XXXX"?#獲取表中xxxxx記錄數(shù)
????cursor.execute(select)?#執(zhí)行sql語(yǔ)句
????line_count?=?cursor.fetchone()
????print(line_count[0])
?
?
def?insert_deta():
????sheet?=?open_excel()
????cursor?=?db.cursor()
????for?i?in?range(1, sheet.nrows):?#第一行是標(biāo)題名，對(duì)應(yīng)表中的字段名所以應(yīng)該從第二行開(kāi)始，計(jì)算機(jī)以0開(kāi)始計(jì)數(shù)，所以值是1
?
????????name?=?sheet.cell(i,0).value?#取第i行第0列
????????data?=?sheet.cell(i,1).value#取第i行第1列，下面依次類(lèi)推
????????print(name)
????????print(data)
????????value?=?(name,data)
????????print(value)
????????sql?=?"INSERT INTO XXX(name,data)VALUES(%s,%s)"
????????cursor.execute(sql,value)?#執(zhí)行sql語(yǔ)句
????????db.commit()
????cursor.close()?#關(guān)閉連接
?
?
?
insert_deta()
?
db.close()#關(guān)閉數(shù)據(jù)
print?("ok ")
XXX里自行修改自己的名稱。
- 說(shuō)明：對(duì)于不規(guī)則的單元格，例如合并過(guò)的單元格會(huì)取到空值。
- 有機(jī)會(huì)把數(shù)據(jù)庫(kù)寫(xiě)到excel貼上來(lái)。
- ?
- ?
- ?優(yōu)化了一下這個(gè)程序
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import?pymysql
import?xlrd
?
?
# 連接數(shù)據(jù)庫(kù)
try:
????db?=?pymysql.connect(host="127.0.0.1", user="root",
?????????????????????????passwd="XXX",
?????????????????????????db="XXX",
?????????????????????????charset='utf8')
except:
????print("could not connect to mysql server")
?
?
def?open_excel():
????try:
????????book?=?xlrd.open_workbook("XXX.xlsx")??#文件名，把文件與py文件放在同一目錄下
????except:
????????print("open excel file failed!")
????try:
????????sheet?=?book.sheet_by_name("XXX")???#execl里面的worksheet1
????????return?sheet
????except:
????????print("locate worksheet in excel failed!")
?
?
def?insert_deta():
????sheet?=?open_excel()
????cursor?=?db.cursor()
????row_num?=?sheet.nrows
????for?i?in?range(1, row_num):??# 第一行是標(biāo)題名，對(duì)應(yīng)表中的字段名所以應(yīng)該從第二行開(kāi)始，計(jì)算機(jī)以0開(kāi)始計(jì)數(shù)，所以值是1
????????row_data?=?sheet.row_values(i)
????????value?=?(row_data[0],row_data[1],row_data[2],row_data[3])
????????print(i)
????????sql?=?"INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"
????????cursor.execute(sql, value)??# 執(zhí)行sql語(yǔ)句
????????db.commit()
????cursor.close()??# 關(guān)閉連接
?
?
open_excel()
insert_deta()
- ?
- ?
- ?
- ?
- ?
- ?再改一下，每一萬(wàn)條數(shù)據(jù)寫(xiě)入到數(shù)據(jù)庫(kù)一次
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
import?pymysql
import?xlrd
import?sys
?
'''
????連接數(shù)據(jù)庫(kù)
????args：db_name（數(shù)據(jù)庫(kù)名稱）
????returns:db
?
'''
?
?
def?mysql_link(de_name):
????try:
????????db?=?pymysql.connect(host="127.0.0.1", user="xxx",
?????????????????????????????passwd="xxx",
?????????????????????????????db=xxx,
?????????????????????????????charset='utf8')
????????return?db
????except:
????????print("could not connect to mysql server")
?
?
'''
????讀取excel函數(shù)
????args：excel_file（excel文件，目錄在py文件同目錄）
????returns：book
'''
?
?
def?open_excel(excel_file):
????try:
????????book?=?xlrd.open_workbook(excel_file)??# 文件名，把文件與py文件放在同一目錄下
????????print(sys.getsizeof(book))
????????return?book
????except:
????????print("open excel file failed!")
?
?
'''
????執(zhí)行插入操作
????args:db_name（數(shù)據(jù)庫(kù)名稱）
?????????table_name(表名稱）
?????????excel_file（excel文件名，把文件與py文件放在同一目錄下）
?
'''
?
?
def?store_to(db_name, table_name, excel_file):
????db?=?mysql_link(db_name)??# 打開(kāi)數(shù)據(jù)庫(kù)連接
????cursor?=?db.cursor()??# 使用 cursor() 方法創(chuàng)建一個(gè)游標(biāo)對(duì)象 cursor
?
????book?=?open_excel(excel_file)??# 打開(kāi)excel文件
????sheets?=?book.sheet_names()??# 獲取所有sheet表名
????for?sheet?in?sheets:
????????sh?=?book.sheet_by_name(sheet)??# 打開(kāi)每一張表
????????row_num?=?sh.nrows
????????print(row_num)
????????list?=?[]??# 定義列表用來(lái)存放數(shù)據(jù)
????????num?=?0??# 用來(lái)控制每次插入的數(shù)量
????????for?i?in?range(1, row_num):??# 第一行是標(biāo)題名，對(duì)應(yīng)表中的字段名所以應(yīng)該從第二行開(kāi)始，計(jì)算機(jī)以0開(kāi)始計(jì)數(shù)，所以值是1
????????????row_data?=?sh.row_values(i)??# 按行獲取excel的值
????????????value?=?(row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \
?????????????????????row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],
?????????????????????row_data[13], row_data[14])
????????????list.append(value)??# 將數(shù)據(jù)暫存在列表
????????????num?+=?1
????????????if( num>=?10000?):??# 每一萬(wàn)條數(shù)據(jù)執(zhí)行一次插入
????????????????print(sys.getsizeof(list))
????????????????sql?=?"INSERT INTO "?+?table_name?+?" (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
????????????????bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
????????????????VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
????????????????cursor.executemany(sql,?list)??# 執(zhí)行sql語(yǔ)句
?
????????????????num?=?0??# 計(jì)數(shù)歸零
????????????????list.clear()??# 清空l(shuí)ist
????????????????print("worksheets: "?+?sheet?+?" has been inserted 10000 datas!")
?
????print("worksheets: "?+?sheet?+?" has been inserted "?+?str(row_num)?+?" datas!")
????db.commit()??# 提交
????cursor.close()??# 關(guān)閉連接
????db.close()
?
?
if?__name__?==?'__main__':
????store_to('demo',?'demo_yangben',?'xxx.xlsx')
- ?
- ?
- 思考，如果數(shù)據(jù)插入有錯(cuò)誤，怎么解決，
- ?
- ?其實(shí)有很多數(shù)據(jù)庫(kù)工具可以直接來(lái)解決這個(gè)問(wèn)題，注意字符轉(zhuǎn)換的格式就好。
- ?
- ?上面這個(gè)程序在當(dāng)數(shù)據(jù)不足10000的時(shí)候會(huì)出現(xiàn)問(wèn)題，下面的一篇文章里進(jìn)行了更正。
- 批量插入數(shù)據(jù)請(qǐng)看：?https://www.cnblogs.com/longbigbeard/p/9317141.html
- 以上。
總結(jié)
以上是生活随笔為你收集整理的使用python将excel数据导入数据库的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 21天学通python 第2版_21天学
- 下一篇： Python 齿轮动力学建模及信号分析(