關于爬蟲爬取數據并存入MySQL數據庫（以東方財富網上的股票數據為例，網頁：深南電A(000037)資金流向 _ 數據中心 _ 東方財富網）

第一步，創建數據庫中的數據表

import requests import pandas as pd import re import pymysqldb = pymysql.connect(host='localhost', user='root', password='ls101945', db='東方財富', port=3306, charset='utf8') cursor = db.cursor()#建立游標 cursor.execute("DROP TABLE IF EXISTS 東方財富")#如果有表叫東方財富，刪除表 sql = """create table 東方財富( 日期 char(20) not null,主力凈流入凈額 char(20),小單凈流入凈額 char(20),中單凈流入凈額 char(20),大單凈流入凈額 char(20),超大單凈流入凈額 char(20) ,主力凈流入凈占比 char(20),小單凈流入凈占比 char(20),中單凈流入凈占比 char(20),大單凈流入凈占比 char(20),超大單凈流入凈占比 char(20),收盤價 char(20),漲跌幅 char(20))""" try:#如果出現異常對異常處理# 執行SQL語句cursor.execute(sql)print("創建數據庫成功") except Exception as e:print("創建數據庫失敗：case%s" % e)

導入pymysql，連接到東方財富數據庫，開啟游標功能，創建游標對象（注意：當開啟游標功能執行這個sql語句后，系統并不會將結果直接打印到頻幕上，而是將上述得到的結果，找個地方存儲起來，提供一個游標接口給我們，當你需要獲取數據的時候，就可以從中拿數據），使用sql語句建立數據表，設計字段名，類型，能不能為空值。使用execute()方法，執行sql語句。在程序開發中，如果對某些代碼的執行不能確定(程序語法完全正確)，可以增加try來捕獲異常，try:嘗試執行的代碼，except:出現錯誤的處理。

第二步，爬取數據

在目標網頁中點擊左鍵-檢查-網絡，刷新網頁，找到數據存儲的位置

?

??

?

url = 'https://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?cb=jQuery112301445006905131534_1634624378230&lmt'\'=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%'\'2Cf63%2Cf64%2Cf65&ut=b2884a393a59ad64002292a3e90d46a5&secid=0.000037&_=1634624378231' headers = {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'} #發送url鏈接的請求，并返回響應數據 response = requests.get(url=url, headers=headers) page_text = response.text #使用正則表達式獲取數據 pat = '"klines":\[(.*?)\]'#(.*?)就是我們要取出的部分 data = re.compile(pat, re.S).findall(page_text)#compile函數編譯正則匹配表達式，re.S代表可以換行匹配，使用findall函數選定數據集，也就是爬取的所有源代碼

url和headers可以在其中找到，構造請求頭，發送url鏈接的請求，并返回響應數據，使用正則表達式獲取數據。

第三步，寫入數據庫

datas = data[0].split('","')#分割字符串for i in range(len(datas)):stock = list(datas[i].replace('"', "").split(","))#把“替換為空格，以,為分隔符分割 #用sql語言寫入數據表sql1 = """insert into 東方財富(日期,主力凈流入凈額,小單凈流入凈額,中單凈流入凈額,大單凈流入凈額,超大單凈流入凈額,主力凈流入凈占比,小單凈流入凈占比,中單凈流入凈占比,大單凈流入凈占比,超大單凈流入凈占比 ,收盤價 ,漲跌幅 )value('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')""" % (stock[0], stock[1], stock[2], stock[3], stock[4], stock[5], stock[6], stock[7], stock[8], stock[9], stock[10],stock[11], stock[12])#將值插入到占位符%s# 執行 insert 增加的語句 如果出現異常對異常處理try:cursor.execute(sql1)db.commit() #進行數據庫提交，寫入數據庫except:cursor.rollback() #數據回滾，多次操作要么都執行，要么都不執行print('寫入失敗')# 關閉游標連接 cursor.close() # 關閉數據庫連接 db.close() print('寫入成功！')

把爬取出來的數據按逗號分割，用sql語言的insert插入到東方財富數據表，value賦值。使用execute()方法，執行sql語句后一定要用commit()方法提交，在數據庫里增、刪、改的時候，必須要進行提交，否則插入的數據不生效。rollback()方法：不想提交增、刪、改操作，用此方法回滾取消操作，有多次操作時，全部取消。用try捕獲異常，如果執行sql或向數據庫提交時有異常，就取消所有對數據庫的修改操作。

最終效果

?

總結

以上是生活随笔為你收集整理的Python爬取数据并写入MySQL的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。