python爬取新浪熱搜排名并導入數據庫

上一篇文章簡單介紹了如何使用python爬取新浪微博的熱搜排名：
爬蟲實例：爬取新浪微博熱搜排名

如果了解清楚原理的話是非常容易懂的，但是這樣單純的進行查詢結果顯示顯然沒有意義
學習了數據庫之后，就嘗試做了以下改進：

將熱搜信息導入數據庫

加了個日志函數，方便在服務器自動執行時保存運行數據

數據庫我用的是mysql
目前只設計了一個名為hotsou-db的table來簡單地存放內容：

CREATE TABLE hotsou-db( hs_name VARCHAR(100), hs_rank INT(3), hs_number INT(20), hs_time TIMESTAMP );-- 四個屬性都是主鍵感覺有點不太合理。 ALTER TABLE `hotsou-db` ADD PRIMARY KEY(hs_name, hs_rank, hs_number, hs_time);

在上篇文章的基礎上，添加如下內容：

import pymysql import time def CommitDB(ranklist, num, tt):try:# 連接mysqlconn = pymysql.connect(host=HOST,user=USER, password=PASSWORD,port=PORT,database=DATABASE,charset=CHARSET)except:Logs(tt, 1, 'DB Connection Failed')try:cursor = conn.cursor()for i in range(1, num):rank = int(ranklist[i][0])name =ranklist[i][1]number = int(ranklist[i][2])sql = "INSERT INTO {0} VALUES('{1}', {2}, {3}, {4})".format(DB_NAME, name, rank, number, eval(tt))cursor.execute(sql)conn.commit()cursor.close()conn.close()Logs(tt, 0, 'Commit Done')except:Logs(tt, 1, 'Commit Failed')def Logs(tt, number, text):f = open("./weibo.log", "a")# 用于生成日志 - 0是正確運行日志， 1是錯誤日志if number is 0:f.write('[' + tt + '] -- ' + text + '\n')else:f.write('[' + tt + '] -- ' + text + '\n')f.close()

在main中做如下更改即可：

tt = time.strftime("%Y%m%d%H%M%S", time.localtime()) soup = HTMLTextconvert(text) HTMLSearch(soup, rank, TOP_COUNT+1) Rankprint(rank, TOP_COUNT) CommitDB(rank, TOP_COUNT+1, tt)# 每隔3min記錄一次 time.sleep(180)

可以看到主要是用到了pymysql這個庫來實現與數據庫的交互操作

最終效果：

導入數據庫之后就可以做些有趣的事情了

附全代碼：

import requests import re import bs4 import pymysql import timeHOST = "" USER="" PASSWORD="" PORT=0 DB_NAME = "" DATABASE="" CHARSET="utf8" TOP_COUNT=20 # 前多少熱搜條數 TOP_SHOW=False # 是否顯示置頂# 獲取一個中英文混合的字符串文本的字符寬度部分 widths = [(126, 1), (159, 0), (687, 1), (710, 0), (711, 1),(727, 0), (733, 1), (879, 0), (1154, 1), (1161, 0),(4347, 1), (4447, 2), (7467, 1), (7521, 0), (8369, 1),(8426, 0), (9000, 1), (9002, 2), (11021, 1), (12350, 2),(12351, 1), (12438, 2), (12442, 0), (19893, 2), (19967, 1),(55203, 2), (63743, 1), (64106, 2), (65039, 1), (65059, 0),(65131, 2), (65279, 1), (65376, 2), (65500, 1), (65510, 2),(120831, 1), (262141, 2), (1114109, 1), ]def get_width(a):global widthsif a == 0xe or a == 0xf:return 0for num, wid in widths:if a <= num:return widreturn 1def length(str):sum = 0for ch in str:sum += get_width(ord(ch))return sum# 獲取HTML文本 def getHTMLText(url):try:# 模擬瀏覽器kv = {'user-agent': 'Mozilla/5.0'}r = requests.get(url, headers=kv, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print("InternetError!")return " "# 解析并且返回HTML文本 def HTMLTextconvert(html):try:soup = bs4.BeautifulSoup(html, "html.parser")return soupexcept:print("HTMLConvertError!")return " "# 檢索HTML中的信息，獲取搜索排名信息 # 存在置頂的情況，需要特殊判斷 def HTMLSearch(html, ranklist, cnt):try:flag = 0# 計數器mm = 0# 找到所有tbody標簽下的所有內容，并且遍歷所有的兒子節點for tr in html.find("tbody").children:# 添加判斷：獲得的內容是否為標簽Tag類型if isinstance(tr, bs4.element.Tag):# 使用flag特判置頂的情況if flag == 0:rank = "置頂"# 注意由于class屬性會和python中的關鍵字重名，因此需要變為class_td02 = tr.find_all(class_=re.compile('td-02'))for i in td02:if isinstance(i, bs4.element.Tag):# trans得到的類型為列表trans = i.find_all("a")number = " "ranklist.append([rank, trans[0].string, number])flag = 1else:# 排名信息在td標簽下的class=td-01屬性中td01 = tr.find_all(class_=re.compile("td-01"))for i in td01:if isinstance(i, bs4.element.Tag):rank = i.string# 熱搜內容和搜索量在td標簽下的class=td-02屬性中：內容是a標簽，搜索量是span標簽td02 = tr.find_all(class_=re.compile("td-02"))for i in td02:name = i.find_all("a")column = i.find_all("span")# 使用string獲取字符串信息不準確，因為微博還有一些熱搜標題為含有表情的，因此使用了textranklist.append([rank, name[0].text, column[0].text])mm += 1if mm == cnt:breakexcept:print("HTMLSearchError!")# 打印排名 def Rankprint(ranklist, num):try:# 先打印表頭,總長為70個字符，其中{1}和{3}是變化的空格數量計算，默認為：# 排名*4，空格*3，名稱*50，空格*5，點擊量*8a = " "print("——————————————————————————————————————")print("{0}{1}{2}{3}{4}\n".format("排名", a * 5, "熱搜內容", a * 45, "搜索量" + a * 2))if TOP_SHOW is True:print("{0}{1}{2}\n".format(ranklist[0][0], a * 3, ranklist[0][1]))for i in range(1, num+1):# c是排名有一位、兩位的數字，用來糾正空格c = 7 - len(ranklist[i][0])# 根據內容來隨時計算所要填充的空格數量bstr = ranklist[i][1]b = 62 - length(ranklist[i][1]) - len(ranklist[i][0]) - cprint("{0}{1}{2}{3}{4:<8}".format(ranklist[i][0], a * c, ranklist[i][1], a * b, ranklist[i][2]))print("\n")except:print("RankPrintError!")def CommitDB(ranklist, num, tt):try:# 連接mysqlconn = pymysql.connect(host=HOST,user=USER, password=PASSWORD,port=PORT,database=DATABASE,charset=CHARSET)except:Logs(tt, 1, 'DB Connection Failed')try:cursor = conn.cursor()for i in range(1, num):rank = int(ranklist[i][0])name =ranklist[i][1]number = int(ranklist[i][2])sql = "INSERT INTO {0} VALUES('{1}', {2}, {3}, {4})".format(DB_NAME, name, rank, number, eval(tt))cursor.execute(sql)conn.commit()cursor.close()conn.close()Logs(tt, 0, 'Commit Done')except:Logs(tt, 1, 'Commit Failed')def Logs(tt, number, text):f = open("./weibo.log", "a")# 用于生成日志 - 0是正確運行日志， 1是錯誤日志if number is 0:f.write('SUCCESS: [' + tt + '] -- ' + text + '\n')else:f.write('ERROR: [' + tt + '] -- ' + text + '\n')f.close()# 主函數 def main():# while(True):try:# 微博熱搜的網站url = "https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6"# 使用二維列表存儲每一條熱搜信息的rank信息和內容rank = []text = getHTMLText(url)tt = time.strftime("%Y%m%d%H%M%S", time.localtime())# print("當前時間: " + tt)soup = HTMLTextconvert(text)HTMLSearch(soup, rank, TOP_COUNT+1)Rankprint(rank, TOP_COUNT)# CommitDB(rank, TOP_COUNT+1, tt)# 每隔3min記錄一次# time.sleep(180)except:Logs(tt, 1, 'SystemError!');return 0if __name__ == '__main__':print("獲取前"+str(TOP_COUNT)+"條")print("顯示置頂"+str(TOP_SHOW))main()

總結

以上是生活随笔為你收集整理的Python爬虫与信息提取（八）将新浪热搜排名导入数据库的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。