系列文章目錄

python爬蟲實戰——爬取淘寶商品信息并導入EXCEL表格（超詳細）.

python多線程爬取壁紙 媽媽再也不擔心我沒壁紙了！.

python爬蟲爬取虎牙數據（簡單利用requests庫以及Beautifulsoup）.

python爬蟲之爬取壁紙（新手入門級）.

文章目錄

• 系列文章目錄
• 前言
• 一、解析URL組成
• 二、利用正則表達式獲取所需的數據
• • 2.數據的優化
• 三、使用selenium模擬網頁刷新
• 四、總體的函數和代碼編寫
• • 1.獲取html內容
  • 2.正則表達式獲取信息
  • 3.獲取每頁的網頁鏈接
  • 4.將信息寫入excel表
  • 5.主函數及開頭的編寫
• 總結

---

前言

上一篇博客具體寫了正則表達式的基本操作。
所以本文使用re正則庫對貓眼電影前100名的電影數據（電影排名，電影名稱，電影主演以及電影評分）進行爬取，使用selenium庫刷新頁面（防止獲取頁面html失敗），最后將數據導入Excel表格。大致思路與上一篇爬取淘寶數據類似
ps：代碼只用于學習不用于任何商業用途
最后效果如圖所示

---

提示：以下是本篇文章正文內容

一、解析URL組成

第一頁URL組成為：https://maoyan.com/board/4?offset=0
第二頁URL組成為：https://maoyan.com/board/4?offset=10
由此可以得出頁面變動的規則在于后面offset的參數

二、利用正則表達式獲取所需的數據

打開開發者工具可見下圖

可以得到正則表達式如下（示例）：

rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S) title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S) star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S) score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)

對于正則表達式不明白的可以參考我的上一篇博客：
python爬蟲入門必會的操作—正則表達式（詳解）.

2.數據的優化

我們得到的star和score數據中，star里有很多空格和換行，所以我們用strip()方法去掉，并用replace（）方法將匹配到的主演轉為空
同時score得到的數據需要兩項加起來
代碼如下：

star[i].strip().replace('主演：', ''), score[i][0] + score[i][1])

---

三、使用selenium模擬網頁刷新

在爬取的途中我發現網站需要刷新才能獲得我們所需要的html內容所以我們需要selenium代替我們人工刷新（或者自己手動刷新）
刷新網頁代碼如下：

from selenium import webdriver driver = webdriver.Chrome() driver.maximize_window() driver.get('https://maoyan.com/board/4?offset=0') driver.refresh()

四、總體的函數和代碼編寫

1.獲取html內容

def Get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',}r = requests.get(url, headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.text

2.正則表達式獲取信息

def Get_Xx(html):x = []rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)for i in range(0, 10):x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))return x

3.獲取每頁的網頁鏈接

def Url_list():urls = ['https://maoyan.com/board/4?offset=0']for i in range(10, 91, 10):url = 'https://maoyan.com/board/4?offset=' + str(i)urls.append(url)return urls

4.將信息寫入excel表

def Write_intoExcel(x):global countfor i in range(len(x)):worksheet.write(count + i + 1, 0, x[i][0])worksheet.write(count + i + 1, 1, x[i][1])worksheet.write(count + i + 1, 2, x[i][2])worksheet.write(count + i + 1, 3, x[i][3])print(x)count = count + len(x)

5.主函數及開頭的編寫

開頭：

import re import timeimport requests import xlsxwriter from selenium import webdriverworkbook = xlsxwriter.Workbook('電影.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) worksheet.set_column('B:B', 20) worksheet.set_column('C:C', 70) worksheet.set_column('D:D', 20) worksheet.write('A1', '排名') worksheet.write('B1', '名字') worksheet.write('C1', '主演') worksheet.write('D1', '評分')

主函數：

if __name__ == "__main__":driver = webdriver.Chrome()driver.maximize_window()driver.get('https://maoyan.com/board/4?offset=0')x = []count = 0urls = Url_list()for url in urls:html = Get_html(url)x = Get_Xx(html)Write_intoExcel(x)time.sleep(5) # 這里設置了每5s進行一次頁面刷新driver.refresh()workbook.close()

最后完整代碼：

# -*- coding: utf-8 -*- # @Time : 2020/11/17 17:00 # @Author : cc # @E-mail : 1215177216@qq.com # @Site : # @File : 貓眼電影.py # @Software: PyCharm # 本代碼只用于學習！ import re import time import requests import xlsxwriter from selenium import webdriverworkbook = xlsxwriter.Workbook('電影.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) worksheet.set_column('B:B', 20) worksheet.set_column('C:C', 70) worksheet.set_column('D:D', 20) worksheet.write('A1', '排名') worksheet.write('B1', '名字') worksheet.write('C1', '主演') worksheet.write('D1', '評分')def Get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',}r = requests.get(url, headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textdef Get_Xx(html):x = []rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)for i in range(0, 10):x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))return xdef Write_intoExcel(x):global countfor i in range(len(x)):worksheet.write(count + i + 1, 0, x[i][0])worksheet.write(count + i + 1, 1, x[i][1])worksheet.write(count + i + 1, 2, x[i][2])worksheet.write(count + i + 1, 3, x[i][3])print(x)count = count + len(x)def Url_list():urls = ['https://maoyan.com/board/4?offset=0']for i in range(10, 91, 10):url = 'https://maoyan.com/board/4?offset=' + str(i)urls.append(url)return urlsif __name__ == "__main__":driver = webdriver.Chrome()driver.maximize_window()driver.get('https://maoyan.com/board/4?offset=0')x = []count = 0urls = Url_list()for url in urls:html = Get_html(url)x = Get_Xx(html)Write_intoExcel(x)time.sleep(5)driver.refresh()workbook.close()

總結

最后覺得寫的好的

總結

以上是生活随笔為你收集整理的python爬虫实战——爬取猫眼电影TOP100并导入excel表的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。