1，打開貓眼電影TOP100的榜單網(wǎng)址：

http://maoyan.com/board/4

2，Google Chrome 瀏覽器中按F12，打開開發(fā)者面板，使用Network:

此時(shí)什么也沒有。

3，回到榜單的原始頁面，按下F5進(jìn)行刷新，此時(shí)再看開發(fā)者面板中的Network中會(huì)有信息流：

通過查找看到每條電影的相關(guān)信息均在一個(gè)<dd></dd>中，上圖中標(biāo)明了電影海報(bào)超鏈接的位置和電影名稱的位置。

可以用正則表達(dá)式提取出相關(guān)的信息。

4，電影Top100總共有10頁，每頁10條，每頁的網(wǎng)址有規(guī)律：

第1,2,3,...10頁的網(wǎng)址 http://maoyan.com/board/4?offset=0 http://maoyan.com/board/4?offset=10 http://maoyan.com/board/4?offset=20 ... http://maoyan.com/board/4?offset=90

offset=后面的數(shù)字0、10、20、。。。90分別對(duì)應(yīng)第1,2,3，。。。10頁。

因此，外層循環(huán)控制頁數(shù)，內(nèi)層循環(huán)控制每頁中電影的網(wǎng)址，可完成對(duì)每個(gè)電影的海報(bào)進(jìn)行下載。

5，代碼：

# 貓眼電影的TOP100電影海報(bào)下載 # 第1,2,3,...10頁的網(wǎng)址 # http://maoyan.com/board/4?offset=0 # http://maoyan.com/board/4?offset=10 # http://maoyan.com/board/4?offset=20 # ... # http://maoyan.com/board/4?offset=90 import requests import re import random import time import osdef doanload_onepage(offset):url = 'http://maoyan.com/board/4?offset=' + str(offset)headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}response = requests.get(url, headers=headers)html = response.text # print(html)pattern = re.compile('<dd>.*?data-src="(.*?)".*?"name"><a.*?>(.*?)</a>.*?</dd>', re.S) # 提取電影的海報(bào)鏈接和名稱movies = re.findall(pattern, html)print(movies)print(type(movies))file_path = r'F:\MaoYaoTop100Movies'if not os.path.exists(file_path):os.makedirs(file_path) # 如果存儲(chǔ)路徑不存在，則進(jìn)行創(chuàng)建os.chdir(file_path) # 改變存儲(chǔ)路徑到F:\MaoYaoTop100Moviesfor item in movies:href = item[0]name = item[1]print(href)print(name)response = requests.get(url=href, headers=headers)content = response.contentpicture_name = name + '.jpg'with open(picture_name, 'wb') as f:f.write(content)time.sleep(random.random() * 3)print('第{}頁下載完畢.'.format(int(offset/10+1)))time.sleep(random.random() * 9)if __name__ == '__main__':pages = 10 # 總共10頁for i in range(pages):doanload_onepage(offset=i * 10)print('====Top100電影海報(bào)下載完畢====')

過程：

下載的目錄文件：

至此，利用正則表達(dá)式下載貓眼Top100的電影海報(bào)成功完成。

參考：

https://github.com/Python3WebSpider/MaoYan

總結(jié)

以上是生活随笔為你收集整理的正则抓取猫眼TOP100电影的海报的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。