Crawler：基于requests庫+json庫+40行代碼實現爬取貓眼榜單TOP100榜電影名稱主要信息

?

?

目錄

輸出結果

實現代碼

---

?

?

輸出結果

?

實現代碼

# -*- coding: utf-8 -*-#Py之Crawler：實實在在的40行代碼爬取貓眼榜單TOP100榜電影名稱主要信息——Jason niuimport requests import re import json from requests.exceptions import RequestException from multiprocessing.dummy import Poolheaders = {'User-Agent':'Mozilla/5.0 '}def get_one_page(url):try:res = requests.get(url,headers = headers)if res.status_code == 200:return res.textreturn Noneexcept RequestException:return None def parse_one_page(html):pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'+'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'+'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)items = re.findall(pattern,html)for item in items:yield{'index': item[0],'image': item[1],'title': item[2],'actor': item[3].strip()[3:],'time': item[4].strip()[5:],'score': item[5] + item[6]} def write_to_file(content):with open ('result.txt', 'a',encoding='utf-8') as f:f.write(json.dumps(content,ensure_ascii=False) + '\n')f.close()def main(offset):url = 'http://maoyan.com/board/4?offset=' + str(offset)html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item)if __name__ == '__main__':p = Pool()p.map(main,[i*10 for i in range(10)])

總結

以上是生活随笔為你收集整理的Crawler：基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。