Crawler：基于BeautifulSoup庫+requests庫實(shí)現(xiàn)爬取2018最新電影《后來的我們》熱門短評(píng)

?

目錄

輸出結(jié)果

實(shí)現(xiàn)代碼

---

?

?

輸出結(jié)果

?

實(shí)現(xiàn)代碼

# -*- coding: utf-8 -*-#Py之Crawler：利用BeautifulSoup庫實(shí)現(xiàn)爬取2018最新電影《后來的我們》熱門短評(píng) import time import requests import csv from bs4 import BeautifulSoup head = 'https://movie.douban.com/subject/' middle = '/comments?start=' zr_tail = '&limit=20&sort=new_score&status=P&percent_type=' names = [] header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0' }zr_urls = ['最熱'] def createUrls(): for j in range(1, 34, 2): name = names[j]#print(name)for i in range(0, 100, 20):zr_urls.append(head + str(name) + middle + str(i) + zr_tail) #print(zr_urls)得到某個(gè)電影短評(píng)地址(默認(rèn)最熱排序)，如https://movie.douban.com/subject/27063335/comments?start=0&limit=20&sort=new_score&status=P&percent_type=def readName(): with open('爬取電影名稱.txt', mode='r', encoding='utf-8') as f:for i in f.readlines():i = i.strip('\n')names.append(i)#print(names) readName() createUrls() get_comments(zr_urls) #傳入zr_urls

完整代碼，后續(xù)一周內(nèi)即將公布！

相關(guān)文章：Py之PIL：不一樣的PS之利用PIL庫的img.paste方法實(shí)現(xiàn)合成劉若英導(dǎo)演電影《后來的我們》海報(bào)設(shè)計(jì)

?

?

?

總結(jié)

以上是生活随笔為你收集整理的Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。