1.為什么有這個(gè)想法：
最近想看一部連載小說(shuō)，奈何沒(méi)有現(xiàn)成資源，網(wǎng)頁(yè)一章一章看廣告又太煩，于是乎用python beautifulsoup4 代碼爬蟲(chóng)爬取文章的想法就應(yīng)運(yùn)而生了
2.軟件環(huán)境：
python 3.7
Beautifulsoup 4.7.1
requests 2.21.0
pycharm 2018.3.2
3.思路分析
先抓取一篇文章的標(biāo)題與正文內(nèi)容，之后抓取目錄鏈接，在目錄的循環(huán)了執(zhí)行每篇文章的抓取，最后將文章存成txt。
4.代碼：

import requests from bs4 import BeautifulSoup import os import timedef getcontent(url):html=requests.get(url)html.encoding='UTF-8'soup=BeautifulSoup(html.text,'html.parser')title=soup.select('.bookname h1')print(title[0].text)re1=title[0].textcontent=soup.select('#content')result=content[0].textprint(str(result).strip().replace(' ','\n'))re2=str(result).strip().replace(' ','\n')with open(os.path.join(os.getcwd(),'凡人修仙傳之仙界篇.txt'),'a+',encoding='utf-8') as f:f.write(re1+'\n'+re2+'\r\n')def getallurl():result=[]url='https://www.biquke.com/bq/0/990/'html=requests.get(url)html.encoding='utf-8'soup=BeautifulSoup(html.text,'html.parser')re=soup.select('#list a')for i in re:# print(i['href'])result.append(i['href'])return resultif __name__ == '__main__':# url='https://www.biquke.com/bq/0/990/4368042.html'# getcontent(url)# url='https://www.biquke.com/bq/0/990/4374212.html'# getcontent(url)# url='https://www.biquke.com/bq/0/990/4375800.html'# getcontent(url)allpageurl=getallurl()for i in allpageurl:url='https://www.biquke.com/bq/0/990/'+igetcontent(url)time.sleep(1)print('='*50)print('文章截取完畢')print('='*50)

5.效果截圖：


6.心得：
爬蟲(chóng)越來(lái)越得心應(yīng)手了，基礎(chǔ)是關(guān)鍵，從局部到整體，思路一定要清晰，先打印到控制臺(tái)，沒(méi)問(wèn)題再存成本地文件。

總結(jié)

以上是生活随笔為你收集整理的python Beautifulsoup4爬取凡人修仙传仙界篇连载中文章并生成txt的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。