爬取小說

• 效果
• 分析網(wǎng)頁
• 正則表達式分析
• 請求頭分析
• 完整代碼
• 可能出現(xiàn)的錯誤

效果

分析網(wǎng)頁

我們可以看到 小說的章節(jié)的標題與對應的鏈接是在<dd></dd>這個節(jié)點中的。

進入一章，

我們可以看到 小說內(nèi)容是在一個id = "content的div 容器中。

正則表達式分析

<dd>.*</dd>

獲得：

<dd><a href='/55/55945/23396080.html' >第一章 我有三個相宮</a></dd>

過濾出URL和標題

href=..([^>"]*)..>(.*)</a>

其中([^>"]*)和(.*) 被稱為組。
所以有

# 組成完整的URLurl = 'https://www.xbiquge.la/'+g.group(1)# 獲取標題title = g.group(2)

請求頭分析

網(wǎng)址是：https://www.xbiquge.la/0/55945/

• ’Host':一般來說 是從左數(shù)第一個// 和/之間的。所以這里是www.xbiquge.la
• Cookie：是在一個分號的后邊的數(shù)據(jù)。
  如：

請求頭：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36','Host' :'www.xbiquge.la', 'cookie': 'Hm_lpvt_169609146ffe5972484b0957bd1b46d6=1629598903' }

完整代碼

import requests import relink = 'https://www.xbiquge.la/0/55945/'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36','Host' :'www.xbiquge.la', 'cookie': 'Hm_lpvt_169609146ffe5972484b0957bd1b46d6=1629598903' } #獲取小說鏈接得到小說目錄和對應的URL def getCatelogs(url):# 發(fā)送請求req = requests.get(link,headers=headers,allow_redirects=False)result = []if req.status_code == 200:# 獲取 HTML 內(nèi)容html = req.textaList =re.findall('<dd>.*</dd>',html)print(aList)for a in aList:g = re.search('href=..([^>"]*)..>(.*)</a>', a)if g != None:# 組成完整的URLurl = 'https://www.xbiquge.la/'+g.group(1)# 獲取標題title = g.group(2)# 創(chuàng)建一個對象，用于保存標題和URLchapter = {'title':title,'url':url}result.append(chapter)return result # 根據(jù)章節(jié)目錄，抓取目錄對應的URL指定的小說正文頁面 def getContent(chapters):for chapter in chapters:url = chapter['url']r = requests.get(url,headers=headers)r.encoding = 'utf-8' #避免亂碼if r.status_code == 200:# 打開novel1目錄（自己創(chuàng)建即可），以標題命名f = open('novel/'+chapter['title']+'.txt','a+')# 將內(nèi)容提取出來contents = re.findall('&nbsp;&nbsp;&nbsp;&nbsp;(.*)<',r.text)for content in contents:f.write(content)f.close()print(chapter['title'],chapter['url'])getContent(getCatelogs(link))

可能出現(xiàn)的錯誤

• 中文亂碼，導致無法存進文件：r.encoding = 'utf-8' #避免亂碼解決。
• 在這里提取到的是相對路徑：需要補充。補充的依據(jù)情況不同。如這里是https://www.xbiquge.la/

分析網(wǎng)頁的話，盡量別用正則表達式把，要吐血的。

總結(jié)

以上是生活随笔為你收集整理的看小说有广告？不可能的，分分钟教你爬取小说的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。