原標題：對新筆趣閣小說進行爬取，保存和下載！這就是Python的魅力

以前挺愛在筆趣閣看小說的（老白嫖怪了）

現在學了一點爬蟲技術，就自然而然的想到了爬取筆趣閣的小說

也算鍛煉一下自己的技術，就以新筆趣閣開始

分析

對每一個小說目錄界面的url還是很容易得到的

如圣墟：http://www.xbiquge.la/13/13959/可以知道，遍歷從1到13，從00001到13959，也可以訪問到部分書的目錄界面，但這還是很浪費時間和麻煩

我呢就以下載一本小說為例：

為了有一定的廣泛性，我用selenium先進行操作，

然后在這里輸入小說名字，點擊搜索，然后獲得新頁面的源碼

再用xpath解析，找到搜到第一個小說的名字和url

再對url進行requests.get請求得到小說目錄頁碼的源碼

再進行解析，得到每一章的url以及名字

把每一章的url和名字以字典的方法存到一個列表里面

再逐步請求每個url，再解析源碼，得到文字保存到電腦里面

代碼實現

import os

import time

import requests

from selenium import webdriver

from concurrent.futures import ThreadPoolExecutor

from lxml import etree

#selenium路徑

path='C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'

head={

"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"

}

novel_name=input("輸入想要下載的小說名字")

#進行自動化操作對筆趣閣進行訪問

bro=webdriver.Chrome(executable_path=path)

bro.get('http://www.xbiquge.la/')

search_off=bro.find_element_by_id('wd')

search_off.send_keys(novel_name)#輸入小說名字

click_search=bro.find_element_by_id('sss')#找到搜索的位置

click_search.click()#點擊搜索

time.sleep(5)

page_text=bro.page_source

bro.quit()

#得到訪問頁面的源碼

tree=etree.HTML(page_text)

novel_name=tree.xpath('//*[@id="checkform"]/table/tbody/tr[2]/td[1]/a/text()')[0]#小說名

url=tree.xpath('//*[@id="checkform"]/table/tbody/tr[2]/td[1]/a/@href')[0]

#訪問小說目錄頁面

response=requests.get(url=url,headers=head)

#因為會存在中文亂碼的情況，所以進行下面操作

response.raise_for_status()

response.encoding=response.apparent_encoding

#再進行xpath解析

tree=response.text

tree=etree.HTML(tree)

actor=tree.xpath('//*[@id="info"]/p[1]/text()')[0]#作者名

#創建文件夾

if not os.path.exists('./小說'):

os.mkdir('./小說')

if not os.path.exists('./小說/'+str(novel_name)):

os.mkdir('./小說/'+str(novel_name))

urls=[]

zhangjies=tree.xpath('//*[@id="list"]/dl/dd')#獲得存放章節信息的列表

for i in zhangjies:

#把每個章節的url和名字以字典型存放

zhangjie_name=i.xpath('./a/text()')[0]+'.txt'

zhangjie_url='http://www.xbiquge.la'+i.xpath('./a/@href')[0]

dic={

'name':zhangjie_name,

'url' :zhangjie_url

}

urls.append(dic)

def data_get_write(dic):

url=dic['url']

for i in range(20):#因為網站容易崩而出現503頁面，故要多次請求

try:

data_get=requests.get(url=url,headers=head)

data_get.raise_for_status()

data_get.encoding=data_get.apparent_encoding

data_tree=data_get.text

break

except:

print("請求出錯，從新請求")

data_tree=etree.HTML(data_tree)

data_writr=data_tree.xpath('//*[@id="content"]/text()')

with open('./小說/'+str(novel_name)+'/'+dic['name'],'w',encoding='utf-8') as fp:#對小說章節進行持久化存儲

for name in data_writr:

fp.write(name)

print(dic['name'],'下載成功！！！')

#time.sleep(1)

#with ThreadPoolExecutor() as pool:#用進程池訪問，因為網站容易崩，所以效率很低

#pool.map(data_get_write,urls)

for dic in urls:#對每個章節單獨訪問

data_get_write(dic)

time.sleep(1)

到此，算是完成了，中間也有很多問題，比如這個網頁太容易崩了，一不小心就503，也可能是因為沒有反爬蟲的機制，服務器頂不住了，在此要感謝郭大佬的幫助，用多次循環try來解決了這個問題

也能很好的保存下來。

感覺還是很需要多練習，熟能生巧，出現問題也就能很快解決，當然算法也很重要的，能夠培養思維，會練習的返回搜狐，查看更多

責任編輯：

總結

以上是生活随笔為你收集整理的python爬取小说写入txt_对新笔趣阁小说进行爬取，保存和下载！这就是Python的魅力...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。