今天心血來潮，想爬取起點(diǎn)vip小說章節(jié)，花費(fèi)了足足0.27大洋后，悟出來一個(gè)人生道理，這個(gè)應(yīng)該是爬不下來。但是這0.27大洋也教會(huì)了我兩個(gè)知識(shí)點(diǎn)。

1.服務(wù)器只會(huì)響應(yīng)客戶端的請(qǐng)求，不會(huì)主動(dòng)給客戶端發(fā)送信息

例如我爬取的這一章vip章節(jié)

image.png

客戶端就會(huì)一直向服務(wù)器發(fā)送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz的請(qǐng)求，如果我沒有付錢，服務(wù)器就會(huì)返回

image.png

如果我付錢了

就會(huì)返回

{"code":0,"data":{"readUrl":"//vipreader.qidian.com/chapter/3242304/67958436"},"msg":"suc"}

接收到這個(gè)返回后客戶端會(huì)在發(fā)送一個(gè)請(qǐng)求章節(jié)內(nèi)容的request（是不是我冒充服務(wù)器給瀏覽器發(fā)一個(gè){"code":0,"data":{"readUrl":"//vipreader.qidian.com/chapter/3242304/67958436"},"msg":"suc"}的response，瀏覽器就會(huì)發(fā)一個(gè)請(qǐng)求全部?jī)?nèi)容的request，是不是就可以獲得全部章節(jié)內(nèi)容，就可以爬取vip章節(jié)了，前提是服務(wù)器不會(huì)在驗(yàn)證我是否已經(jīng)付錢），這時(shí)候如果驗(yàn)證我猜服務(wù)器會(huì)去數(shù)據(jù)庫查查我這個(gè)用戶有沒有付錢，如果有的話就會(huì)返回全部章節(jié)信息，如果沒有的話就返回試讀的信息（這是不是一個(gè)反爬蟲的手段？服務(wù)器再次驗(yàn)證是否有vip權(quán)限）。

所以目前我認(rèn)為 如果不修改起點(diǎn)數(shù)據(jù)庫中我付費(fèi)字段的標(biāo)記，那應(yīng)該是爬取不到全部vip章節(jié)信息的。

2.cookie是服務(wù)器識(shí)別用戶的手段

因?yàn)槲腋顿M(fèi)是在谷歌瀏覽器付費(fèi)，所以當(dāng)我輸入

https://vipreader.qidian.com/ajax/chapter/chapterInfo?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz&bookId=3242304&chapterId=67743698&authorId=4362948

谷歌瀏覽器顯示全部章節(jié)內(nèi)容：

image.png

但是換一個(gè)瀏覽器后，輸入相同的網(wǎng)址，則只會(huì)顯示試讀內(nèi)容：

image.png

總結(jié)

以上是生活随笔為你收集整理的python爬取vip小说章节_python 爬取起点小说vip章节（失败）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。