畢業(yè)，是一首離別的歌

前言

炎炎夏季，又快到了我們該說畢業(yè)的時(shí)候。都說分開是為了更好的相聚，讓我們彼此珍惜！

在這個(gè)炎熱的空檔期，對于技術(shù)渴望的宅男腐女們我們該做點(diǎn)什么呢？那最好的方式就是用編程來填補(bǔ)我們內(nèi)心的空虛。

編程難不難？那可不是鬧著玩的。不從事這一行的永遠(yuǎn)不知道這行的艱辛。

俗話說的好；爬蟲在手天下我有，自從學(xué)習(xí)了爬蟲；看到什么都想盤它一番直到遇到JS反爬

不知大家有沒有遇到過這種情況；就是你在網(wǎng)上不管是查閱資料也好還是做什么，你會發(fā)現(xiàn)其實(shí)很多人寫的反爬一類的都只給你看結(jié)果，你根本不知道這個(gè)突破過程是怎么樣的，哪怕獲取到了代碼又有何用；下次再給你一道題你同樣還是不會。你品,你細(xì)品......

我覺得做任何事情一定有在短期內(nèi)簡單可行的方法。學(xué)習(xí)不應(yīng)該是苦差事，而應(yīng)該是快樂的，重要的是找到適合自己的學(xué)習(xí)方法

實(shí)戰(zhàn)

開始之前咱們先看一下要爬取的數(shù)據(jù)內(nèi)容~

分析網(wǎng)頁結(jié)構(gòu)

通過鼠標(biāo)選擇器；選中文本之后在右側(cè)的元素面板中可以看到數(shù)據(jù)是包含在p標(biāo)簽中的，我在想是否能夠通過re正則表達(dá)式直接獲取對應(yīng)的text文本。~~~哈哈,想簡單了 因?yàn)樵谧屑?xì)對比之后發(fā)現(xiàn)，class所對應(yīng)的屬性是不規(guī)則的。

就算將文本獲取下來了，文字也是那種七拼八湊沒有排好版的；這樣的文章要來也沒有任何用呀；所以繼續(xù)分析唄......

一般像這種文章一類的；它的api確實(shí)很難逆向......自己埋得坑得給填平

經(jīng)過一番查找;發(fā)現(xiàn)這個(gè)VIP文庫好像是通過js文件然后生成了屬于自己獨(dú)有的api地址 ？

在不確定對不對的情況下，也沒有其他數(shù)據(jù)驗(yàn)證的情況下；先解析排序一番 看是否能夠拿到數(shù)據(jù)。

代碼演示

第一步 請求網(wǎng)絡(luò)鏈接獲取網(wǎng)絡(luò)返回的數(shù)據(jù)

import?requests
import?re

#?設(shè)置會話列表
session?=?requests.session()
#?請求網(wǎng)址
def?get_content_url(url):
????return?session.get(url).content.decode('gbk')

def?main():
????url?=?input('請輸入你要下載文庫的URL地址：')
????content?=?get_content_url(url)
????print(content)

我們在獲取到該文章的url之后，查看該url對應(yīng)的網(wǎng)頁數(shù)據(jù)時(shí)，在這個(gè)網(wǎng)頁數(shù)據(jù)中發(fā)現(xiàn)它同時(shí)蘊(yùn)含著真正文章的地址

htmlUrls?=?'{\x22ttf\x22:[{\x22pageIndex\x22:1,\x22param\x22:\x22&md5sum=b1f8fa5aeb9b6fed68ad32e063bfb0e5&range=0-31101&sign=7515dbae11\x22},{\x22pageIndex\x22:2,\x22param\x22:\x22&md5sum=b1f8fa5aeb9b6fed68ad32e063bfb0e5&range=31102-55306&sign=7515dbae11\x22},{\x22pageIndex\x22:3,\x22param\x22:\x22&md5sum=b1f8fa5aeb9b6fed68ad32e063bfb0e5&range=55307-93048&sign=7515dbae11\x22},{\x22pageIndex\x22:4,\x22param\x22:\x22&md5sum=b1f8fa5aeb9b6fed68ad32e063bfb0e5&range=93049-132192&sign=7515dbae11\x22},{\x22pageIndex\x22:5,\x22param\x22:\x22&md5sum=b1f8fa5aeb9b6fed68ad32e063bfb0e5&range=132193-&sign=7515dbae11\x22}],\x22json\x22:[{\x22pageIndex\x22:1,\x22pageLoadUrl\x22:\x22https:\\\/\\\/wkbjcloudbos.bdimg.com\\\/v1\\\/docconvert5004\\\/\\\/wk\\\/b1f8fa5aeb9b6fed68ad32e063bfb0e5\\\/0.json?responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C%2014%20Jun%202020%2014%3A46%3A09%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc85045ce7179e%2F2020-04-30T06%3A46%3A09Z%2F3600%2Fhost%2F9e582203d432a9f847b718dab571a08017108e768f72ade5237ff652a7155251&x-bce-range=0-10894&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxLjAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTU4ODIzMjc2OSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDYWNoZUNvbnRyb2wiLCJyZXNwb25zZUV4cGlyZXMiLCJ4LWJjZS1yYW5nZSJdfQ%3D%3D.ErP4NzQSHI7omb0fL0PCVfgvk0ze0w0JUfZLWMMYDlM%3D.1588232769\x22},{\x22pageIndex\x22:2,\x22pageLoadUrl\x22:\x22https:\\\/\\\/wkbjcloudbos.bdimg.com\\\/v1\\\/docconvert5004\\\/\\\/wk\\\/b1f8fa5aeb9b6fed68ad32e063bfb0e5\\\/0.json?responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C%2014%20Jun%202020%2014%3A46%3A09%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc85045ce7179e%2F2020-04-30T06%3A46%3A09Z%2F3600%2Fhost%2F9e582203d432a9f847b718dab571a08017108e768f72ade5237ff652a7155251&x-bce-range=10895-28260&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxLjAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTU4ODIzMjc2OSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDYWNoZUNvbnRyb2wiLCJyZXNwb25zZUV4cGlyZXMiLCJ4LWJjZS1yYW5nZSJdfQ%3D%3D.9i8HdDDmUge8YbVEMtZAnelm%2FDSLDfBfgI2Jx7P16aE%3D.1588232769\x22},{\x22pageIndex\x22:3,\x22pageLoadUrl\x22:\x22https:\\\/\\\/wkbjcloudbos.bdimg.com\\\/v1\\\/docconvert5004\\\/\\\/wk\\\/b1f8fa5aeb9b6fed68ad32e063bfb0e5\\\/0.json?responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C%2014%20Jun%202020%2014%3A46%3A09%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc85045ce7179e%2F2020-04-30T06%3A46%3A09Z%2F3600%2Fhost%2F9e582203d432a9f847b718dab571a08017108e768f72ade5237ff652a7155251&x-bce-range=28261-38549&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxLjAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTU4ODIzMjc2OSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDYWNoZUNvbnRyb2wiLCJyZXNwb25zZUV4cGlyZXMiLCJ4LWJjZS1yYW5nZSJdfQ%3D%3D.4SABpIpgQ%2BnueqTBSwfTo3nLieKfUcGU%2FZU9OZ%2F4nk0%3D.1588232769\x22},{\x22pageIndex\x22:4,\x22pageLoadUrl\x22:\x22https:\\\/\\\/wkbjcloudbos.bdimg.com\\\/v1\\\/docconvert5004\\\/wk\\\/b1f8fa5aeb9b6fed68ad32e063bfb0e5\\\/0.json?responseContentType=application%2Fjavascript&responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C%2014%20Jun%202020%2014%3A46%3A09%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc85045ce7179e%2F2020-04-30T06%3A46%3A09Z%2F3600%2Fhost%2F5a356ec62775deff7aa1b5b5b4937945c319efe9126778be6254387b75ca1626&x-bce-range=38550-52301&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxLjAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTU4ODIzMjc2OSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDb250ZW50VHlwZSIsInJlc3BvbnNlQ2FjaGVDb250cm9sIiwicmVzcG9uc2VFeHBpcmVzIiwieC1iY2UtcmFuZ2UiXX0%3D.L5iFcYymhKwKiOA3dVRyBtUXFG9QRfohHiaIzS2MpQU%3D.1588232769\x22},{\x22pageIndex\x22:5,\x22pageLoadUrl\x22:\x22https:\\\/\\\/wkbjcloudbos.bdimg.com\\\/v1\\\/docconvert5004\\\/\\\/wk\\\/b1f8fa5aeb9b6fed68ad32e063bfb0e5\\\/0.json?responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C%2014%20Jun%202020%2014%3A46%3A09%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc85045ce7179e%2F2020-04-30T06%3A46%3A09Z%2F3600%2Fhost%2F9e582203d432a9f847b718dab571a08017108e768f72ade5237ff652a7155251&x-bce-range=52302-&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxLjAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTU4ODIzMjc2OSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDYWNoZUNvbnRyb2wiLCJyZXNwb25zZUV4cGlyZXMiLCJ4LWJjZS1yYW5nZSJdfQ%3D%3D.9VimXbBUqMM9a8uJUhZFYjWxNzEnd0X485v%2FiCIHO24%3D.1588232769\x22}],\x22png\x22:[]}'

第二步 正則表達(dá)式解析數(shù)據(jù)

def?get_content_type(content):
????print(re.findall(r"docType.*?\:.*?\'(.*?)\'\,",?content))

是不是沒有任何發(fā)現(xiàn)；腦子有點(diǎn)懵~ 慢慢來！我已經(jīng)標(biāo)注出來了。既然我們發(fā)現(xiàn)了這個(gè)數(shù)據(jù)集，那么接下來嘗試著解析一下唄；看看隱藏這么深的究竟是何方神圣。

根據(jù)上面獲取到的數(shù)據(jù)集經(jīng)過再一次的解析；我們得到了一個(gè)鏈接；好像~貌似看到希望了呀哈哈~

再解析一下；此時(shí)我們已經(jīng)通過正則表達(dá)式取得該文章的地址了，這些地址不止一個(gè)；接下來讓我們把代碼先完善一下

注意：因?yàn)槊總€(gè)文章的類型是不同的；看下圖；所以這里只做了doc格式的解析，其他的思路都差不多，有心的同學(xué)可以參照著我這種方案自己動(dòng)手試一下。

def?get_content_type(content):
????return?re.findall(r"docType.*?\:.*?\'(.*?)\'\,",?content)[0]

使用文章的地址再次向服務(wù)器發(fā)送請求時(shí)，獲取到的文章數(shù)據(jù)，但是此時(shí)的數(shù)據(jù)還并不是文章的內(nèi)容，而是一個(gè)json結(jié)構(gòu)的數(shù)據(jù)集，這里大家看起來可能有點(diǎn)懵逼，我們稍微給他處理一下

經(jīng)過解析之后；這樣看起來就清晰了很多；大家看下圖的左邊?~ 然后再看右邊?解析整理之后的

不過看到這個(gè)數(shù)據(jù)集有些腦袋懵懵的，頭皮發(fā)麻有沒有；經(jīng)過一番摸索之后；給大家整理一下結(jié)論。

這個(gè)數(shù)據(jù)集是基于百度文庫自己的閱讀器生成的，里面包含了非常多的信息，我們需要的文章內(nèi)容就在其中，只不過它是以五維的位置參數(shù)，來標(biāo)明內(nèi)容出現(xiàn)的位置。

比如下面這樣，內(nèi)容就是 c 這一串的Unicode編碼，p 就是其位置參數(shù),什么高啊寬啊等

有種無從下手的感覺；經(jīng)過一番實(shí)驗(yàn)；這里我們可以根據(jù) y 的數(shù)值對整個(gè)文檔進(jìn)行簡單排列，然后設(shè)置編解碼。

不理解的同學(xué)可以根據(jù)代碼。自己實(shí)踐一下；這里就不細(xì)說了！

def?get_content_doc(content):
????result?=?''
????url_list?=?re.findall('(https.*?0.json.*?)\\\\x22}',?content)
????#?print(url_list)
????url_list?=?[addr.replace("\\\\\\/",?"/")?for?addr?in?url_list]
????for?url?in?url_list[:-5]:
????????content?=?fetch_url(url)
????????y?=?0
????????txtlists?=?re.findall('"c":"(.*?)".*?"y":(.*?),',?content)
????????for?item?in?txtlists:
????????????if?not?y?==?item[1]:
????????????????y?=?item[1]
????????????????n?=?'\n'
????????????else:
????????????????n?=?''
????????????result?+=?n
????????????result?+=?item[0].encode('utf-8').decode('unicode_escape',?'ignore')
????return?result

第三步 保存數(shù)據(jù)

def?save_file(filename,?content):
????with?open(filename,?'w',?encoding='utf-8')?as?f:
????????f.write(content)
????????print('已保存為:'?+?filename)

if?__name__?==?"__main__":
????main()

在這個(gè)浮躁的時(shí)代；竟然還有人能堅(jiān)持篇篇原

如果本文對你學(xué)習(xí)有所幫助-可以點(diǎn)贊?+ 關(guān)注！將持續(xù)更新更多新的文章

支持原創(chuàng)。感謝！

總結(jié)

以上是生活随笔為你收集整理的js input复选框选中父级同时子级也选中_突破百度JS反爬获取百度文库数据下载...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。