CNVD用了知道創(chuàng)宇的加速樂，這個東西有個反爬蟲機制，第一次請求(只帶了__jsluid)會只返回一個js文件。第二次請求的時候會帶上 __jsluid cookies和JS解密計算出來的一個叫做__jsl_clearance的cookies值，只有這兩個cookies驗證匹配才認(rèn)為是合法的訪問身份。

所以只要得到__jsl_clearance并且和__jsluid一起放到請求頭中就可以返回正常的頁面了

解決方案有兩種：

1、研究并處理返回的js文件得到__jsl_clearance。js是加密的，而且每次算法都不一樣，沒轍了

2、用selenium直接模擬瀏覽器訪問，通過get_cookie方法直接拿到__jsl_clearance和__jsluid，成功

注意請求頭要和webdrive的瀏覽器一樣，尤其是User-Agent。因為我是放在ubuntu上跑的，所以是

'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',

就可以返回正常頁面了

等之后項目上線我把會源代碼扔到github上

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的爬虫python漏洞群_如何用爬虫获取cnvd漏洞库？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。