Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示,urllib2库的安装
新版的 python 把 urllib2 改成了 urllib.request,所以直接導(dǎo)入 urllib2 會報錯。
這是我通過 chrome92 版本的瀏覽器發(fā)送請求的時候抓到的頭部信息,只要我在發(fā)送請求時引用一個 User-Agent 信息就可以了。
Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
訪問的是 淘寶的 python 安裝包鏡像。
沒有偽裝瀏覽器,在訪問一定次數(shù)后就訪問不了了,偽裝后就沒有限制了。
爬取所有的 a 元素,并提取 href 里面的內(nèi)容。
效果圖如下:
喜歡的點個贊?吧!
總結(jié)
以上是生活随笔為你收集整理的Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示,urllib2库的安装的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python 自动化 - 浏览器chro
- 下一篇: Python 技术篇 - 使用unico