新版的 python 把 urllib2 改成了 urllib.request，所以直接導(dǎo)入 urllib2 會(huì)報(bào)錯(cuò)。
這是我通過(guò) chrome92 版本的瀏覽器發(fā)送請(qǐng)求的時(shí)候抓到的頭部信息，只要我在發(fā)送請(qǐng)求時(shí)引用一個(gè) User-Agent 信息就可以了。

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

訪問(wèn)的是 淘寶的 python 安裝包鏡像。
沒(méi)有偽裝瀏覽器，在訪問(wèn)一定次數(shù)后就訪問(wèn)不了了，偽裝后就沒(méi)有限制了。

import urllib.request as urllib2headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } url = "http://npm.taobao.org/mirrors/python/" request = urllib2.Request(url, headers=headers) html_content = urllib2.urlopen(request).readlines()for i in html_content:i = str(i)if("href=" in i and ">" in i):a = i.index("href=");b = i.index(">");i = i[a+6:b-1]print(i)

爬取所有的 a 元素，并提取 href 里面的內(nèi)容。

效果圖如下：

喜歡的點(diǎn)個(gè)贊?吧！

總結(jié)

以上是生活随笔為你收集整理的Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示，urllib2库的安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。