當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

urllib模块学习

發布時間：2024/9/3 编程问答 66 豆豆

生活随笔收集整理的這篇文章主要介紹了 urllib模块学习小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

已剪輯自: http://xiaobaibook.com/details/51/

　　概念：urllib是Python自帶的一個用于爬蟲的庫，其主要作用就是可以通過代碼模擬瀏覽器發送請求。其常被用到的子模塊在Python3中的為urllib.request和urllib.parse，在Python2中是urllib和urllib2。

? ? ?使用流程：

指定url
基于urllib的request子模塊發起請求
獲取響應中的數據值
持久化存儲

二.由易到難的爬蟲程序

? ? 1.第一個簡單的爬蟲程序：爬取搜狗首頁的頁面數據

import urllib.request import urllib.parse #1.指定url url = 'https://www.sogou.com/' #2.發起請求:使用urlopen函數發起請求，該函數返回一個響應對象 response = urllib.request.urlopen(url=url) #3.獲取響應對象中的頁面數據:read函數可以獲取響應對象中byte類型的數據值 page_text = response.read() #4.持久化存儲：將爬取的頁面數據寫入文件進行保存 with open('./sogou.html','w',encoding='utf-8') as fp:??? fp.write(page_text.decode())#使用decode將page_text轉成字符串類型

? ? 補充說明：

urlopen函數原型：??? urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)在上述案例中我們只使用了該函數中的第一個參數url。在日常開發中，我們能用的只有url和data這兩個參數。 url參數：指定向哪個url發起請求 data參數：可以將post請求中攜帶的參數封裝成字典的形式傳遞給該參數(暫時不需要理解，后期會講) urlopen函數返回的響應對象，相關函數調用介紹： response.headers()：獲取響應頭信息 response.getcode()：獲取響應狀態碼 response.geturl()：獲取請求的url response.read()：獲取響應中的數據值(字節類型)

? ? 2.二進制數據的爬取：爬取網絡上的某張圖片數據，且存儲到磁盤

? ? ? ? 方法 1：

import urllib.request import urllib.parse #1.指定url url = 'https://pic.qiushibaike.com/system/pictures/12112/121121212/medium/ZOAND29U4NKNEWEF.jpg' #2.發起請求:使用urlopen函數發起請求，該函數返回一個響應對象 response = urllib.request.urlopen(url=url) #3.獲取響應對象中的圖片二進制類型的數據 img_data = response.read() #4.持久化存儲：將爬取的圖片寫入本地進行保存 with open('./tupian.png','wb') as fp:??? fp.write(img_data)

? ? ? ? 方法 2：

import urllib.request import urllib.parse url = 'https://pic.qiushibaike.com/system/pictures/12112/121121212/medium/ZOAND29U4NKNEWEF.jpg' # 函數原型：urllib.request.urlretrieve(url, filename=None) # 作用：對url發起請求，且將響應中的數據值寫入磁盤進行存儲 urllib.request.urlretrieve(url=url,filename='./img.png')

? ? 3.url的特性：

url必須為ASCII編碼的數據值。所以我們在爬蟲代碼中編寫url時，如果url中存在非ASCII編碼的數據值，則必須對其進行ASCII編碼后，該url方可被使用。

　　案例：爬取使用搜狗根據指定詞條搜索到的頁面數據(例如爬取詞條為‘周杰倫’的頁面數據)

import urllib.request import urllib.parse url = 'https://www.sogou.com/web?query=周杰倫' response = urllib.request.urlopen(url=url) data = response.read() with open('./周杰倫.html','wb') as fp:??? fp.write(data) print('寫入文件完畢')

? ? 【注意】上述代碼中url存在非ascii編碼的數據，則該url無效。如果對其發起請求，則會報如下錯誤：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-17: ordinal not in range

? ? 所以必須對url中的非ascii的數據進行ascii的編碼，則該url方可被發起請求：

? ? ? ? 方法 1：使用quote函數

import urllib.request import urllib.parse url = 'https://www.sogou.com/web?query=%s' #對url中的非ascii進行編碼.quote函數可以對非ascii的數據值進行ascii的編碼word = urllib.parse.quote('周杰倫') #將編碼后的數據值拼接回url中 url = format(url%word) response = urllib.request.urlopen(url=url) data = response.read() with open('./周杰倫.html','wb') as fp:??? fp.write(data) print('寫入文件完畢')

? ? ? ? 方法2：使用urlencode函數

import urllib.request import urllib.parse url = 'https://www.sogou.com/web?' #將get請求中url攜帶的參數封裝至字典中 param = {??? 'query':'周杰倫' } #對url中的非ascii進行編碼 param = urllib.parse.urlencode(param) #將編碼后的數據值拼接回url中 url += param response = urllib.request.urlopen(url=url) data = response.read() with open('./周杰倫1.html','wb') as fp:??? fp.write(data) print('寫入文件完畢')

? ? 4.通過自定義請求對象，用于偽裝爬蟲程序請求的身份。

　　　之前在講解http常用請求頭信息時，我們講解過User-Agent參數，簡稱為UA，該參數的作用是用于表明本次請求載體的身份標識。如果我們通過瀏覽器發起的請求，則該請求的載體為當前瀏覽器，則UA參數的值表明的是當前瀏覽器的身份標識表示的一串數據。如果我們使用爬蟲程序發起的一個請求，則該請求的載體為爬蟲程序，那么該請求的UA為爬蟲程序的身份標識表示的一串數據。有些網站會通過辨別請求的UA來判別該請求的載體是否為爬蟲程序，如果為爬蟲程序，則不會給該請求返回響應，那么我們的爬蟲程序則也無法通過請求爬取到該網站中的數據值，這也是反爬蟲的一種初級技術手段。那么為了防止該問題的出現，則我們可以給爬蟲程序的UA進行偽裝，偽裝成某款瀏覽器的身份標識。

　　　上述案例中，我們是通過request模塊中的urlopen發起的請求，該請求對象為urllib中內置的默認請求對象，我們無法對其進行UA進行更改操作。urllib還為我們提供了一種自定義請求對象的方式，我們可以通過自定義請求對象的方式，給該請求對象中的UA進行偽裝(更改)操作。

import urllib.request import urllib.parse url = 'https://www.sogou.com/web?' #將get請求中url攜帶的參數封裝至字典中 param = {??? 'query':'周杰倫' } #對url中的非ascii進行編碼 param = urllib.parse.urlencode(param) #將編碼后的數據值拼接回url中 url += param #封裝自定義的請求頭信息的字典： #將瀏覽器的UA數據獲取，封裝到一個字典中。該UA值可以通過抓包工具或者瀏覽器自帶的開發者工具中獲取某請求，從中獲取UA的值 #注意：在headers字典中可以封裝任意的請求頭信息 headers={??? 'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'??? } #自定義請求對象，可以在該請求對象中添加自定義的請求頭信息 request = urllib.request.Request(url=url,headers=headers) #使用自定義請求對象發起請求 response = urllib.request.urlopen(request) data = response.read() with open('./周杰倫.html','wb') as fp:??? fp.write(data) print('寫入文件完畢')

? ? 5.攜帶參數的post請求：

? ? ? ? 案例：百度翻譯發起post請求

import urllib.request import urllib.parse #通過抓包工具抓取post請求的url post_url='https://fanyi.baidu.com/sug' #封裝post請求參數 data={"kw":"dog" } data=urllib.parse.urlencode(data) #自定義請求頭信息字典 headers={??? "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36" } #自定義請求對象，然后將封裝好的post請求參數賦值給Requst方法的data參數。 #data參數：用來存儲post請求的參數 request=urllib.request.Request(post_url,data=data.encode(),headers=headers) #自定義的請求對象中的參數(data必須為bytes類型) response=urllib.request.urlopen(request) response.read()

三.urllib模塊的高級操作

? ? 1.代理

? ? ? - 什么是代理：代理就是第三方代替本體處理相關事務。例如：生活中的代理：代購，中介，微商......

　　- 爬蟲中為什么需要使用代理？

　　　? 一些網站會有相應的反爬蟲措施，例如很多網站會檢測某一段時間某個IP的訪問次數，如果訪問頻率太快以至于看起來不像正常訪客，它可能就會會禁止這個IP的訪問。所以我們需要設置一些代理IP，每隔一段時間換一個代理IP，就算IP被禁止，依然可以換個IP繼續爬取。

　? - 代理的分類：

　　　　正向代理：代理客戶端獲取數據。正向代理是為了保護客戶端防止被追究責任。

　　　　反向代理：代理服務器提供數據。反向代理是為了保護服務器或負責負載均衡。

import urllib.request import urllib.parse#1.創建處理器對象，在其內部封裝代理ip和端口 handler=urllib.request.ProxyHandler(proxies={'http':'95.172.58.224:52608'}) #2.創建opener對象，然后使用該對象發起一個請求 opener=urllib.request.build_opener(handler)url='http://www.baidu.com/s?ie=UTF-8&wd=ip'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', }request = urllib.request.Request(url, headers=headers)#使用opener對象發起請求，該請求對應的ip即為我們設置的代理ip response = opener.open(request)with open('./daili.html','wb') as fp:fp.write(response.read())221import urllib.request2import urllib.parse34#1.創建處理器對象，在其內部封裝代理ip和端口5handler=urllib.request.ProxyHandler(proxies={'http':'95.172.58.224:52608'})6#2.創建opener對象，然后使用該對象發起一個請求7opener=urllib.request.build_opener(handler)89url='http://www.baidu.com/s?ie=UTF-8&wd=ip'1011headers = {12 ? ?'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',13}1415request = urllib.request.Request(url, headers=headers)1617#使用opener對象發起請求，該請求對應的ip即為我們設置的代理ip18response = opener.open(request)1920with open('./daili.html','wb') as fp:21 ? ?fp.write(response.read())22 ? ?

? ? 2.cookie

? ? ? ???引言：有些時候，我們在使用爬蟲程序去爬取一些用戶相關信息的數據(爬取張三“人人網”個人主頁數據)時，如果使用之前requests模塊常規操作時，往往達不到我們想要的目的，例如：

import urllib.request import urllib.parse #指定url url = 'http://www.renren.com/289676607/profile' #自定義請求頭信息 headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',} #自定義請求對象 request = urllib.request.Request(url=url,headers=headers) #發起請求 response = urllib.request.urlopen(request)with open('./renren.html','w') as fp:fp.write(response.read().decode())151import urllib.request2import urllib.parse3#指定url4url = 'http://www.renren.com/289676607/profile'5#自定義請求頭信息6headers={7 ? ?'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',8 ? }9#自定義請求對象10request = urllib.request.Request(url=url,headers=headers)11#發起請求12response = urllib.request.urlopen(request)1314with open('./renren.html','w') as fp:15 ? ?fp.write(response.read().decode())

【注意】上述代碼中，我們爬取到的是登錄首頁面，而不是張三的個人主頁也面。why？首先我們來回顧下cookie的相關概念及作用

? ? ? ? - cookie概念：當用戶通過瀏覽器首次訪問一個域名時，訪問的web服務器會給客戶端發送數據，以保持web服務器與客戶端之間的狀態保持，這些數據就是cookie。

? ? ? ? -?cookie作用：我們在瀏覽器中，經常涉及到數據的交換，比如你登錄郵箱，登錄一個頁面。我們經常會在此時設置30天內記住我，或者自動登錄選項。那么它們是怎么記錄信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服務器設置的，保存在瀏覽器中，但HTTP協議是一種無狀態協議，在數據交換完畢后，服務器端和客戶端的鏈接就會關閉，每次交換數據都需要建立新的鏈接。就像我們去超市買東西，沒有積分卡的情況下，我們買完東西之后，超市沒有我們的任何消費信息，但我們辦了積分卡之后，超市就有了我們的消費信息。cookie就像是積分卡，可以保存積分，商品就是我們的信息，超市的系統就像服務器后臺，http協議就是交易的過程。?

? ? ? ? - 經過cookie的相關介紹，其實你已經知道了為什么上述案例中爬取到的不是張三個人信息頁，而是登錄頁面。那應該如何抓取到張三的個人信息頁呢？

　　思路：

　　　　1.我們需要使用爬蟲程序對人人網的登錄時的請求進行一次抓取，獲取請求中的cookie數據

　　　　2.在使用個人信息頁的url進行請求時，該請求需要攜帶 1 中的cookie，只有攜帶了cookie后，服務器才可識別這次請求的用戶信息，方可響應回指定的用戶信息頁數據

cookiejar對象：- 作用：自動保存請求中的cookie數據信息- 注意：必須和handler和opener一起使用 cookiejar使用流程：- 創建一個cookiejar對象import http.cookiejarcj = http.cookiejar.CookieJar()- 通過cookiejar創建一個handlerhandler = urllib.request.HTTPCookieProcessor(cj)- 根據handler創建一個openeropener = urllib.request.build_opener(handler)- 使用opener.open方法去發送請求，且將響應中的cookie存儲到openner對象中，后續的請求如果使用openner發起，則請求中就會攜帶了cookie1cookiejar對象：2 ? ?- 作用：自動保存請求中的cookie數據信息3 ? ?- 注意：必須和handler和opener一起使用4cookiejar使用流程：5 ? ?- 創建一個cookiejar對象6 ? ? import http.cookiejar7 ? ? cj = http.cookiejar.CookieJar()8 ? ?- 通過cookiejar創建一個handler9 ? ? handler = urllib.request.HTTPCookieProcessor(cj)10 ? ?- 根據handler創建一個opener11 ? ? opener = urllib.request.build_opener(handler)12 ? ?- 使用opener.open方法去發送請求，且將響應中的cookie存儲到openner對象中，后續的請求如果使用openner發起，則請求中就會攜帶了cookie

使用cookiejar實現爬取人人網個人主頁頁面數據：

#使用cookiejar實現人人網的登陸

import urllib.request import urllib.parse import http.cookiejar cj = http.cookiejar.CookieJar() #請求中的cookie會自動存儲到cj對象中 #創建處理器對象(攜帶cookiejar對象的) handler=urllib.request.HTTPCookieProcessor(cj) #創建opener對象 (攜帶cookiejar對象) opener=urllib.request.build_opener(handler)#要讓cookiejar獲取請求中的cookie數據值 url='http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471' #自定義一個請求對象，讓該對象作為opener的open函數中的參數 data={"email":"www.zhangbowudi@qq.com", "icode":"", "origURL":"http://www.renren.com/home","domain":"renren.com", "key_id":"1", "captcha_type":"web_login","password":"40dc65b82edd06d064b54a0fc6d202d8a58c4cb3d2942062f0f7dd128511fb9b", "rkey":"41b44b0d062d3ca23119bc8b58983104",'f':"https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DpPKf2680yRLbbZMVdntJpyPGwrSk2BtpKlEaAuKFTsW%26wd%3D%26eqid%3Deee20f380002988c000000025b7cbb80" } data=urllib.parse.urlencode(data).encode() request=urllib.request.Request(url,data=data) opener.open(request)#獲取當前用戶的二級子頁面 s_url='http://www.renren.com/289676607/profile' #該次請求中就攜帶了cookie resonse=opener.open(s_url)with open('./renren.html','wb') as fp:fp.write(resonse.read())351import urllib.request2import urllib.parse3import http.cookiejar4cj = http.cookiejar.CookieJar() #請求中的cookie會自動存儲到cj對象中5#創建處理器對象(攜帶cookiejar對象的)6handler=urllib.request.HTTPCookieProcessor(cj)7#創建opener對象 (攜帶cookiejar對象)8opener=urllib.request.build_opener(handler)910#要讓cookiejar獲取請求中的cookie數據值11url='http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471'12#自定義一個請求對象，讓該對象作為opener的open函數中的參數13data={14 ? ?"email":"www.zhangbowudi@qq.com",15"icode":"",16"origURL":"http://www.renren.com/home",17 ? ?"domain":"renren.com",18"key_id":"1",19"captcha_type":"web_login",20 ? ?"password":"40dc65b82edd06d064b54a0fc6d202d8a58c4cb3d2942062f0f7dd128511fb9b",21"rkey":"41b44b0d062d3ca23119bc8b58983104",22 ?23 'f':"https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DpPKf2680yRLbbZMVdntJpyPGwrSk2BtpKlEaAuKFTsW%26wd%3D%26eqid%3Deee20f380002988c000000025b7cbb80"24}25data=urllib.parse.urlencode(data).encode()26request=urllib.request.Request(url,data=data)27opener.open(request)2829#獲取當前用戶的二級子頁面30s_url='http://www.renren.com/289676607/profile'31#該次請求中就攜帶了cookie32resonse=opener.open(s_url)3334with open('./renren.html','wb') as fp:35 ? ?fp.write(resonse.read())

總結

以上是生活随笔為你收集整理的urllib模块学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。