1. 爬蟲分類：

1.1 通用爬蟲：例如搜索引擎：無差別的收集數據；提取存儲關鍵字；構建索引庫；給用戶提供搜索接口。

1.2 聚焦爬蟲：有針對性的編寫特定領域數據的爬取程序。

2. Robots協議：

指定一個robots.txt文件，告訴爬蟲引擎什么可以爬取，什么不可以爬取。君子協議，不受法律保障。

例如：http://www.taobao.com/robots.txt

3. Http請求與響應：

爬取網頁就是通過http協議訪問網頁，通過瀏覽器是人的行為，將這種行為變成程序行為，就是爬蟲。

python里提供了urllib包來處理url，訪問網頁：

urllib.request? # 打開和讀寫url

urllib.error? # 由urllib.request引起的異常

urllib.parse? # 解析url

urllib.robotparser? # 分析robots.txt文件

(python2里提供了urllib和urllib2：urllib提供較為底層的接口，urllib2對urllib進行了進一步的封裝；python3中將urllib和urllib2合并，并只提供了標準庫urllib包。)

3.1 urllib.request模塊

身份驗證、重定向、cookies等應用中打開url(主要是http)的函數和類。

urlopen方法：建立http連接，獲取數據。

urlopen(url, data=None)

# url是鏈接地址字符串或請求對象；data是提交的數據。如果data為None則發起GET請求，如果為非None，發起POST請求；返回http.client.HTTPResponse類的響應對象，是一個類文件對象。

#GET方法：數據通過URL傳遞，放在HTTP報文的header部分；POST方法：數據放在HTTP報文的body中提交。數據都是鍵值對形式，多個參數之間通過'&'連接，url和數據之間通過'?'連接。

from urllib.request importurlopen#打開url返回一個響應對象，類文件對象

response = urlopen('http://www.bing.com') #data為None，所以是get方法

print(response.closed) #False。類似于文件對象，不會自動關閉

with response:print(type(response)) #

print(response.status) #狀態碼200，表示成功。

print(response.reason) #OK

print(response._method) #請求方法：get。_method表示是內部方法

print(response.geturl()) #http://cn.bing.com/?setmkt=zh-CN&setmkt=zh-CN。'http://www.bing.com'鏈接跳轉至的真正url

print(response.info()) #返回headers的信息

print(response.read()) #讀取返回的網頁內容；字節類型

print(response.closed) #True。說明with方法同文件對象一樣會自動關閉。

簡述上述過程：通過urllib.request.urlopen方法，發起一個HTTP的GET請求，WEB服務器返回網頁內容。響應的數據被封裝到類文件對象(response)中。可以通過read、readline、deadlines等方法獲取數據，status和reason屬性表示返回的狀態，info方法返回頭信息等。

上述代碼可以獲得網站的響應數據，但是urlopen方法只能傳遞url和data參數，不能構造http請求。在python的源碼中，User-agent值為Python-urllib/3.6(3.6為對應的python版本號)，因此就能被一些反爬蟲的網站識別出來。于是需要更改User-agent值來偽裝成瀏覽器：賦值瀏覽器的UA值。

Request方法：構建request請求對象，可以修改請求頭信息。

Request(url, data=None, headers={})

from urllib.request importRequest, urlopenimportrandom

url= 'http://www.bing.com/' #要訪問的url；實際上是自動跳轉 301 302#不同瀏覽器的User-Agent值。切換瀏覽器的不同的用戶代理，查看網絡下標頭里user-agent值

ua_list = ['Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36','Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 Safari/605.1.15','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299']#ua要添加到請求頭中

ua =random.choice(ua_list)#request = Request(url, headers={'User-agent': ua}) # 實現的功能跟下面兩行代碼是一樣的

request =Request(url)

request.add_header('User-Agent', ua)print(type(request)) #

response= urlopen(request, timeout=20) #urlopen傳入的參數可以是url對象，也可以是request對象

print(type(response)) #

with response:print(response.status) #200

print(response.getcode()) #200

print(response.reason) #OK

print(response.geturl()) #http://cn.bing.com/

print(response.info()) #header里的信息:包含Cache-Control,Content-Length,Set-Cookies,Connection等字段信息

print(response.read()) #網頁html內容

print(request.get_header('User-agent')) #Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0);偽裝的瀏覽器ua值

print('user-agent'.capitalize()) #User-agent;User-agent首字母要大些

3.2 urllib.parse模塊

對url進行編碼和解碼。

urlencode方法：url編碼：主要是對post或get方法請求傳遞的參數編碼，與原url結合，使其成為能夠被訪問的url格式。

urlencode(data)? # 傳入的data參數需要是字典或者二元組序列

from urllib.parse importurlencode

u1= urlencode({'name': 'danni', 'age': 23})print(u1) #name=danni&age=23;get方法下u的值是以?連接放在url后，post方法下u的值是放在body里

u2= urlencode({'test': 'http://www.taobao.com?name=danni&age=23'})print(u2) #test=http%3A%2F%2Fwww.taobao.com%3Fname%3Ddanni%26age%3D23

從的運行結果我們可以發現：

1.斜杠、&、冒號、等號、問號等都被全部編碼了(%之后實際上是單字節十六進制表示的值)。 因為提交的數據中，可能會像上述情況一樣有斜杠、等號、問號等特殊符號，但這些字符表示數據，不表示元字符。直接發給服務器端會導致接收方無法判斷誰是元字符誰是數據了。因此，將這部分特殊的字符數據也要進行url編碼，這樣就不會有歧義。

2.中文同樣也會被編碼，一般先按照字符集的encoding要求將其轉換成字節序列，每一個字節對應的十六進制字符串前面加上百分號即可。

unquote方法：url解碼

在百度上搜索漢字“中”：網頁上呈現出來的url：https://www.baidu.com/s?wd=中；復制粘貼后呈現出的url：https://www.baidu.com/s?wd=%E4%D8%AD

from urllib.parse importurlencode, unquote

u= urlencode({'wd': '中'}) #urlencode對中文的編碼

print(u) #wd=%E4%B8%AD

url= 'https://www.baidu.com/s?{}'.format(u)print(url) #https://www.baidu.com/s?wd=%E4%B8%AD

print('中'.encode('utf-8')) #b'\xe4\xb8\xad' utf-8對中文的編碼

print(unquote(u)) #wd=中 unquote解碼

print(unquote(url)) #https://www.baidu.com/s?wd=中

參與到實際：假設一個場景需求：連接必應搜索引擎，獲取一個搜索的URL：http://cn.bing.com/search?q=馬哥教育。通過程序代碼完成對關鍵字“馬哥教育”的bing搜索，并將返回的結果保存為網頁文件。

from urllib.parse importurlencode, unquote

base_url= 'http://cn.bing.com/search' #是http而不是https

d = {'q': '馬哥教育'} #注意必應瀏覽器下是'q'

u= urlencode(d) #q=%E9%A9%AC%E5%93%A5%E6%95%99%E8%82%B2；編碼

url = '{}?{}'.format(base_url, u) #?連接url和關鍵字參數

print(url) #http://cn.bing.com/search?q=%E9%A9%AC%E5%93%A5%E6%95%99%E8%82%B2

print(unquote(url)) #http://cn.bing.com/search?q=馬哥教育；解碼可以比對看一下是否有錯誤

from urllib.request importurlopen, Request#偽裝成瀏覽器

ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'req= Request(url, headers={'User-agent': ua}) #構建http請求對象

res = urlopen(req) #傳入請求對象，建立http連接，獲取數據

with res:

with open('test_python.html', 'wb') as f:

f.write(res.read())#將返回的網頁內容寫入新文件中

print('success')

上述需求講的是測試get方法的應用，我們可以用http://httpbin.org/這個測試網站，來測試自己post出去的數據是否能正確返回。

from urllib.request importRequest, urlopenfrom urllib.parse importurlencodeimportsimplejson

request= Request('http://httpbin.org/post') #post

request.add_header('User-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')

data= urlencode({'name': '張三!@#$%^&*(,.)', 'age': '6'}) #post的dataurl編碼，放在body里。不做url編碼有風險

print(data)print(type(data))

d= data.encode() #POST方法傳入的需為json格式的Form表單數據

res = urlopen(request, data=d)

with res:

text=res.read()print(text) #包含args,data,files,form,headers等字段的信息；form字段里是post出去的data數據

d = simplejson.loads(text) #bytes轉dict

print(d)

到這里，python爬蟲的‘偽裝成瀏覽器的請求對象->建立http連接->發起post或get請求->查看響應內容 ’理解和簡單應用算是成功告一段落啦～

接下來在下一篇里我們就可以開始簡單的豆瓣網站爬蟲啦～

總結

以上是生活随笔為你收集整理的简述python爬虫_python爬虫入门篇了解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。