第一講

什么是爬蟲

網絡蜘蛛（Web spider）也叫網絡爬蟲（Web crawler），螞蟻（ant），自動檢索工具（automatic indexer），或者（在FOAF軟件概念中）網絡疾走（WEB scutter），是一種“自動化瀏覽網絡”的程序，或者說是一種網絡機器人。它們被廣泛用于互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。它們可以自動采集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。

總結：自動抓取數據

爬蟲能做什么

• 搜索引擎
• 搶票
• 下載資料（圖片等）

爬蟲的本質是什么

模仿瀏覽器打開網頁

第二講:HTTP協議

什么是HTTP協議

超文本傳輸協議（英文：HyperText Transfer Protocol，縮寫：HTTP）是互聯網上應用最為廣泛的一種網絡協議。設計HTTP最初的目的是為了提供一種發布和接收HTML頁面的方法。通過HTTP或者HTTPS協議請求的資源由統一資源標識符（Uniform Resource Identifiers，URI）來標識。 HTTP的發展是由蒂姆·伯納斯-李于1989年在歐洲核子研究組織（CERN）所發起。由萬維網協會（World Wide Web Consortium，W3C）和互聯網工程任務組（Internet Engineering Task Force，IETF）制定標準，最終發布了一系列的RFC，其中最著名的是1999年6月公布的 RFC 2616，定義了HTTP協議中現今廣泛使用的一個版本——HTTP 1.1。 2014年12月，互聯網工程任務組（IETF）的Hypertext Transfer Protocol Bis（httpbis）工作小組將HTTP/2標準提議遞交至IESG進行討論[1]，于2015年2月17日被批準。[2] HTTP/2標準于2015年5月以RFC 7540正式發表，替換HTTP 1.1成為HTTP的實現標準。[3]

HTTP是一個客戶端終端（用戶）和服務器端（網站）請求和應答的標準（TCP）。通過使用網頁瀏覽器、網絡爬蟲或者其它的工具，客戶端發起一個HTTP請求到服務器上指定端口（默認端口為80）。我們稱這個客戶端為用戶代理程序（user agent）。應答的服務器上存儲著一些資源，比如HTML文件和圖像。我們稱這個應答服務器為源服務器（origin server）。在用戶代理和源服務器中間可能存在多個“中間層”，比如代理服務器、網關或者隧道（tunnel）。 盡管TCP/IP協議是互聯網上最流行的應用，HTTP協議中，并沒有規定必須使用它或它支持的層。事實上，HTTP可以在任何互聯網協議上，或其他網絡上實現。HTTP假定其下層協議提供可靠的傳輸。因此，任何能夠提供這種保證的協議都可以被其使用。因此也就是其在TCP/IP協議族使用TCP作為其傳輸層。 通常，由HTTP客戶端發起一個請求，創建一個到服務器指定端口（默認是80端口）的TCP連接。HTTP服務器則在那個端口監聽客戶端的請求。一旦收到請求，服務器會向客戶端返回一個狀態，比如"HTTP/1.1 200 OK"，以及返回的內容，如請求的文件、錯誤消息、或者其它信息。

具體例子

打開知乎頁面，按瀏覽器的F12鍵，點擊network，點擊doc，然后刷新頁面，再點擊headers，可以看到如下界面：

其中：

HTTP協議中的統一資源定位符也就是我們打開的網址

Request URL:https://zhuanlan.zhihu.com/p/25296437 （爬蟲會用到）

HTTP協議中的請求方法,我們這次用的是GET

Request Method:GET #（爬蟲會用到）

請求方法有以下這些，常用的是GET,POST

• GET：向指定的資源發出“顯示”請求。使用GET方法應該只用在讀取數據，而不應當被用于產生“副作用”的操作中，例如在Web Application中。其中一個原因是GET可能會被網絡蜘蛛等隨意訪問。參見安全方法
• POST：向指定資源提交數據，請求服務器進行處理（例如提交表單或者上傳文件）。數據被包含在請求本文中。這個請求可能會創建新的資源或修改現有資源，或二者皆有。
• OPTIONS：這個方法可使服務器傳回該資源所支持的所有HTTP請求方法。用'*'來代替資源名稱，向Web服務器發送OPTIONS請求，可以測試服務器功能是否正常運作。
• HEAD：與GET方法一樣，都是向服務器發出指定資源的請求。只不過服務器將不傳回資源的本文部分。它的好處在于，使用這個方法可以在不必傳輸全部內容的情況下，就可以獲取其中“關于該資源的信息”（元信息或稱元數據）。
• PUT：向指定資源位置上傳其最新內容。
• DELETE：請求服務器刪除Request-URI所標識的資源。
• TRACE：回顯服務器收到的請求，主要用于測試或診斷。
• CONNECT：HTTP/1.1協議中預留給能夠將連接改為管道方式的代理服務器。通常用于SSL加密服務器的鏈接（經由非加密的HTTP代理服務器）。

對應HTTP協議中的狀態碼,我們這次返回的是200 OK、

Status Code:200 OK（爬蟲會用到）

狀態碼的含義：

• 1xx消息——請求已被服務器接收，繼續處理
• 2xx成功——請求已成功被服務器接收、理解、并接受
• 3xx重定向——需要后續操作才能完成這一請求
• 4xx請求錯誤——請求含有詞法錯誤或者無法被執行
• 5xx服務器錯誤——服務器在處理某個正確請求時發生錯誤

常見狀態代碼、狀態描述、說明：

• 200 OK //請求成功
• 400 Bad Request //客戶端請求有語法錯誤，不能被服務器所理解
• 401 Unauthorized //請求未經授權，這個狀態代碼必須和WWW-Authenticate報頭域一起使用
• 403 Forbidden //服務器收到請求，但是拒絕提供服務
• 404 Not Found //請求資源不存在，eg：輸入了錯誤的URL
• 500 Internal Server Error //服務器發生不可預期的錯誤
• 503 Server Unavailable //服務器當前不能處理客戶端的請求，一段時間后可能恢復正常

請求頭

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8（爬蟲會用到）

其中

• Accept代表客戶端請求接受的信息類型，這里請求的是text/html類型
• Accept-Encoding：gzip, deflate, sdch, br：請求報頭域類似于Accept，但是它是用于指定可接受的內容編碼。eg：Accept-Encoding:gzip.deflate.如果請求消息中沒有設置這個域服務器假定客戶端對各種內容編碼都可以接受。
• Accept-Language:zh-CN,zh;q=0.8：指定語言類型，如果沒有報頭域，那么各種語言都可以接受
• Cache-Control:no-cache：用于控制網頁緩存
• Connection:keep-alive：HTTP持久連接，使用同一個TCP來發送和接收多個HTTP請求/應答
• Cookie:d_c0="AACAWNtZswqPTnJ8dFXqaygiq82ekPD5_-xxxx：cookie，小型文本文件，某些網站為了辨別用戶身份而存儲在本地終端上的數據
• Host:zhuanlan.zhihu.com：當前請求網頁的請求域

• Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36
  用戶是通過什么工具來請求的，（因為我用的Google瀏覽器，所以顯示的是Chrome）

• Referer:https://www.zhihu.com/people/pa-chong-21/activities
  是通過哪個頁面到當前頁面的
• If-Modified-Since:Wed, 15 Feb 2017 09:14:13 GMT If-None-Match:W/"58a41be5-190aa" Last-Modified:Wed, 15 Feb 2017 09:14:13 GMT ETag:"58a41be5-190aa" 這4個一般靜態頁面會用到 If-Modified-Since,If-None-Match這兩個是請求頭，ETag,Last-Modified是返回頭（服務器返回的）
  如果If-Modified-Since的值和Last-Modified相等 則表明當前請求的內容沒有變動，服務器返回Status Code:304 Not Modified

轉載于:https://www.cnblogs.com/drawon/p/8520466.html

總結

以上是生活随笔為你收集整理的python爬虫从入门到精通的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。