HTTP請求

1.首先需要了解一下http請求，當用戶在地址欄中輸入網(wǎng)址，發(fā)送網(wǎng)絡請求的過程是什么？
可以參考我之前學習的時候轉載的一篇文章一次完整的HTTP事務過程–超詳細

2.還需要了解一下http的請求方式，有興趣的同學可以去查一下http的八種請求方法，這里呢主要說下get請求和post請求，這兩種在以后學習中會用到的比較多。

get請求：GET方法用于使用給定的URI從給定服務器中檢索信息，即從指定資源中請求數(shù)據(jù)。我們輸入網(wǎng)址訪問網(wǎng)站一般就是get請求。[做運維的小年輕]使用GET方法的請求應該只是檢索數(shù)據(jù)，并且不應對數(shù)據(jù)產(chǎn)生其他影響。
優(yōu)點：比較便捷
缺點：由于是明文傳輸，所以安全性比較低，另外參數(shù)長度有限制。

post請求：POST請求通常是使用來提交HTML的表單，表單中的數(shù)據(jù)傳輸?shù)椒掌?#xff0c;由服務器對這些數(shù)據(jù)處理。我們平常執(zhí)行登錄操作的那一下基本上都是post請求。
關于get請求和post請求區(qū)別優(yōu)缺點這里推薦一篇博文：http GET 和 POST 請求的優(yōu)缺點、區(qū)別以及誤區(qū)

下面說一下Headers中的Request Headers（請求頭信息）,

Accept：指定客戶端能夠接收的內容類型，圖中text/html表示要請求返回文本格式的數(shù)據(jù)
Accept-Encoding：指定瀏覽器可以支持的web服務器返回內容壓縮編碼類型，圖中gzip表示支持gzip格式的壓縮文件
Accept-Language：瀏覽器可接受的語言 圖中 zh-CN表示接受中文
Connection：表示是否需要持久連接。（HTTP 1.1默認進行持久連接）圖中keep-alive意為保持長鏈接
Cookie：是服務器發(fā)送到瀏覽器并保存在本地的一小塊數(shù)據(jù),存儲在header中，它會在瀏覽器下次向同一服務器再發(fā)起請求時被攜帶并發(fā)送到服務器上，通常，它用于告知服務端兩個請求是否來自同一瀏覽器，如保持用戶的登錄狀態(tài)。
Host：指定請求的服務器的域名和端口號，圖中是www.baidu.com也就是我在地址欄中請求的網(wǎng)址
User-Agent：包含的是發(fā)出請求的用戶信息，客戶機的軟件環(huán)境瀏覽器類型等

Response Header 和Request Headers對應，如下圖

了解完這些呢，就來看下爬蟲吧

爬蟲

爬蟲通俗來說，就是使用代碼模擬用戶，批量發(fā)送網(wǎng)絡請求，批量的獲取數(shù)據(jù)

爬蟲的的分類

1.通用爬蟲：搜索引擎的爬蟲
優(yōu)勢：開放性很好，速度比較快
劣勢：目標不明確，舉個例子哈，例如我在百度搜索圖片，搜索結果如下圖，我想要的是圖片，但是看下圖紅色方框所圈的內容并不是我們所要找的圖片資源，這就是我所說[做運維的小年輕]的目標不明確，導致的結果呢就是返回的很多內容并不是用戶所需要的。

2.聚焦爬蟲：全稱聚焦網(wǎng)絡爬蟲，又稱為主題網(wǎng)絡爬蟲
優(yōu)點：目標明確，對用戶的需求非常精準，返回內容很固定，比如我就請求一張圖片，那么就返回一張圖片。

關于爬蟲的分類其實在以后越來越深入的學習中，會自然而然的理解，現(xiàn)在只需有個大概了解就行了關于網(wǎng)絡爬蟲分類日百度百科中講的比較詳細，點擊傳送門去了解。

總結

以上是生活随笔為你收集整理的Python爬虫==入门基础概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。