鑒于本人喜歡爬蟲，最近看了一些爬蟲的基礎，幾個爬蟲入門實例。下面給你們看，大佬勿噴

主要知識點:

1.標題web是如何交互的
2.requests庫的get、post函數的應用
3.response對象的相關函數，屬性
4.python文件的打開，保存

好，接下來先安裝requests庫
在pycharm命令行輸入

pip install requests

安裝好了以后咱先爬個baidu首頁

# 爬蟲示例,爬取百度頁面import requests #導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("http://www.baidu.com") #生成一個response對象response.encoding = response.apparent_encoding #設置編碼格式print("狀態碼:"+ str( response.status_code ) ) #打印狀態碼print(response.text)#輸出爬取的信息

get方法實例

# get方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("http://httpbin.org/get") #get方法print( response.status_code ) #狀態碼print( response.text )

post方法實例

# post方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.post("http://httpbin.org/post") #post方法訪問print( response.status_code ) #狀態碼print( response.text )

get傳參方法實例

# get傳參方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參print( response.status_code ) #狀態碼print( response.text )

post傳參方法實例

# post傳參方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數data = {"name":"hezhi","age":20 } response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參print( response.status_code ) #狀態碼print( response.text )

繞過反爬機制，以zhihu為例

import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get( "http://www.zhihu.com") #第一次訪問知乎，不設置頭部信息print( "第一次,不設頭部信息,狀態碼:"+response.status_code )# 沒寫headers，不能正常爬取，狀態碼不是 200#下面是可以正常爬取的區別，更改了User-Agent字段headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"}#設置頭部信息,偽裝瀏覽器response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers參數，print( response.status_code ) # 200！訪問成功的狀態碼print( response.text )

保存百度圖片到本地

#保存百度圖片到本地import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片響應file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個文件,wb表示以二進制格式打開一個文件只用于寫入file.write(response.content) #寫入文件file.close()#關閉操作，運行完畢后去你的目錄看一眼有沒有保存成功

愿你早日成為爬蟲大佬

總結

以上是生活随笔為你收集整理的爬虫学的好，牢饭吃得好（爬虫实例）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。