爬虫之初识
什么是爬蟲?
通過編寫代碼，模擬瀏覽器發(fā)送請求，讓其去網(wǎng)絡(luò)上抓去數(shù)據(jù)的過程。
爬蟲分類？
通用爬蟲
抓取整張網(wǎng)頁的全部內(nèi)容
聚焦爬蟲
抓取一張頁面的部分內(nèi)容
通用爬蟲和聚焦爬蟲的關(guān)聯(lián)：
聚焦是建立在通用爬vb.net教程蟲的基礎(chǔ)上
增量式爬蟲
監(jiān)測網(wǎng)站數(shù)據(jù)的更新情況，以便將最新的數(shù)據(jù)進(jìn)行爬取。
reqeusts簡介
reqeusts作用：實(shí)現(xiàn)爬蟲，模擬瀏覽器上網(wǎng)。
編碼流程：
指定url地址(指定要爬取的網(wǎng)站地址)
發(fā)起請求
獲取響應(yīng)的數(shù)據(jù)
持久化儲存
環(huán)境安裝： pip install requests
UA檢測
什么是UA檢測？
UA是請求載體的身份標(biāo)識
UA查找路徑：打開瀏覽器，搜索一個(gè)網(wǎng)頁→Ctrl+Shift+c→Network→選擇網(wǎng)址對飲的name→Headers→User-Agent（把后面的值復(fù)制）
常用瀏覽器請求頭UA
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1
win10 64
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36
Firefox
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0
Safari
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
Opera
Win7:
Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50
IE
Win7+ie9：
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)
Win7+ie8：
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)
WinXP+ie8：
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB7.0)
WinXP+ie7：
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
WinXP+ie6：
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
傲游3.1.7在Win7+ie9,高速模式:
Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12
傲游3.1.7在Win7+ie9,IE內(nèi)核兼容模式:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)
搜狗3.0在Win7+ie9,IE內(nèi)核兼容c#教程模式:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)
搜狗3.0在Win7+ie9,高速模式:
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.33 Safari/534.3 SE 2.X MetaSr 1.0
360
360瀏覽器3.0在Win7+ie9:
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)
QQ瀏覽器
QQ瀏覽器6.9(11079)在Win7+ie9,極速模式:
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1 QQBrowser/6.9.11079.201
QQ瀏覽器6.9(11079)在Win7+ie9,IE內(nèi)核兼容模式:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201
阿云瀏覽器1.3.0.1724 Beta(編譯日期2011-12-05)在Win7+ie9:
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)
案例：搜狗首頁的源碼數(shù)python基礎(chǔ)教程據(jù)爬取
“”"
搜狗首頁的源碼數(shù)據(jù)爬取
需要UA偽裝
“”"
import requests
inp = input(‘搜索：’)
params = {
# url攜帶的請求參數(shù)
‘query’: inp,
}
UA偽裝，請求頭信息
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’
}
指定url（網(wǎng)址）
url = f’https://www.sogou.com/web’
get發(fā)起請求，攜帶請求參數(shù)，返回的是一個(gè)響應(yīng)對象
# url 網(wǎng)址，params 參數(shù)動態(tài)化，headers UA偽裝response = requests.get(url=url, params=params, headers=headers)
response.encoding = ‘utf-8’ # 手動修改編碼格式指定utf8，處理亂碼問題
獲取響應(yīng)數(shù)據(jù) .test
page_text = response.text
fileName = inp + ‘.html’
持久化存儲
with open(fileName, ‘w’, encoding=‘utf-8’) as f:
f.write(page_text)
print(‘ok’)
動態(tài)加載
案例：爬取豆瓣電影中愛情類型中的詳情數(shù)據(jù)
動態(tài)加載的數(shù)據(jù)：通過另一個(gè)請求單獨(dú)請求到的數(shù)據(jù)
如何檢測爬取的數(shù)據(jù)是否為動態(tài)加載的數(shù)據(jù)？
基于抓包工具進(jìn)行局部搜索
抓包工具獲取到的所有數(shù)據(jù)包，然后找到瀏覽器地址欄url對應(yīng)的數(shù)據(jù)包，response這個(gè)選項(xiàng)卡中進(jìn)行局部搜索（搜到或者搜不到）
搜不到：數(shù)據(jù)為動態(tài)加載
全局搜索Ctrl+F，搜索想要的數(shù)據(jù)
能搜到：數(shù)據(jù)不是動態(tài)加載
直接對瀏覽器地址欄的url發(fā)起請求獲取數(shù)據(jù)即可
代碼實(shí)現(xiàn)單頁爬取
import requests
UA偽裝，請求頭信息
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’
}
請求攜帶的參數(shù)
params = {
‘type’: ‘15’,
‘interval_id’: ‘100:90’,
‘a(chǎn)ction’: ‘’,
‘start’: ‘0’,
‘limit’: ‘20’,
}
請求的網(wǎng)址
url = “https://movie.douban.com/j/chart/top_list?”
發(fā)起請求 url網(wǎng)址 headers請求頭 params請求攜帶的參數(shù)
res = requests.get(url=url,params=params,headers=headers)
data_list = res.json() # 返回的是序列化的列表
for i in data_list:
title = i[“title”]
types = i[“types”]
print(title,types)
案例：KFC餐廳的位置信息進(jìn)行爬取
網(wǎng)址：http://www.kfc.com.cn/kfccda/storelist/index.aspx
代碼實(shí)現(xiàn)全站爬取
data參數(shù)相當(dāng)于params，實(shí)現(xiàn)參數(shù)動態(tài)化
import requests
url = “http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword”
city = input("city name ： ")
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’
}
全站信息爬取
for i in range(1,111):
# 獲取餐廳地址所需要的動態(tài)參數(shù)，鍵值對，值為str
data = {
‘cname’: ‘’,
‘pid’: ‘’,
‘keyword’: city, # 數(shù)據(jù)的搜索地址
‘pageIndex’: str(i), # 數(shù)據(jù)的頁碼數(shù)
‘pageSize’: ‘10’, # 每一頁的數(shù)據(jù)量
}
headers請求頭 data參數(shù)動態(tài)化
pos_list = requests.post(url=url,headers=headers,data=data).json()["Table1"] # 返回一個(gè)響應(yīng)對象 .json()返回了一個(gè)序列化好的字典對象 ['Table1']獲取Key所對應(yīng)的value值for i in pos_list:s = i["addressDetail"]print(s)requests中，get和post的區(qū)別就是參數(shù)一個(gè)是params，一個(gè)是data。
案例：所有企業(yè)的詳情數(shù)據(jù)
網(wǎng)址：http://125.35.6.84:81/xk/
分析
每一家企業(yè)所對應(yīng)的詳情數(shù)據(jù)是動態(tài)加載的
通過抓包工具進(jìn)行了全局搜索，定位到了動態(tài)加載數(shù)據(jù)對贏得數(shù)據(jù)包
提取url：每家企業(yè)對應(yīng)的url都一樣
請求方式：都一樣
請求參數(shù)：都為ID，但是參數(shù)值不同
ID為每家企業(yè)的唯一標(biāo)識
捕獲到每家企業(yè)的唯一標(biāo)識id，可以完成需求
對企業(yè)ID的捕獲
在首頁中進(jìn)行分析，使用抓包工具進(jìn)行了企業(yè)名稱的全局搜索，定位到的數(shù)據(jù)包的數(shù)據(jù)中就包含了企業(yè)名稱和對應(yīng)的id值
代碼實(shí)現(xiàn)全站爬取
import requests
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’
}
url = “http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList”
將企業(yè)ID存放到列表中
list_1 = []
爬取全棧（目前只爬取9頁，爬多了之后會被限制）
for a in range(1,10):
data = {
‘on’: ‘true’,
‘page’: str(a),
‘pageSize’: ‘15’,
‘productName’: ‘’,
‘conditionType’: ‘1’,
‘a(chǎn)pplyname’: ‘’,
‘a(chǎn)pplysn’: ‘’,
}
ret_dic = requests.post(url=url,data=data,headers=headers).json()[‘list’] # .json()返回一個(gè)字典類型的對象 [‘list’]取字典中l(wèi)ist對應(yīng)的值
# 捕獲企業(yè)ID
for i in ret_dic:
_id = i[‘ID’]
list_1.append(_id)
detail_url = “http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById”
for i in list_1:
data = {
‘id’: i
}
com_data = requests.post(url=detail_url,headers=headers,data=data).json()
legalPerson = com_data[“l(fā)egalPerson”]
epsName = com_data[“epsName”]
print(legalPerson,epsName)
# 測試了一遍，只爬取了50頁，就限制了
總結(jié)
requests的基本使用
編碼流程
指定url
發(fā)起請求
獲取響應(yīng)數(shù)據(jù)
持久化存儲
搜狗首頁數(shù)據(jù)爬取 ==> 流程
參數(shù)動態(tài)化
UA偽裝
修改響應(yīng)數(shù)據(jù)的編碼格式
get/post返回值 .encoding=“編碼格式”
get/post：
url
headers
params/data
動態(tài)加載的數(shù)據(jù)
通過非地址欄url所對應(yīng)的地址請求到的數(shù)據(jù)
如何檢測數(shù)據(jù)為動態(tài)加載
基于抓包工具進(jìn)行局部搜索
全站數(shù)據(jù)的爬取
簡單來說就是一個(gè)for循環(huán)，控制頁碼數(shù)
代碼改變世界，腳踏實(shí)地，python、Golang。
總結(jié)
- 上一篇： C源程序完整编译过程
- 下一篇： 人口增长模型