網(wǎng)絡(luò)請(qǐng)求分析實(shí)戰(zhàn)篇（01）—— 爬取amazon搜索欄的關(guān)聯(lián)關(guān)鍵詞

1. 需求介紹

• 在amazon搜索商品，當(dāng)輸入部分單詞時(shí)，下面會(huì)自動(dòng)彈出一些關(guān)聯(lián)關(guān)鍵詞。這些關(guān)鍵詞是amazon內(nèi)部總結(jié)，統(tǒng)計(jì)的熱門搜索關(guān)鍵詞。我們現(xiàn)在的需求就是，給出一些關(guān)鍵詞，然后把對(duì)應(yīng)的關(guān)聯(lián)關(guān)鍵詞抓出來(lái)。
  

2. 環(huán)境

• 系統(tǒng)：win7
• python 3.6.1
• requests 2.14.2 （通過(guò)pip list查看）

3. 分析請(qǐng)求

• 第一步：進(jìn)入amazon主頁(yè)，將網(wǎng)頁(yè)源代碼保存下來(lái)，以備后面分析參數(shù)來(lái)源。這兒需要注意到一個(gè)問(wèn)題就是，這兒說(shuō)的網(wǎng)頁(yè)源代碼指的是請(qǐng)求下來(lái)的原始頁(yè)面，而不是瀏覽器渲染后的代碼。區(qū)別如下：

  • 抓下來(lái)的網(wǎng)頁(yè)源代碼
    
  • 瀏覽器渲染后的代碼
    

• 第二步：在輸入“ car ”時(shí)，抓取到的網(wǎng)絡(luò)請(qǐng)求如下：
  

# General Request URL:https://completion.amazon.com/search/complete?method=completion&mkt=1&r=GFPC5GA3RHYHZK8YKY93&s=136-4489048-3064812&c=&p=Gateway&l=en_US&b2b=0&fresh=0&sv=desktop&client=amazon-search-ui&x=String&search-alias=aps&ks=82&q=car&qs=&cf=1&fb=1&sc=1& Request Method:GET Status Code:200 OK Remote Address:54.239.17.86:443 Referrer Policy:no-referrer-when-downgrade# Request Headers Host:completion.amazon.com Referer:https://www.amazon.com/ref=nav_logo User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36# Query String parameters method:completion mkt:1 r:GFPC5GA3RHYHZK8YKY93 s:136-4489048-3064812 c: p:Gateway l:en_US b2b:0 fresh:0 sv:desktop client:amazon-search-ui x:String search-alias:aps ks:82 q:car qs: cf:1 fb:1 sc:1

• 從上面的參數(shù)中，發(fā)現(xiàn)有3個(gè)參數(shù)是需要我們重點(diǎn)關(guān)注的：

r:GFPC5GA3RHYHZK8YKY93 s:136-4489048-3064812 search-alias:aps

• 第三步：分析這幾個(gè)參數(shù)的來(lái)源：
  
  • 之前我的文章中就提到過(guò)，這種參數(shù)來(lái)源，一般是在以下的4個(gè)點(diǎn)：

第一，網(wǎng)頁(yè)源代碼中攜帶。 第二，藏在服務(wù)器返回過(guò)來(lái)的cookie中。 第三，網(wǎng)頁(yè)js腳本計(jì)算生成。 第四，登錄時(shí)，請(qǐng)求js腳本生成，或者同步產(chǎn)生的其他網(wǎng)頁(yè)中。

• 在這個(gè)案例中，發(fā)現(xiàn)相對(duì)比較簡(jiǎn)單，這些參數(shù)就屬于第一種情況，網(wǎng)頁(yè)源代碼中攜帶。
  

4. 編寫(xiě)爬蟲(chóng)

• 從上面的分析過(guò)程來(lái)看，就知道抓取這個(gè)數(shù)據(jù)很簡(jiǎn)單，分兩步：
  
  • 第一：抓取amazon主頁(yè)，從主頁(yè)源代碼中取出必要的參數(shù)。
  • 第二：使用這些參數(shù)，向目標(biāo)網(wǎng)頁(yè)請(qǐng)求關(guān)聯(lián)關(guān)鍵詞。

import requests import reunicornHeader = {'Host': 'www.amazon.com','Referer': 'https://www.amazon.com','user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' }if __name__ == "__main__":# 第一步：先把a(bǔ)mazon主頁(yè)拉下來(lái)resp = requests.get("https://www.amazon.com/ref=nav_logo", headers=unicornHeader)respText = resp.text# print(f"respText = {respText}")# 第二步：從主頁(yè)中提取出相關(guān)的參數(shù)'''method:completionmkt:1r:T9GNBFENMKCSHQ96SN69s:136-4489048-3064812c:p:Gatewayl:en_USb2b:0fresh:0sv:desktopclient:amazon-search-uix:Stringsearch-alias:mobileks:82q:carqs:cf:1fb:1sc:1'''# r:T9GNBFENMKCSHQ96SN69# var ue_id = 'T9GNBFENMKCSHQ96SN69',ue_id_Re = re.search("ue_id = '(.*?)'", respText, re.DOTALL)print(f"ue_id_Re = {ue_id_Re}")if ue_id_Re:ue_id = ue_id_Re.group(1)else:ue_id = ""# s:136-4489048-3064812# ue_sid = '136-4489048-3064812',ue_sid_Re = re.search("ue_sid = '(.*?)'", respText, re.DOTALL)print(f"ue_sid_Re = {ue_sid_Re}")if ue_sid_Re:ue_sid = ue_sid_Re.group(1)else:ue_sid = ""# 第三步：構(gòu)造請(qǐng)求originalKey = "car" # 原始關(guān)鍵字# search_alias = 'mobile'# aps # All Departments 類別search_alias = 'aps' # 搜索類別，這個(gè)是類別下拉框中的。主頁(yè)源碼中也有ks = 100 # 先自己指定，發(fā)現(xiàn)并不影響結(jié)果# https://completion.amazon.com/search/complete?method=completion&mkt=1&r=T9GNBFENMKCSHQ96SN69&s=136-4489048-3064812&c=&p=Gateway&l=en_US&b2b=0&fresh=0&sv=desktop&client=amazon-search-ui&x=String&search-alias=mobile&ks=67&q=c&qs=&cf=1&fb=1&sc=1&keywordsUrl = f"https://completion.amazon.com/search/complete?method=completion&mkt=1&r={ue_id}&s={ue_sid}&c=&p=Gateway&l=en_US&b2b=0&fresh=0&sv=desktop&client=amazon-search-ui&x=String&search-alias={search_alias}&ks={ks}&q={originalKey}&qs=&cf=1&fb=1&sc=1&"secondResp = requests.get(keywordsUrl, headers=unicornHeader)print(f"secondRespText = {secondResp.text}")

• 結(jié)果輸出：

# 發(fā)現(xiàn)關(guān)聯(lián)關(guān)鍵詞已經(jīng)成功提取了ue_id_Re = <_sre.SRE_Match object; span=(1617, 1647), match="ue_id = '6M0F9KJN25H89JPK5B1R'"> ue_sid_Re = <_sre.SRE_Match object; span=(1732, 1762), match="ue_sid = '144-1591423-1127326'"> secondRespText = completion = ["car",["car phone mount","carbon monoxide detector","car charger","cards against humanity","car accessories","car seat protector","car vacuum","cardigans for women","carry on luggage","car phone holder"],[{"nodes":[{"name":"Cell Phones & Accessories","alias":"mobile"}]},{},{},{},{},{},{},{},{},{}],[],"AA2EWWA46T4I"];String();.

總結(jié)

以上是生活随笔為你收集整理的网络请求分析实战篇（01）—— 爬取amazon搜索栏的关联关键词的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。