寫爬蟲之前，首先要明確爬取的數據。然后，思考從哪些地方可以獲取這些數據。下面以一個實際案例來說明，怎么尋找一個好的爬蟲策略。(代碼僅供學習交流，切勿用作商業或其他有害行為)

1).方式一：直接爬取網站 目標網址：http://chanyouji.com/ 注意：這個網站會攔截IP，訪問次數過多，IP會被封，所以，上節的IP代理就用到了。

a).打開網頁，可以看到這是一個游記類的網站，里面有很多人分享的游記。那我們就爬這些游記。說不定以后有時間出去玩的時候可以用到。

b).點開其中一篇游記，可以看到鏈接地址形式是這樣的　　http://chanyouji.com/trips/352140，這個時候，我們可以思考一下，352140這個數字代表的含義，會不　　會是這個游記在數據庫的ID，如果是的話，換個數字會不會得到不一樣的游記，那么我們試一下。訪問　　http://chanyouji.com/trips/352141，可以看到，的確得到了不　　一樣的游記。截圖如下：

c).從網址上可以得出一個結論，我們可以通過枚舉來請求到不同的數據。但是，這并不一定是可以按照上兩節的方式來爬取。原因有很多。比如，有些數據是通過js渲染　　? 的。對于有web開發基礎的很好理解，但是對于沒有做過web開發的同學解釋一下。假設，我們要買一個房子，房子有很多種，我們分成兩類，一類是毛坯房(就是沒有裝修　　 ?的)，一類是裝修好的。對于毛坯房，我們要買家具，裝修什么的，對于裝修好的我們可以直接用。類比到這個例子中，http://chanyouji.com/trips/*****這個請求就買??? 　　一個房子，毛坯房就是說返回的是這個網站的殼子，需要另外在JS里面重新請求數據，填充到殼子里面。裝修好的就是，數據什么的都填好了，一起給你。

d).那么我們該如何判斷，這兩類的結果呢。很簡單。以火狐瀏覽器為例，F12打開調試窗口，找到網絡->點擊相應的請求，可以看到如下界面：

這個請求的所有的數據都會顯示在這個里面，然后點開響應，會看到請求來的源代碼(這個也是我們用爬蟲發請求的結果)，如圖所示

很慶幸，我們獲取到的是精裝房，可以直接利于上兩節的知識來解析這個代碼(這里就不贅述了)

e).如果是js渲染的怎么辦呢？我沒在這個網站上找到用js渲染的(這個網站的數據還是比較好爬，除了攔截IP之外，沒有多少難度)，所以換個目標來解釋。

2) 方式二：分析請求 目標網址：http://music.163.com/#/user/home?id=48353(丁磊的網易云音樂個人主頁)開始分析方法和上一步一樣，頁面截圖如下：

a).我們發現，http://music.163.com/user/home?id=48353 這個請求返回的值是不是少點什么，對的，就是少了歌單(如果多分析幾個用戶的頁面，你會發現，年齡　　也是缺的)

b).我們繼續尋找那個歌單的數據在哪里？

可以看到，http://music.163.com/weapi/user/playlist?csrf_token= 這個請求就是返回的歌單，我們只需要請求這個接口的時候，帶上該有的參數，就能得到這個數據。返回的數據是json格式，可以拿過來直接用了，不用beautifulsoup解析。另外說一句，這個接口的參數是加密的，如下圖，網上有破解的，但是不推薦破解，因為只要他們隨便改下密鑰或者加密方式，又要花很大時間來破解。對于這個接口，我們一般參與，分析js(網易云音樂的js也是混淆過的)或者調用瀏覽器來訪問(這個效率比較低，但是個人來講夠用了)。

3)方式三：另辟蹊徑——利用目標網址的APP。這里仍以 蟬游記 為例。APP的接口返回值一般都是JSON，比較好解析，除了網易云音樂(丁磊就該好好養豬)。核心就是攔截APP的請求。

a).在電腦上安裝安卓模擬器(我用的是bluestacks,這個安裝好像有點麻煩)

b).在模擬器中安裝目標APP--蟬游記(除了這個方法之外，還可以用電腦開個熱點，用手機連接這個熱點，同樣可以攔截)

c).安裝http analyzer其他的也行，就是攔截http請求用的)，打開httpanalyzer

d).使用目標APP，這個時候就可以攔截到想要的請求，如圖：

e).請求就是這樣的，這里要注意，https和http的區別。遇到https的請求，我們先試下用http替換。很慶幸，這個網站可以這樣做，如果不可以的話，比較麻煩，還要導　　入證書(暫且不講)。我們把http://chanyouji.com/api/trips/352140.json (為了和方式一同步，把id改成了352140)發到瀏覽器中請求，結果如下(說明請求的時候不　　需要加任何參數)

f).這些數據比較多，很難看。怎么看好看一點呢，就是把它轉化成標準的json數據，我一般用這個工具http://www.bejson.com/jsonviewernew/

把數據復制過去格式化一下就行了。如下圖所示：

g).順便說一句，python有json解析模塊，可以用。

下面附上蟬游記的爬蟲源碼(僅供學習交流！僅供學習交流！僅供學習交流！)

importurllibimportjsonimportsocket

socket.setdefaulttimeout(10)

proxys=[]

proxys.append({"http":"http://124.251.62.246:80"})

proxys.append({"http":"http://117.78.34.32:80"})

proxys.append({"http":"http://59.108.61.132:808"})for id in range(0,5,1):try:

url= "http://chanyouji.com/api/trips/"+`(352140+id)`+".json"res= urllib.urlopen(url,proxies=proxys[id%3]).read()

res_json=json.loads(res)print res_json['name']exceptException,e:printecontinue

運行結果：

代碼說明：

a).枚舉可以用循環

b).res_json=json.loads(res) 就是把結果轉化成json,特別注意，這個res必須要有和json格式一樣(json相關資料，可自行查閱)。

c).proxys.append()就是往數組中添加元素

d).id%3就是id處于3取其余數，也就是說 id%3大于等于0，小于等于2。因為代理只有三個，數組是從零開始。

到此，簡單的爬蟲策略就講完了。

備注：

a).所有內容僅供學習交流使用

b).如有錯誤，多多指教

c).轉載請注明出處

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python爬取方式_Python 爬虫入门（三）—— 寻找合适的爬取策略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。