背景：

做app推廣的時候需要看各 搜索詞搜到的各app的排名

需要的結果：

在https://play.google.com/apps?中搜索某關鍵詞，如browser

抓取頁面返回的所有app，并保存對應的位置即排名

主要實現是用httplib2 抓取頁面，用lxml解析頁面。 import base import httplib2 import lxml import re import time from lxml import etree from urllib import urlencode from httplib2 import socksAPP_ID = '146' TOP_CNT = 200 GP_SEARCH_URL = 'https://play.google.com/store/search' TABLE = 'gp_keyword_ranking' PROXY_HOST = '115.29.170.73' PROXY_PORT = 2080def get_pack(url_data): '''get pack_names and pagtok from url''' #用代理模擬在usa 訪問google playproxy = httplib2.ProxyInfo(socks.PROXY_TYPE_SOCKS5, PROXY_HOST, PROXY_PORT)http=httplib2.Http(proxy_info = proxy) uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))response,content=http.request(uri,'GET') #etree解析html tree = etree.HTML(content)try:pack_names = tree.xpath(u'//div[@class="card-list two-cards"]/div/@data-docid')except:print 'get pack_names from uri:%s failed!!!!!!!!!!!'%urireturn None, Nonetry:script = tree.xpath(u'//div/script')[-1]script_text = script.textregex = re.compile(r'var nbp=\'(.*)\\n\';var')nbp = regex.search(script_text).group(1)nbp = eval(nbp.decode('unicode-escape').decode('unicode-escape'))pagtok = nbp[1]except Exception as e:print eprint 'get pagTok from uri:%s failed!!!!!!!!!!!'% urireturn pack_names, Nonereturn pack_names, pagtok<span style="font-family: Arial, Helvetica, sans-serif;"> </span>

遇到的問題：

抓取數據的時候并不是抓包獲取一個鏈接，訪問了，就直接返回一串數據。需要先爬網頁，然后再解析網頁

抓取網頁的時候不是訪問一次就返回所有的數據，網站上的體驗的往下拉頁面的時候頁面逐漸加載。

要看每次加載的時候網頁請求有什么不一樣，結果發現傳了一個pagTok參數。

但是pagTok參數是從娜來的呢！因為這次的返回的結果是接在上次之后的，所以猜測這次的參數應該與上次訪問的返回有關。在上次訪問返回的content里面找到了相應的參數

之后第2，3.。。。。。次訪問的時候就加上pagTok參數，即可獲取要的數據

中間搜索詞有空格的時候，參數無效，用以下方法解決 uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))response,content=http.request(uri,'GET')

抓取的頁面編碼問題，用以下方法解決

<span style="white-space:pre"> </span>nbp.decode('unicode-escape').decode('unicode-escape')<span style="font-family: Arial, Helvetica, sans-serif;"> </span> 推薦鏈接： 解析內容時編碼問題：http://stackoverflow.com/questions/23288042/i-want-to-decode-string-in-python
抓取網頁：http://blog.csdn.net/gs_zhaoyang/article/details/13768925
代理設置：https://code.google.com/p/httplib2/wiki/Examples

總結

以上是生活随笔為你收集整理的python 抓取google play 各搜索词排名的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。