一：前言

以前年少無知，不知道Python 官方模塊里面有處理 URL的，拿起正則一頓匹配，所以在匹配url里面的頁面的時候出現了問題。同時也怪我測試環境是Python3 線上生產環境是Python 2，對無序字典urlencode不一樣，以及寫的正則匹配問題。最后造成的結果是頁面少匹配了很多頁數據，最后按步測試才找到問題。

所以正確的使用URL處理模塊還是方便和明智的

第三方模塊有 yurl， Python3內置的有urllib.parse

Python2 處理url的模塊不在一個位置， urllib里面有urlencode....，urlparse里面有urlparse,`parse_qsl....

參考鏈接：

二：目標

舉個 利用API 獲取數據的例子：

下面有個 url 和一個需要POST的參數字典，需要構造完成后發送參數獲取數據，判斷數據是否需要進行下一頁，如果需要那么 page 部分需要提取出來后加1，再繼續請求數據。

其實要做的事情很簡單，提取page 加1，繼續請求。

raw_url = 'http://api.xxxxxx.com/xxxxxx/xxx.json?'

param_dict = {

'id': 'xxxxx',

'card_addition': 1,

'token': 'fdflsdkr3029432',

'page': 145334,

}

三：實戰代碼

當時在Scrapy 的 start_requests 大致這樣寫的

ids = pipeline.execute()

for id in ids:

self.param_dict['id'] = id.strip()

param = urlencode(self.param_dict)

url = self.raw_url + param

yield scrapy.Request(url=url, callback=self.parse)

#

然后在 parse 里面對response做判斷如果還需要對該id下的數據抓取下一頁數據。

當時我直接對response.url正則匹配再加上Python3與Python 2，對無序字典urlencode不一樣就出現少匹配了很多頁面的問題。所以回來我利用python內置的URL 處理模塊，我就改了代碼。

# 解析url，獲取url里面的各種組成成分

parsed_url = urlparse(response.url)

# 獲取url組成成分里面的 query 參數部分

query = dict(parse_qsl(parsed_url.query))

# 獲取page的數值，加1后重新urlencode 這樣 下一頁的 url就構造完成了

page = query.get('page')

query['page'] = int(page) + 1

param = urlencode(query)

next_url = raw_url + param

四： 后記

多多思考，多多搜索。加油！

總結

以上是生活随笔為你收集整理的python 处理url 参数_Python 优雅的处理网页URL参数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。