今天需要到這個廣東省科學技術廳網站上查一個辦件信息，結果發(fā)現……

這個不能直接選頁碼也不能搜索的分頁真是劇毒……好幾百頁讓人怎么翻呢。。。

于是我果斷F12看一下


可以看到請求的url和post的表單數據，復制到瀏覽器看看
這里最重要的參數就是pageNum（第幾頁）和pageSize（每頁有多少條數據）
http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5

果然是第一頁的10條數據，可以改它的pagesize，但是我發(fā)現最大只能改到50，超過50就會請求失敗了。
所以我就用python寫個循環(huán)去請求每一頁好了。pageNum就固定在50，用format來修改pageNum。
具體總頁數我也不知道，隨便試了幾次大概就是有4000多條數據。

import requests import jsondef start():url = "http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum={}&pageSize=50&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5"for i in range(1, 100):url2 = url.format(i)res = requests.post(url2)print(res.text)if __name__ == "__main__":start()

就會全部出現在控制臺，ctrl+F就可以馬上搜索到想要的流水號，不用慢慢翻頁啦開心~

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的python爬取分页数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。