今天需要到這個(gè)廣東省科學(xué)技術(shù)廳網(wǎng)站上查一個(gè)辦件信息，結(jié)果發(fā)現(xiàn)……

這個(gè)不能直接選頁碼也不能搜索的分頁真是劇毒……好幾百頁讓人怎么翻呢。。。

于是我果斷F12看一下


可以看到請求的url和post的表單數(shù)據(jù)，復(fù)制到瀏覽器看看
這里最重要的參數(shù)就是pageNum（第幾頁）和pageSize（每頁有多少條數(shù)據(jù)）
http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5

果然是第一頁的10條數(shù)據(jù)，可以改它的pagesize，但是我發(fā)現(xiàn)最大只能改到50，超過50就會(huì)請求失敗了。
所以我就用python寫個(gè)循環(huán)去請求每一頁好了。pageNum就固定在50，用format來修改pageNum。
具體總頁數(shù)我也不知道，隨便試了幾次大概就是有4000多條數(shù)據(jù)。

import requests import jsondef start():url = "http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum={}&pageSize=50&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5"for i in range(1, 100):url2 = url.format(i)res = requests.post(url2)print(res.text)if __name__ == "__main__":start()

就會(huì)全部出現(xiàn)在控制臺(tái)，ctrl+F就可以馬上搜索到想要的流水號(hào)，不用慢慢翻頁啦開心~

超強(qiáng)干貨來襲 云風(fēng)專訪：近40年碼齡，通宵達(dá)旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的python爬取分页数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。