python爬蟲-翻頁url不變網(wǎng)頁的爬蟲探究

url隨著翻頁改變的爬蟲已經(jīng)有非常多教程啦，這里主要記錄一下我對翻頁url不變網(wǎng)頁的探究過程。學(xué)術(shù)菜雞第一次寫CSDN，請大家多多包容～ 如果對你有一點點幫助，請幫我點個贊吧！

翻頁url不變 與 翻頁url改變 有什么區(qū)別？

url其實就是鏈接，翻頁url改變的鏈接就是翻頁請求在url中體現(xiàn)的鏈接，比方說很多爬蟲初學(xué)者的第一個爬蟲實例：爬取豆瓣電影top250的信息。

注意看這個網(wǎng)站的鏈接！！

這里可以看到控制頁數(shù)的參數(shù)start直接在url中體現(xiàn)了，改變start=之后的數(shù)值就能夠?qū)崿F(xiàn)翻頁。start=25對應(yīng)的頁面就是從26開始的電影，start=0對應(yīng)的頁面就是從1開始的電影。那么只需要控制start之后的數(shù)字以25為步長遞增就可以通過for函數(shù)實現(xiàn)翻頁。

但是有時候會遇到明明你點擊了翻頁，但url卻不改變的情況，比如這個：

這種情況沒有辦法在python中直接通過改變url實現(xiàn)翻頁。

找到翻頁命令

事實上，控制網(wǎng)頁翻頁總得有一個參數(shù)，只是在翻頁url改變的情況中，這個翻頁參數(shù)體現(xiàn)在了url中，這使得我們可以通過直接改變url的方式實現(xiàn)翻頁。對于翻頁url不變的情況，我們其實只需要找到翻頁命令所在的位置，然后控制這條命令即可。

下面介紹我找到翻頁命令的一種方式：

打開開發(fā)者模式

在打開開發(fā)者模式的情況下點擊翻頁

找到翻頁后返回的內(nèi)容表單 (一般是XHR格式)

查看其headers (注意pages，start，p等字眼)

提取相應(yīng)的部分，在python中編寫語句實現(xiàn)控制就可以控制翻頁了

爬取去哪兒酒店信息實例

• 打開開發(fā)者模式，并點擊翻頁
• 找到返回的第二頁內(nèi)容的表單可以點擊list-preview打開表單預(yù)覽，確認這個list確實是服務(wù)器返回的第二頁酒店內(nèi)容這里可以看到list里面的內(nèi)容確實就是第二頁的酒店內(nèi)容，那么我們就要尋找這個list是怎么返回的，即它是通過向服務(wù)器發(fā)送什么命令返回的！！
• 查看list的headers

可以發(fā)現(xiàn)在Request Headers之下多了一個新的模塊，叫做Request Payload(我之前在CSDN上看到很多帖子，都是講From Data或者Query String Parameters，但是我卻一直沒找到這兩個模塊，只有Request Payload，后來經(jīng)過高人指點才知道，其實在Request Payload內(nèi)也有可能隱藏著翻頁的信息，所以我在想不一定要局限在具體的模塊名字，關(guān)鍵是找到翻頁之后服務(wù)器返回的信息表單，找它的headers有什么與第一頁headers不同的地方)

• 將Request Payload的內(nèi)容打開觀察
  觀察Request Payload里的內(nèi)容，發(fā)現(xiàn)這條指令其實是向服務(wù)器發(fā)送了一些要求，比如說要求了需要查找的酒店所在城市是西安，還指定了查詢的日期。可以看到這里有一條start：20的命令，經(jīng)過對比第一頁list的同一位置(start：0)發(fā)現(xiàn)start：i就是控制返回不同頁面的命令。

至此我們已經(jīng)發(fā)掘到了翻頁url不變網(wǎng)站的翻頁命令，下面只需要在爬蟲構(gòu)造headers的時候，加上Request Payload里要求的內(nèi)容，其中start控制內(nèi)容由函數(shù)參數(shù)控制。這樣就實現(xiàn)了控制爬取頁數(shù)的操作。除此之外，不難發(fā)現(xiàn)我們甚至還可以控制通過控制Request Payload中的city方便地實現(xiàn)對不同城市酒店的爬取。

代碼

下面附上完整代碼，由于去哪兒網(wǎng)頁時常加載失敗，所以如果前兩次出現(xiàn)“No targets found”很有可能是由于鏈接網(wǎng)頁失敗，多試幾次就好了。

• 通過修改main()里的city，可以爬取不同城市的酒店信息。
• 通過修改getlist()里z的范圍，可以改變爬取頁數(shù)。
• 我沒有對正則提取的內(nèi)容做任何模糊處理，理論上復(fù)制這個代碼就可以運行。
• 大多數(shù)城市直接輸入城市拼音就可以爬到(鏈接失敗就多試幾次)，但是北京得用beijing_city。如果有的城市試了很多次都鏈接失敗，可以上去哪兒網(wǎng)手動搜索看看url里的city是怎樣的，手動添加一下就可以了。

#-*- codeing = utf-8 -*-#@Time : 2020/8/4 9:25 上午#@Author : Tango#@File : hotel_general.py#@Software : PyCharmimport timeimport reimport requestsfrom bs4 import BeautifulSoupimport xlwtimport jsonfindname = re.compile(r'(.*?)')findgrade = re.compile(r'(3|4|("4)).(.*?)')findtotal = re.compile(r'共(.*)條評論')findprice = re.compile(r'￥(.*)起')finddetail = re.compile(r'查看詳情')def askurl(city, i, url): #獲取網(wǎng)頁內(nèi)容(post) request_payload = { "b": "{bizVersion: "17", cityUrl:" + city + ", cityName: "", fromDate: "2020-08-04", toDate: "2020-08-05", q: "",…}", "bizVersion": "17", "channelId": 1, "cityName": "", "cityType": 1, "cityUrl": city, "comprehensiveFilter": [], "fromAction": "", "fromDate": "2020-08-04", "fromForLog": 1, "hourlyRoom": "false", "level": "", "locationAreaFilter": [], "maxPrice": -1, "minPrice": 0, "num": 20, "q": "", "qFrom": 3, "searchType": 0, "sort": 0, "start": int(i*20), "toDate": "2020-08-05", "userId": "", "userName": "", "uuid": "", "qrt": "h_hlist", "source": "website" } head = { "user-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36" } response = requests.post(url, headers=head, data=json.dumps(request_payload)) #headers里表示這里的數(shù)據(jù)獲取是post方法，所以使用requests.post函數(shù) return response.textdef getlist(city, url): hotellist = [] for z in range(0, 3): # 爬取頁數(shù)設(shè)置 page = askurl(city, z, url) #爬取第z頁 soup = BeautifulSoup(page, 'html.parser') #是一個樹形結(jié)構(gòu)了 lsts = soup.find_all('div', class_="inner clearfix" ) ##表空判斷 if not lsts: print("No targets found") print("連接到網(wǎng)頁失敗") exit(0) print("鏈接網(wǎng)頁成功，開始爬取數(shù)據(jù)") number = 1 #非空情況下讀取 for item in lsts: hotel = [] #每個hotel存放一個酒店的信息(列表形式) item = str(item) # 酒店名稱 hotel_name = re.findall(findname, item)[0] hotel.append(hotel_name) # 酒店評分 hotel_grade = re.findall(findgrade, item) temp = list(hotel_grade) if temp: hotel.append(temp[0][0]) hotel.append(temp[0][2]) else: hotel.append(0) hotel.append(0) # 酒店總評分數(shù) hotel_total = re.findall(findtotal, item)[0] hotel.append(hotel_total) # 酒店起步價 hotel_price = re.findall(findprice, item) if len(hotel_price): hotel_price = hotel_price[0] else: hotel_price = 0 hotel.append(hotel_price) # 詳情鏈接 hotel_info = re.findall(finddetail, item)[0] hotel.append(hotel_info) # 寫入hotellist hotellist.append(hotel) print("-----正在爬取第%d條酒店信息-----"%number) number += 1 time.sleep(1.5) time.sleep(7.5) print("第%d頁爬取完成"%(z+1)) return hotellistdef listToExcel(city, list): col = ['酒店名稱', '酒店評分整數(shù)', '酒店評分小數(shù)', '酒店評價總數(shù)', '起步價', '詳情網(wǎng)址'] hotelbook = xlwt.Workbook(encoding = "utf-8", style_compression = 0) hotelsheet = hotelbook.add_sheet("sheet1", cell_overwrite_ok = True) for i in range(len(col)): hotelsheet.write(0, i, col[i]) for i in range(0,len(list)): print("-----正在寫入第%d條酒店信息-----"%(i+1)) item = list[i] for j in range(len(col)): hotelsheet.write(i+1, j, item[j]) hotelbook.save(city + "hotel.xls")def main(): city = "beijing_city" #基本上寫入城市拼音即可，但是北京要寫成beijing_city baseurl = "https://hotel.qunar.com/city/" + city + "/#fromDate=2020-01-01&cityurl=xiamen&toDate=2020-01-02&from=qunarHotel" hotellist = getlist(city, baseurl) listToExcel(city, hotellist) #askurl(baseurl)if __name__ == '__main__': main()

學(xué)會了么 學(xué)會了就私信小編 01 領(lǐng)取驚喜哦

總結(jié)

以上是生活随笔為你收集整理的局部页面切换url为什么不变_python爬虫 - 翻页url不变网页的爬虫探究的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。