文章目錄

• 項(xiàng)目目標(biāo)
• 項(xiàng)目分析
• 基礎(chǔ)較好可直接看代碼

項(xiàng)目目標(biāo)

爬取高德地圖上城市與對(duì)應(yīng)所有與天氣相關(guān)的所有參數(shù)

項(xiàng)目分析

1.打開谷歌游覽器，輸入網(wǎng)址：高德地圖
2.鍵盤按F12進(jìn)入開發(fā)者調(diào)試模式，點(diǎn)擊Network，選擇XHR也就是js發(fā)起的異步加載請(qǐng)求獲取的網(wǎng)頁數(shù)據(jù)。這樣有利于我們快速找到城市天氣接口。

3.如上圖所示，我們找到了這個(gè)叫weather?adcode=610900的文件，這個(gè)weather就是天氣，那么這個(gè)后面這個(gè)adcode這個(gè)參數(shù)我們還不得而知。我們先看看這個(gè)文件里面的內(nèi)容把！

4.這不就是我們要找的嗎，但是發(fā)現(xiàn)這個(gè)文件只有一個(gè)城市，那么是不是跟adcode有關(guān)呢，我們?cè)偃シ瓌e的文件查看一下。

5.找到這個(gè)文件發(fā)現(xiàn)，這個(gè)adocde是一個(gè)參數(shù)，并且就代表了安康市，那剛才的天氣是如何請(qǐng)求到的呢？讓我們一探究竟！

6.如圖可知：這個(gè)Qurery String Parametes就是需要構(gòu)造的參數(shù)，我們又發(fā)現(xiàn)這個(gè)url后面跟著adcode參數(shù)，那么是不是有個(gè)文件是所有城市的adcode呢？

7.這里有個(gè)叫cityList…的文件，但是怎么里面就這一行沒用的代碼呢？這是因?yàn)楂@取當(dāng)前版本號(hào)的數(shù)據(jù)可能沒有更新，所以我們?cè)囍鴮姹咎?hào)向前提，或者刪除版本號(hào)參數(shù)。我們把url粘貼到網(wǎng)址上去。

8.這個(gè)圖中的url版本號(hào)已經(jīng)減了，所以已經(jīng)看到了所有城市，但是這么雜亂無章怎么查看adcode的數(shù)據(jù)到底在哪呢，為了方便我是使用json解析器

9.可以看到我們解析成功，那么我們來看一下里面的結(jié)構(gòu)：

10，這個(gè)鍵為hotCitys對(duì)應(yīng)的值，里面就有我們要找的數(shù)據(jù)，已經(jīng)發(fā)現(xiàn)找到了，并且是按全國(guó)來的，但是我們?cè)倮^續(xù)找一下，將找到的這折疊起來。找了一圈，我們發(fā)現(xiàn)是按照不同分類的，按全國(guó)的，按省的，按字母排序的等等，但是最后我們發(fā)現(xiàn)這個(gè)叫cityByLetter里面的adcode的數(shù)據(jù)是最容易獲取

11.那么我們寫代碼的思路是什么呢？
首先使用requests獲取全國(guó)城市adcode的源碼，并且轉(zhuǎn)為json，方便取出adcode數(shù)據(jù)，再將城市名字對(duì)應(yīng)adcode的數(shù)據(jù)進(jìn)行url的拼接，進(jìn)行二次requests請(qǐng)求，獲取對(duì)應(yīng)城市的天氣情況。

基礎(chǔ)較好可直接看代碼

代碼進(jìn)行示例：
（1）首先看第一種，小白能看懂的。

import requests import json# 定義爬取adcode的url base_url = "https://www.amap.com/service/cityList?version=202021713" # 發(fā)起請(qǐng)求 r = requests.get(base_url) # 接受json數(shù)據(jù) adcode_data = r.json() # 經(jīng)過分析，獲取所有城市名稱與adcode adcode__data2 = adcode_data.get("data") # print(adcode__data2) adcode__data3 = adcode__data2.get("cityByLetter") # print(adcode__data3)# 定義一個(gè)裝多個(gè)帶有adcode的字典的列表 adcode_list = [] for i, j in adcode__data3.items():for m in j:adcode_list.append(m) # print(adcode_list) # 進(jìn)行遍歷獲取adcode for count, i in enumerate(adcode_list):# 獲取每個(gè)城市的adcode數(shù)據(jù)adcode = i.get("adcode")# 拼接完整的獲取天氣的urlbase_url = "https://www.amap.com/service/weather?adcode=" + adcoderesponse = requests.get(base_url)# 將數(shù)據(jù)轉(zhuǎn)換為jsondata_json = response.json()weather = data_json.get('data').get('data')if weather == None:continueelse:# 輸出天氣與城市print("{}{}:{}".format(count, i.get("name"), weather[0].get('live').get("weather_name")))

（2）第二種，代碼清新脫俗，需要較強(qiáng)的基礎(chǔ)。

import requests,json,re for j, k in requests.get("https://www.amap.com/service/cityList?").json()['data']['cityByLetter'].items():for m in k:response = requests.get("https://www.amap.com/service/weather?adcode=" + m['adcode']).json().get("data").get('data')if response == None:continueelse:print(m["name"], re.compile(r'[|{|}|[]|]').sub("", str(response[0])))

由于運(yùn)行結(jié)果太長(zhǎng)就不寫了。
來一波，推送吧！
群號(hào)：781121386
群名：人生苦短，我學(xué)編程
歡迎大家加入我們，一起交流技術(shù)!!!

總結(jié)

以上是生活随笔為你收集整理的使用requests爬取高德地图国内所有城市的天气情况的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。