我們使用高德開放平臺https://lbs.amap.com上的webapi服務，獲取POI數據，嚴格說來不算爬蟲，就是調數據接口獲取數據而已。

步驟也很簡單。

1.獲取北京的范圍。

2.將北京范圍拆分成設定步長的網格，用每個網格矩形搜索小區數據，如果搜索到的數據量大于閾值，則將網格拆分成四個，如此遞歸，直到矩形搜索到的數據量小于閾值。

3.用2中獲取的網格調用接口，獲取小區數據，把所有網格的數據匯總到一起就可以了。

稍稍有點難度的，可能就是網格拆分的遞歸，但只要想明白了，就也很簡單。

接下來，看實踐。

一.獲取北京范圍

看說明：高德地圖開放平臺——開發指南——行政區劃查詢。

https://lbs.amap.com/api/webservice/guide/api/district

根據請求參數說明，拼接出如下一個url，就可以獲取北京范圍的數據了，當然，用戶key自己申請一個。

https://restapi.amap.com/v3/config/district?keywords=北京&subdistrict=0&extensions=all&key=<用戶的key>

polyline就是北京邊界坐標點串，拷貝下來，留著備用。

把polyline:后面跟著那一串，復制保存在polyline.txt文件中，雙引號不用留。

二.遞歸拆分網格

為了便于理解，我們把拆分網格和獲取數據分開寫。

先看說明：

高德地圖開放平臺——開發指南——搜索POI——多邊形搜索：

https://lbs.amap.com/api/webservice/guide/api/search

多邊形搜索的示例：

https://restapi.amap.com/v3/place/polygon?polygon=116.460988,40.006919|116.48231,40.007381|116.47516,39.99713|116.472596,39.985227|116.45669,39.984989|116.460988,40.006919&keywords=kfc&output=xml&key=<用戶的key>

根據多邊形搜索條目下的請求參數說明，可以知道，在url中，我們需要拼接幾個參數，才能獲取數據。

1.key，需要在高德地圖開放平臺上申請，既key=用戶的key

2.polygon，圖簡單，我們使用矩形，傳左下右上兩個頂點坐標對，既polygon=minlng,minlat|maxlng,maxlat

3.types，查詢的POI類型，這個查《POI分類編碼》，能看到（大類）商務住宅——（中類）住宅區——（小類）住宅小區的NEW-TYPE是120302，中類住宅區的NEW-TYPE是120300，既types=12302。

（其實也可以用120300這個中類的碼入參，但反正也不考慮別墅，就算了吧。）

4.offset，每頁記錄數據，offset=20。

5.page，當前頁數，這個需要根據返回的POI總量算，從1開始。

6.extensions，返回結果控制，多多益善，extensions=all。

7.output，返回數據格式類型，output=json。

根據offset和page的說明，offset是強烈建議不超過25，若超過25可能造成訪問報錯，page是最大翻頁數100，這表明，每次矩形搜索最多返回2500條記錄。

**
**
我們繼續看返回參數說明，count，搜索方案數目（最大值為1000）。

這說明啥？

按照官方文檔，矩形搜索，最多返回1000條數據，為了獲取足夠的數據，我們只能把搜索的矩形不斷細分變小。理論上，在同一個地方，范圍越小，內含的數據就越少。

假設說，一個矩形覆蓋整個北京，通過這個矩形調接口，返回count=1000，那我們就要把這個矩形拆分一下，橫一刀，豎一刀，變成0、1、2、3四個小矩形，再通過這四個小矩形調接口，如果0返回的count小于1000，那它不用再拆分了，如果1返回的count=1000，那它需要繼續拆分，如此遞歸下去，直到所有的矩形調接口，返回的count都小于1000。

雖然按官方說明，閾值選1000是正確的，但按照實踐來看，這個閾值選800正好，因為我發現，挺大個矩形，返回的count是800多，拆成4個，每個小矩形也返回count是800多，這就有點不太合理了，實踐出真知，那就用800做閾值吧。

總結一下：

1.先根據北京范圍拆分基礎的矩形網格。

2.根據這個基礎的矩形網格，去調用高德多邊形搜索服務，如果搜索出的小區小于800個，則保留矩形，否則拆分矩形，直到矩形搜索出的小區小于800個。

3.將處理好的矩形寫入文件備用。

結果如下圖：

代碼如下，Python3代碼，需要的包是requests和shapely，其實基礎的矩形網格拆分得足夠小，就都不用遞歸了，如果想看看遞歸效果，可以把步長d設置得大一些。也可以把代碼改一改，獲取其他類型的POI等。

import requests from shapely.geometry import Polygon from shapely import wkt from requests.adapters import HTTPAdapter s = requests.Session() s.mount('http://', HTTPAdapter(max_retries=3))#設置重試次數為3次 s.mount('https://', HTTPAdapter(max_retries=3)) # 獲取矩形搜索到poi的count數量 # key，是高德地圖的key # r是矩形，[minlng,minlat,maxlng,maxlat] def countSearchPoi(key,r):minlng = r[0]minlat = r[1]maxlng = r[2]maxlat = r[3]url = 'https://restapi.amap.com/v3/place/polygon?types=120302&offset=20&page=1&extensions=all&output=json&polygon='\+ str(minlng) +',' + str(minlat) + '|' + str(maxlng) + ',' + str(maxlat) + '&key=' + keycount = -1print(url)try:r = s.get(url, timeout=5)data = r.json()if 'status' in data:if data['status'] == '1':count = int(data['count'])except BaseException as e:print(e)return count # 切分矩形，把大矩形分成四個小矩形 def clipRectangle(r):minlng = r[0]minlat = r[1]maxlng = r[2]maxlat = r[3]dx = 0.5*(maxlng-minlng)dy = 0.5*(maxlat-minlat)return [[minlng,minlat,minlng+dx,minlat+dy],[minlng+dx,minlat,maxlng,minlat+dy],[minlng+dx,minlat+dy,maxlng,maxlat],[minlng,minlat+dy,minlng+dx,maxlat]]# 按照步長，將面切分成矩形網格，把所有跟入參的面相交的矩形都返回 # polygon是多邊形geometry，d是步長 def clipPolygon(polygon,d):bbox = polygon.boundsrectangles = []lngnum = int((bbox[2]-bbox[0])/d)+1latnum = int((bbox[3]-bbox[1])/d)+1minlng = int(bbox[0]/d)*dminlat = int(bbox[1]/d)*dfor i in range(0,lngnum+1):for j in range(0,latnum+1):rectangle = Polygon([(minlng+d*i,minlat+d*j),(minlng+d*i+d,minlat+d*j),(minlng+d*i+d,minlat+d*j+d),(minlng+d*i,minlat+d*j+d),(minlng+d*i,minlat+d*j)])if polygon.intersects(rectangle):rectangles.append([minlng+d*i,minlat+d*j,minlng+d*i+d,minlat+d*j+d])return rectanglesif __name__ =='__main__':d = 0.05maxcount = 800key = ''# 將北京的范圍坐標點串從txt文件中讀出，構建成polygonfpolyline = open(r'polyline.txt','r',encoding='utf-8')polyline = fpolyline.readlines()[0].strip('\n')fpolyline.close()polygonstr = 'POLYGON(('+polyline.replace(',',' ').replace(';',',')+'))'polygon = wkt.loads(polygonstr)# 根據polygon和步長，構建矩形網格rectangles = clipPolygon(polygon,d)fnew = open(r'rectangles.txt','a',encoding='utf-8')# 嵌入遞歸for r in rectangles:# 如果矩形構建的polygon與北京范圍polygon不相交，進入下一個rp = Polygon([(r[0],r[1]),(r[2],r[1]),(r[2],r[3]),(r[0],r[3]),(r[0],r[1])])if not polygon.intersects(rp):continuecount = countSearchPoi(key,r)print(count)# 如果count小于閾值，將矩形和count寫入文件，否則將矩形拆分，進行遞歸if count < maxcount:fnew.write(str(r[0])+','+str(r[1])+'|'+str(r[2])+','+str(r[3])+'\t'+str(count)+'\n')else:rectangles.extend(clipRectangle(r))fnew.close()

三.獲取小區數據

一個很簡單的腳本，獲取所有小區的name、id、address、location，保存在xiaoqu.txt中。

import requests from requests.adapters import HTTPAdapter import math s = requests.Session() s.mount('http://', HTTPAdapter(max_retries=3))#設置重試次數為3次 s.mount('https://', HTTPAdapter(max_retries=3)) # 獲取小區POI # key，是高德地圖的key # r是矩形，minlng,minlat|maxlng,maxlat # page是頁碼 def getPoi(key,r,page):url = 'https://restapi.amap.com/v3/place/polygon?types=120302&offset=20&page='+str(page)+'&extensions=all&output=json&polygon='\+ r + '&key=' + keyprint(url)result = []try:r = s.get(url, timeout=5)data = r.json()if 'status' in data:if data['status'] == '1':pois = data['pois']for p in pois:result.append([str(p['id']),str(p['name']),str(p['location']),str(p['address'])])except BaseException as e:print(e)return result if __name__ =='__main__':key = ''f = open(r'rectangles.txt','r',encoding='utf-8')fnew = open(r'xiaoqu.txt','a',encoding='utf-8')flines = f.readlines()f.close()for l in flines:llist = l.strip('\n').split('\t')r = llist[0]count = int(llist[1])if count < 1:continue# 整除，向上取整pagenum = math.ceil(count/20)for i in range(1,pagenum+1):result = getPoi(key,r,i)if len(result) > 0:for re in result:print(re)fnew.write('\t'.join(re)+'\n')fnew.close()

總結

以上是生活随笔為你收集整理的高德地图获取城市所有小区的POI的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。