python调用高德地图api 可视化_Python:利用高德地图API实现找房
記:本項目是在實驗樓上看到的,但是上面的代碼由于沒有及時維護,爬蟲文件的代碼不再能完整的把所有房源信息爬取下來,我根據最新的58同城官網進行了研究,現在的官網的房源信息已經不是分頁的了,而是拉到最后自動進行加載,所以一些地方的代碼也需要做一些修改。其次是爬取出來的文件在偶數行是空行的問題也得到了解決,在打開文件的時候添加一個參數即可。目前未解決的問題時字體加密問題,于是我刪掉了money參數,僅供參考,后期有時間再研究字體加密怎么解決。希望得到大佬的在線指教。。。
1、摘要:
利用一些開放平臺的API可以很方便的進行編程,早在考研時期就面臨找房困難、房源信息混亂以及不清楚房源周邊的交通情況。近期在跟廖雪峰老師學習python的過程中看到有類似的項目,在學習了該項目之后,也想把鄭州的房源根據價格區間爬取出房源信息存儲到csv文件中,然后利用高德地圖的API接口進行位置上的標識和交通路線的規劃。
2、最終的結果圖:
3、實現流程圖:
本項目主要有三個文件,分別是:crawl.py、rent2.csv、index.html。其中用到的幾個API文檔為:高德地圖JavaScript API幫助文檔和示例中心、Requests:Http for Humans、Beautiful Soup 4.2.0文檔。
crawl.py:爬蟲腳本,用來爬取房源信息
Rent2.csv:由crawl.py生成的房源信息文件
Index.html:地圖顯示房源和路徑規劃文件
要爬取的房源網站:https://zz.58.com/pinpaigongyu
4、爬取房源實現
(1)分析要爬取的頁面發現網站路徑規律應該為:/pinpaigongyu/?minprice={min_price}_{max_price},因為現在的58網站沒有分頁設置,直接是拉到最后自動進行加載,所以去掉了分頁參數。
(2)找到房源信息列表,以list元素為標記,循環訪問list元素里每一個li元素中的房源信息,提取出有效的房源信息。
(3)編寫爬蟲腳本文件:由于運行腳本文件后,爬取的時間間隔較小,原房源網站會彈出確認窗口,此時按規定進行確認,之后再重新進行爬取。
from bs4 import BeautifulSoup
import requests
import csv
import time
import lxml
url = "https://zz.58.com/pinpaigongyu/?minprice=1000_2000"
csv_file = open("rent2.csv","w",newline="",encoding='utf-8')
csv_writer = csv.writer(csv_file, delimiter=',')
while True:
print("fetch: ", url)
time.sleep(2)
response = requests.get(url)
html = BeautifulSoup(response.text,features="lxml")
house_list = html.select(".list > li")
# 循環在讀不到新的房源時結束
if not house_list:
break
for house in house_list:
house_title = house.select("h2")[0].string.strip()
house_url = house.select("a")[0]["href"]
house_info_list = house_title.split()
# 如果第二列是公寓名則取第一列作為地址
if "公寓" in house_info_list[1] or "青年社區" in house_info_list[1]:
house_location = house_info_list[0]
else:
house_location = house_info_list[1]
csv_writer.writerow([house_title, house_location, house_url])
csv_file.close()
? ? ? ? ??
5、調用高德地圖API:
直接在高德地圖API示例中心把要用的地圖的前端框架復制下來,在根據示例和手冊對API中的方法進行調用,在這里主要是閱讀高德地圖的示例和參考手冊。在使用高德地圖的API之前需要先擁有一個key,在加載地圖的時候使用。
完整代碼:
畢業生租房
選擇工作地點:
選擇通勤方式:
公交+地鐵
地鐵
導入房源文件:
6、項目演示步驟和效果:
在終端輸入python -m http.server 3000啟動服務器,然后在瀏覽器輸入http://localhost:3000查看效果,在右上角的panel中輸入工作地點,交通方式,房源信息文件查看效果。
新人創作打卡挑戰賽發博客就能抽獎!定制產品紅包拿不停!總結
以上是生活随笔為你收集整理的python调用高德地图api 可视化_Python:利用高德地图API实现找房的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 语音识别-过零率和短时能量-端点检测
- 下一篇: xp系统什么梗_老式电脑,装个什么样的系