武汉市房价数据挖掘与可视化分析（Python）
?引言
本文使用Python Matplotlib、Pyecharts、Seaborn、Plotl，以及百度提供的繪制可視化地圖接口BMap等工具，對武漢市14個區的房價數據進行可視化分析，繪制了房價分布熱力地圖、房價分布旭日圖等眾多圖表，數據來源為使用Python Scrapy 和 Selenium 從鏈家、貝殼網上爬取的房價及其相關數據，共5056條數據。
數據預覽：
?數據地址：
武漢市各區房價分布數據集-數據挖掘文檔類資源-CSDN下載本數據集為使用PythonScrapy、Selenium從鏈家、貝殼網爬取的武漢市房價及其相關數據更多下載資源、學習資料請訪問CSDN下載頻道.https://download.csdn.net/download/qq_52181283/85863824數據字段：
作者：A WHU SIMer
目錄
?引言
一、運用的可視化工具簡介
1.1 Matplotlib
?1.2 Pyecharts
1.3?Seaborn
1.4?Plotly
1.5?BMap
二、數據預處理
2.1?導入相關包、讀取數據并查看數據基本情況
2.2 地鐵字段處理
2.3?建筑年代字段處理
2.4?建筑類型字段處理
2.5?物業費用字段處理
2.6 樓棟總數與房屋總數字段處理
2.7?保存處理好的數據并查看其信息
三、數據分析可視化
3.1?全市房價總體分布地圖
3.2?全市房價總體分布直方圖
3.3?各區房價分布箱型圖
3.4?各區房價中位數柱形圖
3.5?房源到市中心距離、建筑類型、物業費用與房價關系散點圖
3.6?各區各板塊房價分布旭日圖
3.7?全市房價分布熱力地圖
四、月收入1萬左右的買房建議
一、運用的可視化工具簡介
1.1 Matplotlib
Matplotlib 是一個 Python 2D 繪圖庫，同時它也提供了一部分 3D 繪圖接口。 Matplotlib 是 Python 中最受歡迎的數據可視化軟件包之一，通常與 NumPy、 Pandas 一起使用，只需幾行代碼就可以生成圖表、直方圖、功率譜、條形圖、 誤差圖、散點圖等，是數據分析中不可或缺的重要工具之一。本文使用matplotlib參與繪制房價直方圖、箱型圖、條形圖、散點圖。
Matplotlib — Visualization with Pythonhttps://matplotlib.org/
?1.2 Pyecharts
Pyecharts ( https://pyecharts.org )是一個 Python Echarts 繪圖庫，Python 是一門富有表達力的語言，很適合用于數據處理，Echarts 是一個由百度開源的用于 快速構建基于 Web 的可視化的聲明式框架，憑借著其良好的交互性，精巧的圖 表設計，得到了眾多開發者的認可，當數據分析遇上數據可視化時，pyecharts 便 誕生了。Pyecharts 囊括了 30 多種常見圖表，可以說應有盡有，通過高度靈活的 配置項，可輕松搭配出精美的圖表。本文使用Pyecharts繪制了全市房價總體分布地圖。
pyecharts - A Python Echarts Plotting Library built with love.Descriptionhttps://pyecharts.org/#/zh-cn/intro
1.3?Seaborn
Seaborn是基于matplotlib的圖形可視化python包。它提供了一種高度交互式界面，便于用戶能夠做出各種有吸引力的統計圖表。Seaborn是在Matplotlib的基礎上進行了更高級的API封裝，從而使得作圖更加容易，在大多數情況下使用seaborn能做出很具有吸引力的圖。同時它能高度兼容numpy與pandas數據結構以及scipy與statsmodels等統計模式。本文使用Seaborn繪制了全市房價總體分布直方圖、各區房價分布箱型圖、各區房價中位數柱形圖、樓房離市中心的距離與價格關系散點圖。
seaborn: statistical data visualization — seaborn 0.11.2 documentationhttps://seaborn.pydata.org/
1.4?Plotly
Plotly是一個在快速完善并崛起的交互式、開源的繪圖庫，Python plotly庫是它的一個重要分支。現已支持超過40種獨特的圖表類型，涵蓋了廣泛的統計、金融、地理、科學和三維用例。Plotly 通過JavaScript構建，能基于Web顯示實現交互式的可視化效果，所以它的圖形可以方便地顯示在Jupyter notebook以及獨立的html中。本文使用plotly繪制了各區各板塊房價分布旭日圖。
Plotly: The front end for ML and data science modelsDash apps go where traditional BI cannot: NLP, object detection, predictive analytics, and more. With 1M+ downloads/month, Dash is the new standard for AI & data science apps.https://plotly.com/
1.5?BMap
BMap是百度地圖提供的繪制地圖可視化圖表接口，需要在百度地圖中注冊應用并獲取密鑰后才可調用百度map API來繪制地圖熱力圖。使用BMap的方法有兩種：一是使用python.pyecharts.charts 中BMap庫，二是在html頁面中使用JavaScript創建BMap對象。本文使用方式二來繪制全市房價分布熱力地圖。
jspopularGL | 百度地圖API SDKhttps://lbsyun.baidu.com/index.php?title=jspopularGL
<script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script>二、數據預處理
2.1?導入相關包、讀取數據并查看數據基本情況
數據預處理部分，只需要用到pandas，即可完成對各字段數據的處理，如缺失值、更改數據格式等。
import pandas as pd # 讀取數據 data = pd.read_excel("武漢市房價數據.xlsx") #查看數據基本信息 print(data) print(data.info())?
?可以看到總共有5056條樓房樣本信息，共有17個字段，用小區樓房的平均價格來代表該小區樓價水平。其中地鐵字段存在較多缺失值，“樓棟總數”、“房屋總數”字段的數據類型本應為數值型，但是從上圖中兩者的數據類型為對象，說明存在一些問題，其他字段在用于可視化之前也或多或少存在需要修改的地方，下文將描述具體修改措施。
2.2 地鐵字段處理
# 地鐵字段處理，提取地鐵線路數字： metro = [] for i in range(len(data["地鐵"])):metroStation = data["地鐵"][i]if pd.isnull(metroStation): # 當不存在地鐵時metro.append(0) # 0 表示附近無地鐵站else: # 當存在地鐵時，提取地鐵編號lineNum = metroStation[metroStation.index("鐵") + 1: metroStation.index("號")]metro.append(int(lineNum)) data["metro"] = metro data.drop('地鐵',axis=1,inplace=True) # 刪除原有的“地鐵字段” print(data[0:10]) print(data.info())由于地鐵字段存在較多缺失值，若將缺失值刪除，則會使樣本數據量大大降低，遂采取補的方式，用0代替缺失值。并對有地鐵的單元格提取地鐵編號，如“近地鐵3號線王家灣站”提取的地鐵編號為3，保存在新字段metro中。
2.3?建筑年代字段處理
year = [] for i in range(len(data["建筑年代"])):yearNum = data["建筑年代"][i]if yearNum == "暫無信息":year.append(0) # 0 代表未知else:year.append(int(yearNum[0:-1])) data["year"] = year data.drop('建筑年代',axis=1,inplace=True) print(data[["小區名稱","year"]][0:10]) print(data.info())?建筑年代字段原格式為“***年”，而且存在間接意義上的缺失值“暫無信息”，所以用0表示“暫無信息”，提取年份來表示“***年”，這樣便于可視化時的計算。
2.4?建筑類型字段處理
?可以看到建筑類型字段存在多種值：“板樓”、“塔樓”、“板樓/塔板結合”、“未知類型”、“塔板結合”、“塔樓/板樓”······但是歸根究底是只有四種值，即未知類型、板樓、塔樓、板塔結合。所以分別用0，1，2，3分別表示這四種值。
buildingType = [] for i in range(len(data["建筑類型"])):type = data["建筑類型"][i]if type == "未知類型":buildingType.append(0)# print(0)elif type == "板樓":buildingType.append(1)# print(1)elif type == "塔樓":buildingType.append(2)# print(2)else:buildingType.append(3)# print(3) data["buildingType"] = buildingType data.drop('建筑類型',axis=1,inplace=True) print(data[["小區名稱","buildingType"]][0:10]) print(data.info())2.5?物業費用字段處理
?可以看到“物業費用”字段的值存在一定的規律性，即以“元/平米/月”結尾，存在固定費用和區間費用兩者形式。所以對于固定費用，提取固定費用數值，對于區間費用，用中間值代表，對于“暫無信息”則用-1代表（不用0表示，是因為考慮到物業費為0的情況，而且0在此處也不適合表示缺失值）。
propertyExpense = [] for i in range(len(data["物業費用"])):expense = data["物業費用"][i]if expense == "暫無信息":propertyExpense.append(-1)# print(-1)elif "至" in expense:minPrice = float(expense[0 : expense.index("至")])maxPrice = float(expense[expense.index("至")+1 : expense.index("元")])price = round((minPrice+maxPrice)/2, 2)propertyExpense.append(price)# print(price)else:price = float(expense[0 : expense.index("元")])propertyExpense.append(price)# print(price) data["propertyExpense"] = propertyExpense data.drop('物業費用',axis=1,inplace=True) print(data[["小區名稱","propertyExpense"]][0:10]) print(data.info())2.6 樓棟總數與房屋總數字段處理
?可以看到“樓棟總數”與“房屋總數”字段的數據分別以“棟”和“戶”字結尾，為方便計算，遂刪除這兩字，并將數據改為數值型。
# 樓棟總數字段處理，去掉”棟“字，將字段值的類型改為數值型 data["樓棟總數"] = data["樓棟總數"].apply(lambda x: int(x[0:-1])) # 房屋總數字段處理，去掉”戶“字，將字段值的類型改為數值型 data["房屋總數"] = data["房屋總數"].apply(lambda x: int(x[0:-1])) print(data.info()) print(data[["小區名稱","樓棟總數", "房屋總數"]])2.7?保存處理好的數據并查看其信息
保存預處理后的數據是為了方便在可視化時直接讀取新數據文件，而不用每次用時都得再進行一次數據預處理過程。
data.to_csv("WuHan.csv", encoding="utf8",index=False) newData = pd.read_csv("WuHan.csv") print(newData.info())三、數據分析可視化
【注意】：以下房價簡稱x，具體含義為：x元/平方米，如1萬，表示1萬元/平方米。
3.1?全市房價總體分布地圖
繪制pyecharts.charts.Geo用于地圖，所用的坐標為“經度_百度坐標”和“緯度_百度坐標”，繪制的圖表如下：
?從上圖，可以總體看出房源集中在近長江的武昌區、漢陽區、硚口區、江漢區、江岸區、洪山區。位于武漢市中部長江兩岸的房價是相對較高的，在3、4萬以上。1萬到2萬的房源是最多的，并且緊圍著中心高價房區。1萬以下的房源主要分布在蔡甸區、黃陂區、新洲區和江夏區，距離武漢市中心較遠，并且這四個區中，江夏區的房價較高，這也側面說明江夏區的經濟實力要高于其他三個。
?代碼：
import pyecharts import pandas as pd from pyecharts.charts import Geo from pyecharts import options as opts from pyecharts.datasets import register_url from pyecharts.globals import ThemeType from pyecharts.globals import GeoTypedata = pd.read_csv("WuHan.csv", encoding="utf8") dataList = data.to_dict(orient='records') try:register_url("https://echarts-maps.github.io/echarts-china-counties-js/") except Exception:import sslssl._create_default_https_context = ssl._create_unverified_contextregister_url("https://echarts-maps.github.io/echarts-china-counties-js/") geo=Geo(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="100%",height="700px",page_title="武漢市2018年房價數據可視化",bg_color="black"))geo.add_schema(maptype='武漢',label_opts=opts.LabelOpts(is_show=True),itemstyle_opts=opts.ItemStyleOpts(color="black", border_color="#1E90FF", border_width=1.5))data_pair = [] for item in dataList:name = item["小區名稱"]value = item["均價"]longitude = item["經度_百度坐標"]latitude = item["緯度_百度坐標"]# 將樓房坐標添加到地圖中geo.add_coordinate(name, longitude, latitude)data_pair.append((name, value)) # 添加數據項，即為地圖中樓房位置賦值 geo.add("房價",data_pair=data_pair,type_="scatter",symbol_size=1.5,is_large=True,) # 配置分組顏色 pricePieces = [{"max": 10000, "label":"1W以下", "color": "#F0F0BF"},{"min": 10000, "max": 20000, "label": "1W~2W", "color": "#08830A"},{"min": 20000, "max": 30000, "label": "2W~3W", "color": "#EA760F"},{"min": 30000, "max": 40000, "label": "3W~4W", "color": "#E800FF"},{"min": 40000, "label": "4W以上", "color": "#FF0005"}, ] geo.js_dependencies.add("echarts-gl") geo.set_series_opts(label_opts=opts.LabelOpts(is_show=False)) geo.set_global_opts(title_opts=opts.TitleOpts(title="武漢市2018年房價數據可視化", pos_left="left", title_textstyle_opts=opts.TextStyleOpts(color="red")),visualmap_opts=opts.VisualMapOpts(is_piecewise=True, pieces=pricePieces)) geo.render("武漢Geo.html")3.2?全市房價總體分布直方圖
使用seaborn繪制的全部樣本房價分布直方圖如下。從下圖可以估計出武漢市房價集中在4千~4萬的區間內，其中1萬到2.5萬的房源占多數。4萬以上的房源鳳毛麟角，最高的接近8萬，結合3.1圖1可知這些高價房源位于武昌區、漢陽區、硚口區、江漢區、江岸區。
?代碼：
print(data["均價"].max()) # 查看總體房價直方圖---------------------------- sns.displot(data["均價"],kde_kws={"color": "r", "lw": 1, "label": "KDE"},color="purple") plt.title("全市房價總體分布直方圖") plt.show()3.3?各區房價分布箱型圖
使用seaborn繪制的武漢市各區房價分布箱型圖如下。圖表中已按各區房價中位數的大小對各區進行降序排序，因此可以直觀看出房價中位數排名前三的區分別為：武昌區、洪山區、江岸區，其房價中位數接近2萬。
從異常值角度上分析，可以得出洪山區、江岸區、江漢區各自區域內房價差異較大，高價的房源價格甚至可以達到7萬或8萬，而低價的房源最低約在5千左右。從下圖中還可以確定本次統計的全部樣本中，房價最高的房源在江漢區。
?代碼：
my_order = data.groupby(by=["區域"])["均價"].median().sort_values(ascending=False).index print(data.groupby(by=["區域"])["均價"].median().sort_values(ascending=False)) print(my_order) # sns.catplot(x='區域', y='均價', data=data, order=my_order, kind="violin") # 繪制小提琴圖 sns.boxplot(x='區域', y='均價', data=data, order=my_order) plt.title("各區房價箱型圖") plt.show()3.4?各區房價中位數柱形圖
使用seaborn繪制的武漢市各區房價中位數柱形圖如下。由于當一組數據差異性較大時，中位數比平均數能更好地代表這組數據的中等水平，遂使用中位數作為評價指標。從下圖中，不僅能直觀看出各區房價中位數的排名情況，也能直觀比較它們房價中位數之間的差距。此外，在武漢市的14個區中，只有蔡甸區和新洲區的房價中位數在1萬以下，說明武漢房價總體偏高。
?代碼：
x = data.groupby(by=["區域"])["均價"].median().sort_values(ascending=False).index y = data.groupby(by=["區域"])["均價"].median().sort_values(ascending=False).values ax = sns.barplot(x,y) print(data.groupby(by=["區域"])["均價"].median().sort_values(ascending=False).reset_index()) for index,row in data.groupby(by=["區域"])["均價"].median().sort_values(ascending=False).reset_index().iterrows():ax.text(row.name, row["均價"], row["均價"],color="red", ha="center") plt.title("各區房價中位數柱形圖") plt.show()3.5?房源到市中心距離、建筑類型、物業費用與房價關系散點圖
使用seaborn繪制的武漢市房源到市中心距離、建筑類型、物業費用與房價關系散點圖如下。本文設定武漢市政府所在位置為武漢市中心，其百度坐標為：(114.311754, 30.598604)。利用房源的百度坐標和武漢市政府位置坐標來計算房源到武漢市政府的實際距離，其計算公式如下：
設地球上任意兩個點的坐標分別為（X1,Y1）、（X2,Y2），其中X1、X2為經度，Y1、Y2為緯度，且已知地球赤道半徑R= 6371.0 km，則這兩點之間的距離d計算式為：
d= R*arcos[cos(Y1)*cos(Y2)*cos(X1-X2)+sin(Y1)*sin(Y2)]
利用“黃金口岸”小區來驗證計算結果的正確性，計算結果與測距結果一致。
?
?
從上圖可以看出房價與房源到武漢中心的距離成負相關關系，大部分房源到武漢市中心的距離在20km以內。此外，板樓結構的房源較多，價格在4萬以上的房源幾乎均為板樓或者塔板結合結構，說明板樓更受買房者的青睞。這與板樓的特性有直接聯系。板樓大多是正南北方向，南北通透，便于采光與通風，而且戶型方正，平面布局合理，各功能空間尺度適宜，其相對于塔樓有著采光好、密度低、管理成本低的優點，這就意味著板樓的售價往往要高于塔樓，上圖也可以證明這一點。
代碼：
centerPoint = (114.311754, 30.598604) R = 6371 data["distance"] = data[["經度_百度坐標", "緯度_百度坐標"]].apply(lambda x: math.fabs(R*math.acos(math.cos(x["緯度_百度坐標"]*math.pi/180)*math.cos(centerPoint[1]*math.pi/180)*math.cos(x["經度_百度坐標"]*math.pi/180-centerPoint[0]*math.pi/180)+math.sin(x["緯度_百度坐標"]*math.pi/180)*math.sin(centerPoint[1]*math.pi/180))),axis=1) print(data[["經度_百度坐標", "緯度_百度坐標", "distance"]]) data["buildingType"].loc[data["buildingType"] == 0] = "未知類型" data["buildingType"].loc[data["buildingType"] == 1] = "板樓" data["buildingType"].loc[data["buildingType"] == 2] = "塔樓" data["buildingType"].loc[data["buildingType"] == 3] = "板塔結合" sns.scatterplot(data=data,x='distance',y='均價',hue="buildingType", # 設置分組顏色style='區域', # 設置分組樣式size='propertyExpense' # 設置分組大小) plt.title("樓房離市中心的距離與價格散點圖") plt.show()3.6?各區各板塊房價分布旭日圖
使用plotly繪制的武漢市各區各板塊房價分布旭日圖如下。從圖1中可以一眼看出武昌區的水果湖板塊房價中位數值最大，其次是洪山區的楚河漢街板塊和武昌區的楚河漢街板塊。點擊“洪山”，查看洪山區各板塊房價中位數占比情況，如圖2，可以看到，隨著板塊到武漢市中心的距離的增大，板塊內的房價在逐步下降。
?
?代碼：
newdata = data.groupby(["區域", "板塊"])["均價"].median().reset_index() print(newdata) chart = express.sunburst(newdata,path=["區域", "板塊"], values="均價", color="均價", title="各區各板塊房價中位數旭日圖") chart.show()3.7?全市房價分布熱力地圖
為了更加直觀地展現每一個房源的地理與價格之間的關系，本文調用了百度JavaScript開發API，來在html頁面中繪制武漢市地圖，并根據各房源的百度坐標將房源展示在地圖上，并用顏色的深淺來表示其價格的高低，以此形成全市的房價分布熱力地圖。
繪制結果如下：
（圖1）
?（圖2）
?（圖3）
從圖1中可以總體上看出房源主要分布在武漢市四環線以內，外圍的房源集中區域則分布在黃陂區、蔡甸區、江夏區和新洲區，這與3.1圖1的顯示結果一致。
從圖2中可以看出，長江北岸的高價房源要多于南岸的高價房源。長江北岸的高價房源分布在北岸的幾個商業區中，而南岸的高級房源分布在高校和商業區之間。長江南岸的房源明顯分布在地鐵線路的兩邊。
從圖3中可以看出，緊靠政府機構、教育機構、醫療機構、主干道等的房源價格要比一般的房源價格高。
代碼：
HTML，（ak=你的密鑰）
<!DOCTYPE html> <html> <head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta name="viewport" content="initial-scale=1.0, user-scalable=no" /><script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=*****************9C"></script><script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script><script src="https://code.jquery.com/jquery-3.1.1.min.js"></script><script src="jquery-csv.js"></script><script src="getData.js"></script><title>武漢市房價分布熱力地圖</title><style type="text/css">ul,li {list-style: none;margin: 0;padding: 0;float: left;}html {height: 100%}body {height: 100%;margin: 0px;padding: 0px;font-family: "微軟雅黑";}#container {height: 90%;width: 100%;}#r-result {width: 100%;}</style> </head><body><div id="container"></div><div id="r-result"><input type="button" onclick="openHeatmap();" value="顯示熱力圖" /><input type="button" onclick="closeHeatmap();"value="關閉熱力圖" /></div> </body></html> <script type="text/javascript">var map = new BMap.Map("container"); // 創建地圖實例var point = new BMap.Point(114.311754, 30.598604);map.centerAndZoom(point, 12); // 初始化地圖，設置中心點坐標和地圖級別map.enableScrollWheelZoom(); // 允許滾輪縮放var data = getData()console.log(data)var points = dataif (!isSupportCanvas()) {alert('熱力圖目前只支持有canvas支持的瀏覽器,您所使用的瀏覽器不能使用熱力圖功能~')}heatmapOverlay = new BMapLib.HeatmapOverlay({ "radius": 10 });map.addOverlay(heatmapOverlay);heatmapOverlay.setDataSet({ data: points, max: 90000 });//是否顯示熱力圖function openHeatmap() {heatmapOverlay.show();}function closeHeatmap() {heatmapOverlay.hide();}closeHeatmap();function setGradient() {var gradient = {};var colors = document.querySelectorAll("input[type='color']");colors = [].slice.call(colors, 0);colors.forEach(function (ele) {gradient[ele.getAttribute("data-key")] = ele.value;});heatmapOverlay.setOptions({ "gradient": gradient });}//判斷瀏覽區是否支持canvasfunction isSupportCanvas() {var elem = document.createElement('canvas');return !!(elem.getContext && elem.getContext('2d'));} </script>getData.js
function getData() {var points = [ {'lat': 30.590072, 'lng': 114.176442, 'count': 10001} , {'lat': 30.590072, 'lng': 114.176442, 'count': 10001} , {'lat': 30.881746472273, 'lng': 114.39374109924, 'count': 10008} , {'lat': 30.881746472273, 'lng': 114.39374109924, 'count': 10008} , {'lat': 30.49259, 'lng': 114.292619, 'count': 10078} , {'lat': 30.49259, 'lng': 114.292619, 'count': 10078} , {'lat': 30.585092, 'lng': 114.048935, 'count': 10084} , ......... .........] // 5056 條房源經緯度值，以及房價：countreturn points }四、月收入1萬左右的買房建議
武漢市只有蔡甸區和新洲區的房價中位數在1萬以下，若要在四環線以內買房，房價大概率會高于1萬元，再結合實際月收入，可以考慮購買中等水平房價的房源，即房價在1萬~2萬之間。在這個房價區間內的房源數量最多，則可選擇性多，而且在4環線以內，離市中心不算太遠。再深入分析，可以發現長江北岸的綠色房源均位于商業區外圍，而南岸的綠色房源有少數甚至在中心商業區內，而且南岸高校眾多，文化氣息更加濃厚。因此建議在長江南岸、靠近高校、離主干道較近的位置購買房價在1萬到2萬的房子。若購買面積為100平方米，則總費用在100萬到200萬之間，則不吃不喝工作約8年到17年可以付清。
?
總結
以上是生活随笔為你收集整理的武汉市房价数据挖掘与可视化分析（Python）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 调试LCD反被调戏了
- 下一篇： Python 定时任务框架