Python数据清洗与可视化——北京租房数据统计分析05
北京租房數(shù)據(jù)統(tǒng)計(jì)分析
5.1數(shù)據(jù)的爬取
代碼：
# 5北京租房數(shù)據(jù)統(tǒng)計(jì)分析 # 5.1數(shù)據(jù)的爬取 import pandas as pd import numpy as np file_path=open(r"D:\python課設(shè)\數(shù)據(jù)\數(shù)據(jù)\5、北京租房數(shù)據(jù)統(tǒng)計(jì)分析\鏈家北京租房數(shù)據(jù).csv") file_data=pd.read_csv(file_path,encoding="utf-8") file_data運(yùn)行結(jié)果:
首先使用pandas的read_csv()方法進(jìn)行數(shù)據(jù)的讀取，然后就能夠看到相應(yīng)的表格信息。
5.2區(qū)域的房源總量的熱力圖分析
5.2.1數(shù)據(jù)去重：
代碼：
# 先做數(shù)據(jù)預(yù)處理 file_data.duplicated()運(yùn)行結(jié)果:
先做數(shù)據(jù)預(yù)處理，將重復(fù)的數(shù)據(jù)做去重處理，我們可以看到使用duplicated()可以返回一組布爾數(shù)組，重復(fù)的部分返回值為FALSE,不重復(fù)的為True。
代碼：
filed_data=file_data.drop_duplicates() filed_data運(yùn)行結(jié)果:
使用drop_duplicates()方法對(duì)數(shù)據(jù)做去重處理，去除重復(fù)的數(shù)據(jù)，方便后面繪圖計(jì)算以及其他操作。
5.2.2去除重復(fù)值
代碼：
# 刪除缺失的數(shù)據(jù) data=filed_data.dropna() data運(yùn)行結(jié)果:
使用dropna()的方法刪除空值，做數(shù)據(jù)進(jìn)一步的處理，方便后面繪圖計(jì)算以及其他操作。
5.2.3數(shù)據(jù)類型的轉(zhuǎn)化
代碼：
# 剛我搞完了AK碼的申請(qǐng)，現(xiàn)在我開始進(jìn)行后面的數(shù)據(jù)處理，由于我們?cè)谶@里，存在著熱圖查看需要準(zhǔn)確經(jīng)緯度 # 位置所以需要在這里把詳細(xì)的部分做數(shù)據(jù)拼接 data["位置"]="北京市"+data["區(qū)域"].values+"區(qū)"+data["小區(qū)名稱"].values data運(yùn)行結(jié)果:
在這里顯示熱力圖需要調(diào)用百度地圖的API，就需要我們申請(qǐng)一個(gè)AK碼，方便調(diào)用，然后還需要我們提供特別需要顯示的經(jīng)緯度。
這個(gè)地方比較復(fù)雜，所以我將會(huì)在另一篇博客中詳細(xì)的論述這個(gè)部分的內(nèi)容。
5.2.4導(dǎo)出熱力圖經(jīng)緯度
代碼：
# _*_ coding:utf-8 _*_ import requests import pandas as pd import time import jsonclass LngLat:# def __init__(self):# self.headers = {# "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}# self.proxies = {# "http": "http://61.135.217.7:80",# "http": "http://118.190.95.43:9001",# "http": "http://180.122.147.67:37153",# "http": "http://118.190.95.35:9001",# "http": "http://119.5.0.11:808",# "http": "http://106.56.102.192:8070"# }# 讀取數(shù)據(jù)def read_data(self):file_path=open(r"D:\python課設(shè)\數(shù)據(jù)\數(shù)據(jù)\5、北京租房數(shù)據(jù)統(tǒng)計(jì)分析\鏈家北京租房數(shù)據(jù).csv")file_data = pd.read_csv(file_path)duplicate_removal = file_data.drop_duplicates()house_names = duplicate_removal['位置']house_names = house_names.tolist()return house_namesdef get_url(self):url_temp = "http://api.map.baidu.com/geocoder/v2/?address={}&output=json&ak=NnQokv12fkyf4YoG59j9fRbGq4G8Lb4K&callback=showLocation"# ak = 'NnQokv12fkyf4YoG59j9fRbGq4G8Lb4K'house_names = self.read_data()return [url_temp.format(i) for i in house_names]# 發(fā)送請(qǐng)求def parse_url(self, url):while 1:try:r = requests.get(url)except requests.exceptions.ConnectionError:time.sleep(2)continuereturn r.content.decode('utf-8')def run(self):li = []urls = self.get_url()for url in urls:data = self.parse_url(url)str = data.split("{")[-1].split("}")[0]try:lng = float(str.split(",")[0].split(":")[1])lat = float(str.split(",")[1].split(":")[1])except ValueError:continue# 構(gòu)建字典dict_data = dict(lng=lng, lat=lat, count=1)li.append(dict_data)f = open(r"D:\python課設(shè)\經(jīng)緯度信息.txt",'w', 'w')f.write(json.dumps(li))f.close()print('寫入成功')if __name__ == '__main__':execute = LngLat()execute.run()運(yùn)行結(jié)果:
首先讀取鏈家北京租房數(shù)據(jù).csv的數(shù)據(jù)，位置信息獲取，然后使用request獲取相關(guān)的經(jīng)緯度信息，然后將處理好的經(jīng)緯度數(shù)據(jù)寫入到txt文件中方便后面進(jìn)行熱力圖的繪制。
5.2.5 熱力圖繪制
代碼：
<!DOCTYPE html> <html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta name="viewport" content="initial-scale=1.0, user-scalable=no" /><script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=eYTWvbz8Z1lszcRQWrkbOB6RQQOEsDlC"></script><script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script><script src="https://code.jquery.com/jquery-3.3.1.min.js"></script><title>熱力圖功能示例</title><style type="text/css">ul,li {list-style: none;margin: 0;padding: 0;float: left;}html {height: 100%}body {height: 100%;margin: 0px;padding: 0px;font-family: "微軟雅黑";}#container {height: 800px;width: 100%;}#r-result {width: 100%;}</style> </head><body><div id="container"></div><div id="r-result">上傳文件 ： <input type="file" name="file" multiple id="fileId" /><button type="submit" name="btn" value="提交" id="btn1" onclick="check()">提交</button><input type="button" onclick="openHeatmap();" value="顯示熱力圖" /><input type="button" onclick="closeHeatmap();"value="關(guān)閉熱力圖" /></div> </body></html> <script type="text/javascript">var points = [];function check() {var objFile = document.getElementById("fileId");if (objFile.value == "") {alert("不能空")}var files = $('#fileId').prop('files'); //獲取到文件列表console.log(files.length);if (files.length == 0) {alert('請(qǐng)選擇文件');} else {for (var i = 0; f = files[i]; i++) {var reader = new FileReader(); //新建一個(gè)FileReaderreader.readAsText(files[i], "UTF-8"); //讀取文件reader.onload = function (evt) { //讀取完文件之后會(huì)回來這里points = jQuery.parseJSON(evt.target.result);}}} }var map = new BMap.Map("container"); // 創(chuàng)建地圖實(shí)例var point = new BMap.Point(116.418261, 39.921984);map.centerAndZoom(point, 12); // 初始化地圖，設(shè)置中心點(diǎn)坐標(biāo)和地圖級(jí)別map.enableScrollWheelZoom(); // 允許滾輪縮放if (!isSupportCanvas()) {alert('熱力圖目前只支持有canvas支持的瀏覽器,您所使用的瀏覽器不能使用熱力圖功能~')}//詳細(xì)的參數(shù),可以查看heatmap.js的文檔 https://github.com/pa7/heatmap.js/blob/master/README.md//參數(shù)說明如下:/* visible 熱力圖是否顯示,默認(rèn)為true* opacity 熱力的透明度,1-100* radius 勢(shì)力圖的每個(gè)點(diǎn)的半徑大小 * gradient {JSON} 熱力圖的漸變區(qū)間 . gradient如下所示* {.2:'rgb(0, 255, 255)',.5:'rgb(0, 110, 255)',.8:'rgb(100, 0, 255)'}其中 key 表示插值的位置, 0~1. value 為顏色值. */heatmapOverlay = new BMapLib.HeatmapOverlay({ "radius": 20 });map.addOverlay(heatmapOverlay);heatmapOverlay.setDataSet({ data: points, max: 15 });//是否顯示熱力圖function openHeatmap() {heatmapOverlay.setDataSet({ data: points, max: 15 });heatmapOverlay.show();}function closeHeatmap() {heatmapOverlay.hide();}closeHeatmap();function setGradient() {/*格式如下所示:{0:'rgb(102, 255, 0)',.5:'rgb(255, 170, 0)',1:'rgb(255, 0, 0)'}*/var gradient = {};var colors = document.querySelectorAll("input[type='color']");colors = [].slice.call(colors, 0);colors.forEach(function (ele) {gradient[ele.getAttribute("data-key")] = ele.value;});heatmapOverlay.setOptions({ "gradient": gradient });}//判斷瀏覽區(qū)是否支持canvasfunction isSupportCanvas() {var elem = document.createElement('canvas');return !!(elem.getContext && elem.getContext('2d'));} </script>運(yùn)行結(jié)果:
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-FXPz7EQG-1640703659534)(https://gitee.com/wu-xiaofang/image/raw/master/202112282115879.png)]
5.3 戶型數(shù)量和歡迎度的條形圖分析
5.3.1做戶型數(shù)量分析
代碼：
# 5.3 戶型數(shù)量和歡迎度的條形圖分析 # 先進(jìn)行戶型的數(shù)量分析 import numpy as np def all_house(arr):arr=np.array(arr)key=np.unique(arr)result={}for k in key:mask=(arr==k)arr_new=arr[mask]v=arr_new.sizeresult[k]=vreturn result # 獲取用戶戶型數(shù)據(jù) house_array=file_data["戶型"] house_info=all_house(house_array) house_info運(yùn)行結(jié)果:
進(jìn)行戶型的數(shù)量分析，使用 key=np.unique(arr)，獲取不同的戶型數(shù)據(jù)集，然后定義函數(shù)對(duì)戶型進(jìn)行分組，定義一個(gè)字典儲(chǔ)存分類好的數(shù)據(jù)，鍵是戶型，值是戶型的數(shù)量，最后調(diào)用函數(shù)，對(duì)戶型進(jìn)行數(shù)據(jù)的處理。
5.3.2使用字典推導(dǎo)處理dataframe
代碼：
# 使用字典推導(dǎo) house_type=dict((key,value)for key,value in house_info.items()if value>50) show_house=pd.DataFrame({"戶型":[x for x in house_type.keys()],"數(shù)量":[x for x in house_type.values()]}) show_house運(yùn)行結(jié)果:
對(duì)戶型數(shù)量>50的數(shù)據(jù)進(jìn)行字典推導(dǎo)式，使用字典推導(dǎo)式來快速的生成一個(gè)字典，生成一個(gè)戶型以及數(shù)量對(duì)應(yīng)的字典，然后將這些數(shù)據(jù)再解析生成一個(gè)DataFrame對(duì)象，方便后面做數(shù)據(jù)的可視化。
5.3.3條形圖繪制戶型數(shù)據(jù)
代碼：
# 使用條形圖將戶型數(shù)據(jù)做展示import matplotlib.pyplot as plt import matplotlibmatplotlib.rcParams['font.sans-serif'] = ['SimHei'] matplotlib.rcParams['axes.unicode_minus'] = Falsehouse_type=show_house["戶型"] house_type_nums=show_house["數(shù)量"] house_type_nums """ 繪制水平條形圖方法barh 參數(shù)一：y軸 參數(shù)二：x軸 """ plt.barh(range(13), house_type_nums, height=0.7, color='steelblue', alpha=0.8) # 從下往上畫 plt.yticks(range(13), house_type) plt.xlim(0,2700) plt.xlabel("數(shù)量") plt.title("戶型數(shù)據(jù)") for x, y in enumerate(house_type_nums):plt.text(y + 0.2, x - 0.1, '%s' % y) plt.show()運(yùn)行結(jié)果:
繪制條形圖：
pyplot并不默認(rèn)支持中文顯示，需要rcParams修改字體來實(shí)現(xiàn)
記得添加上
matplotlib.rcParams['font.sans-serif'] = ['SimHei'] matplotlib.rcParams['axes.unicode_minus'] = False防止亂碼，同時(shí)還需要添加上這兩個(gè)關(guān)于文字顯示，第一個(gè)是用來正常顯示中文標(biāo)簽，第二個(gè)是用來正常顯示正負(fù)標(biāo)簽。
5.4各區(qū)域的房源數(shù)量和租金情況的柱狀圖和折線圖分析
5.4.1計(jì)算平均租金
創(chuàng)建新列
代碼：
# 平均租金分析 # 計(jì)算平均租金 df_all=pd.DataFrame({"區(qū)域":data["區(qū)域"].unique(),'房租總金額':[0]*13,"總面積（m平方）":[0]*13}) df_all運(yùn)行結(jié)果:
添加列值
代碼：
sum_price=data["價(jià)格(元/月)"].groupby(file_data["區(qū)域"]).sum() sum_area=data["面積(㎡)"].groupby(file_data["區(qū)域"]).sum() # 將值添加進(jìn)來 df_all["房租總金額"]=sum_price.values df_all["總面積（m平方）"]=sum_area.values df_all運(yùn)行結(jié)果:
計(jì)算每平米租金
代碼：
# 定義函數(shù)計(jì)算每平米的租金 df_all["每平米租金"]=round(df_all["房租總金額"]/df_all["總面積（m平方）"],2) # 計(jì)算并且保留兩位小數(shù) df_allSS運(yùn)行結(jié)果:
合并房源數(shù)據(jù)
代碼：
# 合并房源數(shù)據(jù)以及我們的租金數(shù)據(jù) df_merge=pd.merge(df_all,homes) df_merge運(yùn)行結(jié)果:
先添加兩列為后面加數(shù)據(jù)列做準(zhǔn)備計(jì)算房租總金額以及總面積最后定義函數(shù)計(jì)算每平米的租金，合并房源數(shù)據(jù)以及我們的租金數(shù)據(jù)，就可以得到各區(qū)域完整的房源數(shù)據(jù)。
5.4.2 各區(qū)域的房源數(shù)量和租金情況的柱狀圖和折線圖分析
代碼：
# 5.4各區(qū)域的房源數(shù)量和租金情況的柱狀圖和折線圖分析import matplotlib.ticker as mtick from matplotlib.font_manager import FontProperties num=df_merge['數(shù)量'] price=df_merge['每平米租金'] l=[i for i in range(13)] plt.rcParams['font.sans-serif']=['SimHei'] lx=df_merge['區(qū)域'] fig=plt.figure() ax1=fig.add_subplot(111) ax1.plot(l,price,'or-',label='價(jià)格') for i,(_x,_y) in enumerate(zip(l,price)):plt.text(_x,_y,price[i],color='black',fontsize=10,rotation=30) ax1.set_ylim([0,200]) ax1.set_ylabel('價(jià)格') plt.legend(prop={'family':'SimHei','size':8},loc='upper left') ax2=ax1.twinx() plt.bar(l,num,alpha=0.3,color='green',label='數(shù)量') ax2.set_ylabel('數(shù)量') ax2.set_ylim([0,2000]) plt.legend(prop={'family':'SimHei','size':8},loc='upper right') plt.xticks(l,lx) plt.xticks(rotation=0.3) plt.show()運(yùn)行結(jié)果:
在這里將enumerate，zip函數(shù)的結(jié)合使用：
在這里可以看到i與_x均是索引值，用來表示表示坐標(biāo)值上的值，y則是每平米的租金
-
enumerate函數(shù)：遍歷一個(gè)序列的同時(shí)追蹤當(dāng)前元素的索引。
-
zip 將列表，元祖或其他序列的元素配對(duì)，新建一個(gè)元祖構(gòu)成的列表
2.plt.text()函數(shù)用于設(shè)置文字說明。
-
x,y:表示坐標(biāo)值上的值
-
string:表示說明文字
-
fontsize:表示字體大小
-
verticalalignment：垂直對(duì)齊方式 ，參數(shù)：[ ‘center’ | ‘top’ | ‘bottom’ | ‘baseline’ ]
-
horizontalalignment：水平對(duì)齊方式 ，參數(shù)：[ ‘center’ | ‘right’ | ‘left’ ]
5.5面積區(qū)間的市場(chǎng)占有率的餅狀圖分析
5.5.1面積區(qū)間分析
代碼：
# 5.5面積區(qū)間的市場(chǎng)占有率的餅狀圖分析 # 面積區(qū)間分析 print("房屋最大面積為%d㎡"%(data["面積(㎡)"].max())) print("房屋最小面積為%d㎡"%(data["面積(㎡)"].min())) # 最高值，最小值 print("房屋最高值為%d(元/月)"%(data["價(jià)格(元/月)"].max())) print("房屋最小值為%d(元/月)"%(data["價(jià)格(元/月)"].min()))運(yùn)行結(jié)果:
使用min(),max()函數(shù)求最大最小值。
5.5.2數(shù)據(jù)預(yù)處理
代碼：
area_divide=[1,30,50,70,90,120,140,160,1200] area_cut=pd.cut(list(data["面積(㎡)"]),area_divide) area_cut_data=area_cut.describe() area_cut_data # =area_cut_data.dropna()運(yùn)行結(jié)果:
使用pandas.cut進(jìn)行數(shù)據(jù)的分箱操作，將這里完整的租房數(shù)據(jù)分割成為離散的區(qū)間。按照這個(gè)集合[1,30,50,70,90,120,140,160,1200]進(jìn)行數(shù)據(jù)的劃分。
5.5.3繪制餅狀圖
代碼：
import numpy as np area_percentage=(area_cut_data["freqs"].values)*100 np.set_printoptions(precision=2) lables=['30平方米以下','30-50平方米以下','50-70平方米','70-90平方米','90-120平方米','120-140平方米','140-160平方米','160平方米'] plt.axes(aspect=1) plt.pie(x=area_percentage,labels=lables,autopct='%.2f%%',shadow=True,labeldistance=1.2,startangle=90,pctdistance=0.7) # 圖例放在圖標(biāo)位置 plt.legend(bbox_to_anchor=(1.05, 1), loc=3, borderaxespad=0.) plt.show()運(yùn)行結(jié)果:
numpy.set_printoptions()
參數(shù)：
numpy.set_printoptions(precision=None, threshold=None, edgeitems=None, linewidth=None, suppress=None, nanstr=None, infstr=None, formatter=None)[source]參數(shù)：
precision：int，可選，浮點(diǎn)數(shù)輸出的精度位數(shù)（默認(rèn)為8）。
閾值：int，可選，觸發(fā)匯總而不是完全repr的數(shù)組元素的總數(shù)（默認(rèn)為1000）。
edgeitems：int，可選，在每個(gè)維度的開始和結(jié)束處的摘要中的數(shù)組項(xiàng)數(shù)（默認(rèn)值為3）。
linewidth：int，可選，用于插入換行符的每行字符數(shù)（默認(rèn)為75）。
suppress：bool，可選，是否使用科學(xué)計(jì)數(shù)法抑制小浮點(diǎn)值的打印（默認(rèn)值為False）。
nanstr：str，可選，浮點(diǎn)數(shù)的字符串表示不是數(shù)字（默認(rèn)為nan）。
infstr：str，可選,浮點(diǎn)無窮大的字符串表示形式（默認(rèn)inf）。
格式化程序：可調(diào)用的dict，可選,如果不是無，鍵應(yīng)該指示相應(yīng)格式化功能應(yīng)用的類型。Callables應(yīng)該返回一個(gè)字符串。未指定的類型（通過其相應(yīng)的鍵）由默認(rèn)格式化程序處理。可以設(shè)置格式化程序的單個(gè)類型有：
- ‘bool’
- ‘int’
- ‘timedelta’ : a numpy.timedelta64
- ‘datetime’ : a numpy.datetime64
- ‘float’
- ‘longfloat’ : 128-bit floats
- ‘complexfloat’
- ‘longcomplexfloat’ : composed of two 128-bit floats
- ‘numpy_str’ : types numpy.string_ and numpy.unicode_
- ‘str’ : all other strings
可用于一次設(shè)置一組類型的其他鍵有：
-
‘a(chǎn)ll’ : sets all types
-
‘int_kind’ : sets ‘int’
-
‘float_kind’ : sets ‘float’ and ‘longfloat’
-
‘complex_kind’ : sets ‘complexfloat’ and ‘longcomplexfloat’
-
‘str_kind’ : sets ‘str’ and ‘numpystr’
pyplot.pie
繪制餅圖
matplotlib.pyplot.pie(x, explode=None, labels=None, colors=None, autopct=None,pctdistance=0.6, shadow=False, labeldistance=1.1,startangle=None, radius=None, counterclock=True,wedgeprops=None, textprops=None, center=(0, 0), frame=False,rotatelabels=False, *, data=None)參數(shù)解析：
加的這一句是為了防止圖例和圖標(biāo)重合，
plt.legend(bbox_to_anchor=(1.05, 1), loc=3, borderaxespad=0.)=False, *, data=None)
餅圖繪制就完成了。
總結(jié)
以上是生活随笔為你收集整理的Python数据清洗与可视化——北京租房数据统计分析05的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 瓜子云的任务调度系统
- 下一篇： 使用opencv+python识别七段数