波士顿房价数据集解读
機(jī)器學(xué)習(xí):波士頓房?jī)r(jià)數(shù)據(jù)集
波士頓房?jī)r(jià)數(shù)據(jù)集(Boston House Price Dataset)(下載地址:http://t.cn/RfHTAgY)
使用sklearn.datasets.load_boston即可加載相關(guān)數(shù)據(jù)。該數(shù)據(jù)集是一個(gè)回歸問題。每個(gè)類的觀察值數(shù)量是均等的,共有 506 個(gè)觀察,13 個(gè)輸入變量和1個(gè)輸出變量。
每條數(shù)據(jù)包含房屋以及房屋周圍的詳細(xì)信息。其中包含城鎮(zhèn)犯罪率,一氧化氮濃度,住宅平均房間數(shù),到中心區(qū)域的加權(quán)距離以及自住房平均房?jī)r(jià)等等。
CRIM:城鎮(zhèn)人均犯罪率。
ZN:住宅用地超過 25000 sq.ft. 的比例。
INDUS:城鎮(zhèn)非零售商用土地的比例。
CHAS:查理斯河空變量(如果邊界是河流,則為1;否則為0)。
NOX:一氧化氮濃度。
RM:住宅平均房間數(shù)。
AGE:1940 年之前建成的自用房屋比例。
DIS:到波士頓五個(gè)中心區(qū)域的加權(quán)距離。
RAD:輻射性公路的接近指數(shù)。
TAX:每 10000 美元的全值財(cái)產(chǎn)稅率。
PTRATIO:城鎮(zhèn)師生比例。
B:1000(Bk-0.63)^ 2,其中 Bk 指代城鎮(zhèn)中黑人的比例。
LSTAT:人口中地位低下者的比例。
MEDV:自住房的平均房?jī)r(jià),以千美元計(jì)。
預(yù)測(cè)平均值的基準(zhǔn)性能的均方根誤差(RMSE)是約 9.21 千美元。
重要參數(shù)
- return_X_y:表示是否返回target(即價(jià)格),默認(rèn)為False,只返回data(即屬性)。
加載示例
from sklearn.datasets import load_boston
boston = load_boston()
print(boston.data.shape)
(506L, 13L)
from sklearn.datasets import load_boston
data,target = load_boston(return_X_y = True)
print(data.shape)
(506L, 13L)
print(target.shape)
(506L,)
#-*- coding:UTF-8 -*-#第一步:讀取波士頓房?jī)r(jià)數(shù)據(jù) from sklearn.datasets import load_boston boston = load_boston() print boston.DESCR #從輸出結(jié)果來看,該數(shù)據(jù)共有506條波士頓房?jī)r(jià)的數(shù)據(jù),每條數(shù)據(jù)包括對(duì)指定房屋的13項(xiàng)數(shù)值型特征和目標(biāo)房?jī)r(jià) #此外,該數(shù)據(jù)中沒有缺失的屬性/特征值,更加方便了后續(xù)的分析#第二步:波士頓房?jī)r(jià)數(shù)據(jù)分割 from sklearn.model_selection import train_test_split import numpy as np X_train,X_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.25,random_state=33) #分析回歸目標(biāo)值的差異 print 'The max target value is ',np.max(boston.target) print 'The min target value is ',np.min(boston.target) print 'The average target value is ',np.mean(boston.target)#第三步:訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)標(biāo)準(zhǔn)化處理 from sklearn.preprocessing import StandardScaler #分別初始化對(duì)特征值和目標(biāo)值的標(biāo)準(zhǔn)化器 ss_X = StandardScaler() ss_y = StandardScaler() #訓(xùn)練數(shù)據(jù)都是數(shù)值型,所以要標(biāo)準(zhǔn)化處理 X_train = ss_X.fit_transform(X_train) X_test = ss_X.transform(X_test) #目標(biāo)數(shù)據(jù)(房?jī)r(jià)預(yù)測(cè)值)也是數(shù)值型,所以也要標(biāo)準(zhǔn)化處理 #說明一下:fit_transform與transform都要求操作2D數(shù)據(jù),而此時(shí)的y_train與y_test都是1D的,因此需要調(diào)用reshape(-1,1),例如:[1,2,3]變成[[1],[2],[3]] y_train = ss_y.fit_transform(y_train.reshape(-1,1)) y_test = ss_y.transform(y_test.reshape(-1,1))#第四步:使用線性回歸模型LinearRegression和SGDRegressor分別對(duì)美國(guó)房?jī)r(jià)進(jìn)行預(yù)測(cè) #不要搞混了,這里用的是LinearRegression而不是線性分類的LogisticRegression from sklearn.linear_model import LinearRegression lr = LinearRegression() lr.fit(X_train,y_train) lr_y_predict = lr.predict(X_test) from sklearn.linear_model import SGDRegressor sgdr = SGDRegressor() sgdr.fit(X_train,y_train) sgdr_y_predict = sgdr.predict(X_test)#第五步:性能測(cè)評(píng) #主要是判斷預(yù)測(cè)值與真實(shí)值之間的差距,比較直觀的評(píng)價(jià)指標(biāo)有 #平均絕對(duì)值誤差MAE(mean absolute error) #均方誤差MSE(mean squared error) #R-squared評(píng)價(jià)函數(shù) #使用LinearRegression模型自帶的評(píng)估模塊,并輸出評(píng)估結(jié)果 print 'the value of default measurement of LR:',lr.score(X_test,y_test) from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error print 'the value of R-squared of LR is',r2_score(y_test,lr_y_predict) #可以使用標(biāo)準(zhǔn)化器中的inverse_transform函數(shù)還原轉(zhuǎn)換前的真實(shí)值 print 'the MSE of LR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)) print 'the MAE of LR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)) #使用SGDRegressor自帶的評(píng)估模塊,并輸出評(píng)估結(jié)果 print 'the value of default measurement of SGDR:',sgdr.score(X_test,y_test) from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error print 'the value of R-squared of SGDR is',r2_score(y_test,sgdr_y_predict) print 'the MSE of SGDR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict)) print 'the MAE of SGDR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict))#總結(jié): #從輸出結(jié)果來看,回歸模型自帶的評(píng)估結(jié)果與r2_score的值是一樣的,推薦使用第一種方式 #SGDRegressor在性能上表現(xiàn)略遜于LinearRegression,前者是隨機(jī)梯度下降的方式估計(jì)參數(shù),后者是精確解析參數(shù) #在數(shù)據(jù)量十分龐大(10W+)的時(shí)候,推薦使用SGDRegressor總結(jié)
以上是生活随笔為你收集整理的波士顿房价数据集解读的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: haroopad夜间模式与数学公式显示
- 下一篇: notes from《classific