機器學習中，大部分是分類問題，另一種常見的機器學習問題是回歸問題，它預測一個連續值而不是離散的標簽，例如，根據氣象數據預測明天的氣溫，或者根據軟件說明書預測完成軟件項目所需要的時間、根據消費行為預測用戶的年齡等，今天的案例就是根據周邊的數據，預測房價，房價是一系列的連續值，因此是一個典型的回歸問題。

注意：不要將回歸問題與 logistic 回歸算法混為一談。令人困惑的是，logistic 回歸不是回歸算法， 而是分類算法。

一、波士頓房價數據集

本節將要預測 20 世紀 70 年代中期波士頓郊區房屋價格的中位數，已知當時郊區的一些數據點，比如犯罪率、當地房產稅率等。本節用到的數據集與前面兩個例子有一個有趣的區別。

它包含的數據點相對較少，只有 506 個，分為 404 個訓練樣本和 102 個測試樣本。輸入數據的 每個特征（比如犯罪率）都有不同的取值范圍。例如，有些特性是比例，取值范圍為 0~1；有 的取值范圍為 1~12；還有的取值范圍為 0~100，等等。

加載波士頓房價數據

from keras.datasets import boston_housing (train_data,train_targets),(test_data,test_targets)?=?boston_housing.load_data()我們來看一下數據。train_data.shape (404, 13) test_data.shape (102, 13)

如你所見，我們有 404 個訓練樣本和 102 個測試樣本，每個樣本都有 13 個數值特征，比如人均犯罪率、每個住宅的平均房間數、高速公路可達性等。目標是房屋價格的中位數，單位是千美元。

train_targets array([15.2, 42.3, 50. , 21.1, 17.7, 18.5, 11.3, 15.6, 15.6, 14.4,12.1,17.9, 23.1, ......

房價大都在 10 000~50 000 美元。折合人民幣6.5w-40w一平米，如果你覺得這很便宜，不要忘記當時是 20 世紀70年代中期，而且這些價格沒有根據通貨膨脹進行調整。所以一線城市的房價，還大有上漲空間

二、準備數據

將取值范圍差異很大的數據輸入到神經網絡中，這是有問題的。網絡可能會自動適應這種取值范圍不同的數據，但學習肯定變得更加困難。對于這種數據，普遍采用的最佳實踐是對每個特征做標準化，即對于輸入數據的每個特征（輸入數據矩陣中的列），減去特征平均值，再除 以標準差，這樣得到的特征平均值為 0，標準差為 1。用 Numpy 可以很容易實現標準化。

# 數據歸一化 mean = train_data.mean(axis = 0) train_data -= mean std = train_data.std(axis = 0) train_data?/=?std test_data -= mean test_data /= std

?注意：用于測試數據標準化的均值和標準差都是在訓練數據上計算得到的。在工作流程中，你不能使用在測試數據上計算得到的任何結果，即使是像數據標準化這么簡單的事情也不行。

三、構建模型框架

由于樣本數量很少，我們將使用一個非常小的網絡，其中包含兩個隱藏層，每層有 64 個單元。一般來說，訓練數據越少，過擬合會越嚴重，而較小的網絡可以降低過擬合。

#構建模型框架 from keras import layers from?keras?import?models def build_model():model = models.Sequential()model.add(layers.Dense(64,activation='relu',input_shape=(train_data.shape[1],)))model.add(layers.Dense(64,activation='relu'))model.add(layers.Dense(1))model.compile(optimizer='rmsprop',loss='mse',metrics=['mae'])return model

網絡的最后一層只有一個單元，沒有激活，是一個線性層。這是標量回歸（標量回歸是預測單一連續值的回歸）的典型設置。添加激活函數將會限制輸出范圍。例如，如果向最后一層添加 sigmoid 激活函數，網絡只能學會預測 0~1 范圍內的值。這里最后一層是純線性的，所以 網絡可以學會預測任意范圍內的值。

注意，編譯網絡用的是 mse 損失函數，即均方誤差（MSE，mean squared error），預測值與 目標值之差的平方。這是回歸問題常用的損失函數。

在訓練過程中還監控一個新指標：平均絕對誤差（MAE，mean absolute error）。它是預測值 與目標值之差的絕對值。比如，如果這個問題的 MAE 等于 0.5，就表示你預測的房價與實際價格平均相差 500 美元。

四、利用K 折驗證來驗證你的方法

為了在調節網絡參數（比如訓練的輪數）的同時對網絡進行評估，你可以將數據劃分為訓練集和驗證集，正如前面例子中所做的那樣。但由于數據點很少，驗證集會非常小（比如大約100 個樣本）。因此，驗證分數可能會有很大波動，這取決于你所選擇的驗證集和訓練集。也就是說，驗證集的劃分方式可能會造成驗證分數上有很大的方差，這樣就無法對模型進行可靠的評估。

在這種情況下，最佳做法是使用 K 折交叉驗證（見圖 3-11）。這種方法將可用數據劃分為 K個分區（K 通常取 4 或 5），實例化 K 個相同的模型，將每個模型在 K-1 個分區上訓練，并在剩下的一個分區上進行評估。模型的驗證分數等于 K 個驗證分數的平均值。這種方法的代碼實現很簡單。

import keras import numpy as np #K折交叉驗證 k = 5 num = len(train_data)//k all_score = [] for i in range(k):X_val = train_data[i*num:(i+1)*num]Y_val = train_targets[i*num:(i+1)*num]X_train = np.concatenate([train_data[:i*num],train_data[(i+1)*num:]],axis=0)Y_train = np.concatenate([train_targets[:i*num],train_targets[(i+1)*num:]],axis=0)model = build_model()model.fit(X_train,Y_train,epochs=100,batch_size=1,verbose=1)val_mse,val_mae = model.evaluate(X_val,Y_val,verbose=0)all_score.append(val_mae)

運行結果如下，取平均，基本上就是模型能到達的最小誤差了

all_score [1.9652233123779297,2.5989739894866943,1.9110896587371826,2.5641400814056396, 2.337777853012085]np.mean(all_score)2.275440979003906

每次運行模型得到的驗證分數有很大差異，從 1.9 到 2.6 不等。平均分數（2.27）是比單一分數更可靠的指標——這就是 K 折交叉驗證的關鍵。在這個例子中，預測的房價與實際價格平均相差 2200 美元，考慮到實際價格范圍在 10 000~50 000 美元，這一差別還是很大的。我們讓訓練時間更長一點，達到 500 個輪次。為了記錄模型在每輪的表現，我們需要修改訓練循環，以保存每輪的驗證分數記錄。

五、模型最后評估

完成模型調參之后（除了輪數，還可以調節隱藏層大小），你可以使用最佳參數在所有訓練數據上訓練最終的生產模型，然后觀察模型在測試集上的性能。

model = build_model() model.fit(train_data,train_targets,epochs=100,batch_size=1,verbose=1) test_mse,test_mae = model.evaluate(test_data,test_targets,verbose=0)test_mae 2.213838815689087#如果要看預測的明細結果 model.predict(test_data) array([[18.471083],[20.257647],[33.627922],[23.181114],[23.600664],[29.277847],[21.298449],[17.50559 ],[21.228243]], dtype=float32)

從上述結果來看，交叉驗證的結果與最后的預測結果相差不大，因此要得到更準的線上精度，最好選擇交叉驗證，而不是一次性的分割驗證。

···? END? ···往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載黃海廣老師《機器學習課程》視頻課黃海廣老師《機器學習課程》711頁完整版課件

本站qq群554839127，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【深度学习】深度学习预测房价：回归问题，K折交叉的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。