這是機器學習入門系列（2）–如何構建一個完整的機器學習項目的第二篇

上一篇機器學習入門系列(2)–如何構建一個完整的機器學習項目(一)介紹了開始一個機器學習項目需要明確的問題，比如當前任務屬于有監督還是無監督學習問題，然后性能指標需要選擇什么，常用的分類和回歸損失函數有哪些，以及實際開發中需要明確系統的輸入輸出接口問題。

第二篇，會介紹下如何獲取數據集和構建測試集的方法。前者，對于機器學習來說，數據集的好壞對模型性能有很大的影響。而后者，主要是避免兩個偏差–數據透視偏差和采樣偏差。

---

2. 獲取數據

2.1 常用數據集

在我們學習機器學習的時候，最好使用真實數據，即符合真實場景的數據集，而不是人工數據集，采用這種人工數據集在實際應用中會讓系統表現很糟糕，因為人工數據集一般都和真實場景下的數據有較大的差異。幸運的是，現在有非常多的開源數據集，并且涵蓋了多個領域，這里介紹幾個常用的可以查找數據集的網站以及一些在計算機視覺常用的圖像數據集：

Kaggle 數據集:每個數據集都是一個小型社區，用戶可以在其中討論數據、查找公共代碼或在內核中創建自己的項目。包含各式各樣的真實數據集。

Amazon 數據集：該數據源包含多個不同領域的數據集，如：公共交通、生態資源、衛星圖像等。網頁中也有一個搜索框來幫助用戶尋找想要的數據集，還有所有數據集的描述和使用示例，這些數據集信息豐富且易于使用！

UCI機器學習資源庫：來自加州大學信息與計算機科學學院的大型資源庫，包含100多個數據集。用戶可以找到單變量和多變量時間序列數據集，分類、回歸或推薦系統的數據集。

谷歌數據集搜索引擎：這是一個可以按名稱搜索數據集的工具箱。

微軟數據集：2018年7月，微軟與外部研究社區共同宣布推出“Microsoft Research Open Data”。它在云中包含一個數據存儲庫，用于促進全球研究社區之間的協作。它提供了一系列用于已發表研究的、經過處理的數據集。

Awesome Public Datasets Collection：Github 上的一個按“主題”組織的數據集，比如生物學、經濟學、教育學等。大多數數據集都是免費的，但是在使用任何數據集之前，用戶需要檢查一下許可要求。

計算機視覺數據集：Visual Data包含一些可以用來構建計算機視覺(CV)模型的大型數據集。用戶可以通過特定的CV主題查找特定的數據集，如語義分割、圖像標題、圖像生成，甚至可以通過解決方案(自動駕駛汽車數據集)查找特定的數據集。

常用的部分圖像數據集：

Mnist: 手寫數字數據集，包含 60000 張訓練集和 10000 張測試集。（但該數據集通常只是作為簡單 demo 使用，如果要驗證算法模型的性能，最好在更大數據集上進行測試，實驗結果才有足夠的可信度）

Cifar：分為 Cifar10 和 Cifar100。前者包含 60000 張圖片，總共10個類別，每類 6000 張圖片。后者是 100 個類別，每個類別 600 張圖片。類別包括貓狗鳥等動物、飛機汽車船等交通工具。

Imagenet：應該是目前最大的開源圖像數據集，包含 1500 萬張圖片，2.2 萬個類別。

LFW：人臉數據集，包含13000+張圖片和1680個不同的人。

CelebA：人臉數據集，包含大約 20w 張圖片，總共 10177個不同的人，以及每張圖片都有 5 個位置標注點，40 個屬性信息

2.2 準備開發環境

在找到數據集，并下載后，我們就需要開始準備開發環境，也就是需要采用的編程語言和相應的框架。

現在機器學習，一般都是采用 Python 語言，因為它簡單易學，對程序員非常友好，而且也有相應很多應用于機器學習和深度學習方面的框架，比如 scikit-learn，opencv，深度學習方面的TensorFlow, Pytorch, Keras等。

而為了方便可視化數據，查看代碼運行效果，通常會選擇采用 Jupyter 這個模塊。其他必要的 Python 模塊有：

• Numpy：一個運行速度非?？斓臄祵W庫，主要用于數組計算，支持大量的維度數據和矩陣運算
• Pandas：快速處理數據和分析數據
• Matplotlib: 繪圖，可視化數據

此外，python 比較不友好的問題就是 2.7 版本和 3.+ 版本的不兼容問題，所以我們需要有一個包管理工具，可以單獨配置不同的開發環境，這里推薦使用的是 Anaconda。

這些模塊的安裝，網上都有非常多詳細的教程，這里就不花時間介紹了。

2.3 創建測試集

在下載數據后，首先要做的是創建測試集，這是在分析數據前先排除測試集的數據，不會引入測試數據的規律，從而影響算法的選擇，保證采用測試集進行測試的結果是客觀可信的，而不會出現數據透視偏差的問題。

數據透視偏差：即由于選擇模型時候參考了測試集的規律，導致在測試集上準確率很好，但實際應用的時候，系統表現很糟糕的情況。

一般我們會按照 8:2 的比例劃分訓練集和測試集，可以采用如下代碼，隨機劃分出測試集：

import numpy as npdef split_train_test(data, test_ratio):shuffled_indices = np.random.permutation(len(data))test_set_size = int(len(data) * test_ratio)test_indices = shuffled_indices[:test_set_size]train_indices = shuffled_indices[test_set_size:]return data.iloc[train_indices], data.iloc[test_indices]train_set, test_set = split_train_test(housing, 0.2)

當然，這個方法存在一個缺陷：每次運行會得到不同的測試集！

解決的辦法有以下幾種：

第一次運行該函數后就保存測試集，隨后載入測試集；

調用函數np.random.permutation()前，設置隨機數生成器的種子，比如np.random.seed(42)，以產生相同的洗牌指數(shuffled indices).

上述兩個方法對于數據集不變的情況是有效的，但更新數據集后，都會失效。第三個解決方法就是根據每個實例的 ID來判斷其是否應該放入測試集，比如，對于圖片數據集，就可以根據圖片的名字（保證更新訓練集不會更新圖片名字）來確定其屬于訓練集還是測試集。

劃分數據集也可以采用Scikit-Learn庫的一些函數，最簡單也是最常用的就是 train_test_split函數，它和上述split_train_test函數作用相似，但增加了更多的功能：

• random_state參數可以實現設置隨機生成器種子的作用；
• 可以將種子傳遞給多個行數相同的數據集，可以在相同的索引上分割數據集。

簡單使用例子如下：

from sklearn.model_selection import train_test_splittrain_set, test_set = train_test_split(housing, test_size=0.2, random_state=42)

這里需要注意的是，我們采用的都是隨機采樣方法，對于大數據集，這方法通?？尚?。

但對于不大的數據集，這會出現采樣偏差的風險。簡單說，就是樣本代表性不夠，可能隨機選擇的都是同種類型的數據。

比如，當一個調查公司想要對 1000 個人進行調查，需要保證這 1000 個人對人群整體有代表性，例如，美國人口有 51.3% 是女性，48.7% 是男性。那么，在美國做這個調查，就需要保證樣本也是這個比例，即選擇 513 名女性，487 名男性。

這種采樣稱為分層采樣：將人群分層均勻的子分組，稱為分層，從每個分層去取合適數量的實例，以保證測試集對總人數有代表性。

所以上述調查公司的例子，就是先將人群按照性別劃分兩個子分組，然后分別再按照如年齡、職業等標準繼續劃分子分組。

分層采樣的操作可以使用Scikit-Learn的StratifiedShuffleSplit函數，指定數據中指定的類別，代碼例子如下：

from sklearn.model_selection import StratifiedShuffleSplitsplit = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42) for train_index, test_index in split.split(housing, housing["income_cat"]):strat_train_set = housing.loc[train_index]strat_test_set = housing.loc[test_index]

這里是給定一個房子信息數據housing，然后指定收入分類housing["income_cat"]，保證采樣的數據集中包含根據收入分類的比例。

---

小結

第二篇，先介紹了幾個尋找數據集的網站，和計算機視覺常用的圖像數據集，然后介紹如何劃分測試集，避免數據透視偏差和采樣偏差的問題。

---

參考：

• 《hands-on-ml-with-sklearn-and-tf》第二節
• https://towardsdatascience.com/top-sources-for-machine-learning-datasets-bb6d0dc3378b

---

歡迎關注我的微信公眾號–機器學習與計算機視覺，或者掃描下方的二維碼，大家一起交流，學習和進步！

往期精彩推薦

學習筆記

• 機器學習入門系列（1）–機器學習概覽
• [GAN學習系列] 初識GAN
• [GAN學習系列2] GAN的起源
• [GAN學習系列3]采用深度學習和 TensorFlow 實現圖片修復(上）

數學學習筆記

• 程序員的數學筆記1–進制轉換
• 程序員的數學筆記2–余數
• 程序員的數學筆記3–迭代法

Github項目 & 資源教程推薦

• [Github 項目推薦] 一個更好閱讀和查找論文的網站
• [資源分享] TensorFlow 官方中文版教程來了
• 必讀的AI和深度學習博客
• [教程]一份簡單易懂的 TensorFlow 教程
• [資源]推薦一些Python書籍和教程，入門和進階的都有！

總結

以上是生活随笔為你收集整理的机器学习数据集的获取和测试集的构建方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。