隨著技術的快速發(fā)展，在數據科學領域中，包括庫、工具和算法等總會不斷地變化的。然而，一直都有這么一個趨勢，那就是自動化水平不斷地提高。

近些年來，在模型的自動化選擇和超參數調整方面取得了一些進展，但是機器學習中最重要的領域 — 特征工程，卻被嚴重地忽視了。這個重要領域中最成熟的工具就是Featuretools，一個開源的Python庫。在本文中，我們將使用這個庫來了解一下特征工程自動化將如何改變你更好地進行機器學習的方式。

特征工程自動化是一種相對較新的技術，但是，它解決了許多實際數據集的使用問題。在這里，我們將用GitHub上的Jupyter Notebooks提供的代碼來看看其中兩個項目的結果和最終結論。

每個項目都強調了特征工程自動化的一些好處：

·貸款償還能力預測：與人工特征工程相比，自動化的特征工程可以將機器學習開發(fā)的時間縮短10倍，同時提供更好的建模性能表現；（筆記）

·消費支出預測：自動化的特征工程通過內部的處理時間序列過濾器來創(chuàng)建有實際意義的特征，同時防止數據泄漏，從而實現成功的模型部署；（筆記）

特征工程：人工與自動

特征工程是獲取數據集并構造可解釋的變量—特征的過程，用于訓練預測問題的機器學習模型。通常，數據分布在多個表中，并且必須匯集到一個表之中，其中的行包含觀察結果和列中的特征。

傳統(tǒng)的特征工程方法是使用相關領域知識創(chuàng)建一個特征，這是一個冗長、耗時且容易出錯的過程，稱為人工特征工程。人工特征工程是依賴于具體問題的，必須為每個新數據集重新編寫代碼。

特征工程自動化通過自動從一組相關的數據表中提取有用且有意義的特征，并使用一個可應用于任何問題的框架，來改進這個標準工作流。它不僅減少了在特征工程上花費的時間，而且還創(chuàng)建了可解釋的特征，并通過過濾具有時間依賴性的數據來防止數據泄漏。

貸款償還：建立更快更好的模型

當數據科學家在處理家庭信貸貸款問題的時候，所面臨的主要難題是數據的大小和分布。看看完整的數據集，你會發(fā)現面對的是分布在7個表中的5800萬行數據。

我曾經使用傳統(tǒng)的人工特征工程花了10個小時創(chuàng)建了一組特征。首先，我查閱了其他數據科學家的成果，還查看了相關的數據，并研究了問題域，以獲得必要的相關領域知識。然后我將這些知識翻譯成代碼，一次創(chuàng)建一個特征。作為單一的人工特征的一個例子，我找到了客戶以前貸款的逾期還款總數，這一操作需要用到3個不同的表。

最終人工設計的特征表現的相當好，比基線特征提高了65%，表明了正確特征設計的重要性。

然而，效率卻非常低下。對于人工特征工程，我最終花了超過15分鐘來完成每個特征，因為我使用傳統(tǒng)的方法一次生成一個特性。

除了單調乏味和耗時之外，人工特征工程還有以下問題：

·用于特定問題:我花費了很長時間編寫的代碼并不能應用于任何其它的問題；

·易錯:每一行代碼都會有可能導致其它的錯誤；

另外，最終的人工設計的特征受到了人類創(chuàng)造力和耐心方面的限制：我們只能考慮創(chuàng)建這么多的特征，并且只能花費這么多的時間。

特征工程自動化的承諾是通過獲取一組相關的表，并使用可以應用于所有問題的代碼，來自動創(chuàng)建數以百計有用的特征，進而跨越這些限制。

從人工到自動化特征工程

特征工程自動化甚至允許像我這樣的新手，在一組相關的數據表中可以創(chuàng)建數以千計的相關特征。我們只需要知道表的基本結構以及它們之間的關系，我們在一個稱為實體集的單一數據結構中來跟蹤它們。一旦我們有了一個實體集，使用一個稱為深度特征合成（Deep Feature Synthesis，DFS）的方法，我們就能夠在一個函數調用中創(chuàng)建數以千計的特征了。

DFS使用稱為“primitives”的函數來進行聚合和轉換數據。這些primitives可以簡單到僅獲取一個平均值或列的最大值，也可以復雜到基于主題的專業(yè)知識，因為FeatureTools允許我們定義自己的primitives。

特征primitives包括許多人工操作，但是通過使用FeatureTools，我們可以在任何關系數據庫中使用相同準確的語法，而不是再重新編寫代碼并在不同的數據集中使用相同的操作。此外，當我們將primitives相互堆疊在一起來創(chuàng)建深層次的特征時，DFS的威力就來了。

深度特征合成是靈活的，它被允許應用于任何數據科學領域的問題。它同時也是很強大的，通過創(chuàng)建深度特征來揭示我們對數據的推斷。

我會為你省去環(huán)境設置所需的幾行代碼，但DFS只在一行中運行。在這里，我們使用數據集中的所有7個表為每個客戶生成數千個特征：

# Deep feature synthesis feature_matrix, features = ft.dfs(entityset=es, target_entity='clients',agg_primitives = agg_primitives,trans_primitives = trans_primitives)

下面是我們自動從FeatureTools獲得的1820個特征中的一部分：

·客戶以前貸款的最高總額。這是在3個表中使用1個MAX?和1個SUM?的primitive得來的；

·客戶以前的信用卡平均債務的百分比排名，這在兩個表中使用了百分比（PERCENTILE）和平均值（MEAN）的primitive；

·在申請過程中，客戶是否提交了兩份文件，這將使用1個AND?轉換primitive和1個表；

這些特征中的任何一個都是用簡單的聚合創(chuàng)建的。FeatureTools創(chuàng)建了許多與我手工創(chuàng)建的相同的特征，但也有數千個是我從未考慮過的。并不是每一個特征都與問題相關，有些特征是高度相關的，然而，擁有太多的特征是一個比擁有太少的特征更好解決的問題。

在進行了一些功能選擇和模型優(yōu)化之后，與人工特征相比，預測模型中的這些特征要稍好一些，總體開發(fā)時間為1小時，與人工的過程相比減少了10倍。FeatureTools速度更快，這是因為它需要的領域知識更少，而且要編寫的代碼行也少的相當多。

我承認學習Featuretools需要一點時間成本，但這是一項有回報的投資。在花了一個小時左右的時間學習Featuretools之后，你就可以將其應用于任何機器學習問題了。

以下的圖表總結了我在貸款償還問題上的經驗：

·開發(fā)時間：10小時人工與1小時自動；

·該方法創(chuàng)建的特征數量：?30個人工特征與1820個自動特征；

·相對于基線提高了的百分比是：65% 人工 vs 66% 自動

我的結論是，特征工程自動化不會取代數據科學家，而是通過顯著地提高效率，使他們在機器學習的其它方面可以花費更多的時間。

另外，我為第一個項目編寫的Featuretools代碼可以應用于任何數據集，而人工工程的代碼則沒法再利用。

消費支出：創(chuàng)建有意義的特征并防止數據泄漏

第二個數據集，在線時間戳的客戶交易記錄，預測問題是將客戶分為兩個部分，消費超過500美元的客戶和消費不會超過500美元的客戶。但是，不是對所有標簽使用一個月，而是每個客戶多次使用一個標簽。我們可以把他們5月份的消費支出作為一個標簽，然后6月份的，等等。

在部署中，我們永遠不會有未來的數據，因此無法將其用于訓練模型。企業(yè)通常會遇到這個問題，并且經常部署一個在實際應用中比在開發(fā)中更糟糕的模型，因為這是使用無效的數據來進行訓練的。

幸運的是，要確保我們的數據在時間序列問題中是有效的，這在FeatureTools中很簡單。在深度特征合成函數中，我們傳遞一個如上圖所示的dataframe，其中截止時間表示我們不能使用任何標簽數據中過去的時間點，FeatureTools在創(chuàng)建特征時會自動考慮時間。

客戶在指定月份的特征是使用過濾到該月份之前的數據來創(chuàng)建的。請注意，用于創(chuàng)建特征集的調用與添加截止時間的貸款償還問題的調用相同。

# Deep feature synthesis feature_matrix, features = ft.dfs(entityset=es, target_entity='customers',agg_primitives = agg_primitives,trans_primitives = trans_primitives,cutoff_time = cutoff_times)

執(zhí)行深度特征合成的結果是一個特征表，每個客戶一個月一個。我們可以使用這些特征來訓練一個帶有標簽的模型，然后可以對任何月份進行預測。此外，我們可以放心，模型中的特征不會使用導致不公平優(yōu)勢的未來信息，并產生誤導訓練的分數。

有了自動化特征，我能夠創(chuàng)建一個機器學習模型，在預測一個月內客戶消費支出類別的時候，與已知為0.69的基線相比，ROC AUC達到0.90。

除了提供令人印象深刻的預測能力之外，FeatureTools的實現還為我提供了一些同樣有價值的東西：可解釋的特征。看一下隨機森林模型中的15個最重要的特征：

特征的重要性告訴我們，預測客戶將在下個月花多少錢的最重要素是他們之前花了多少錢SUM，以及購物的數量SUM。這些是可以手工創(chuàng)建的特征，但是我們不得不擔心數據泄漏的問題，并創(chuàng)建在開發(fā)中比部署中效果要好的模型。

如果可以創(chuàng)建有意義的特征工具已經存在了，而無需擔心任何特征的有效性，那么為什么要人工實現呢？另外，自動化特征在問題的上下文中是完全明確的，并且可以為我們的實際推理提供信息。

自動化特征工程識別出最重要的信號，實現了數據科學的主要目標：揭示隱藏在海量數據中的規(guī)律。

即使在人工特征工程上花費的時間比我用FeatureTools花的時間多得多，那么我也無法開發(fā)出一組性能表現接近的特征。下圖顯示了使用在兩個數據集上訓練的模型對未來一個月的客戶銷售情況進行分類的ROC曲線。左上方的曲線表示更準確的預測：

比較自動的和人工的特征工程結果的ROC曲線，左側和頂部的曲線表示其性能表現更好。

我甚至不能完全確定人工特征是否使用了有效的數據，但是通過FeatureTools我不必擔心時間依賴性問題中的數據泄漏。

我們在日常生活中使用自動安全系統(tǒng)，Featuretools中的特征工程自動化是在時間序列問題中創(chuàng)建有意義的機器學習特征的安全方法，同時提供了卓越的預測性能表現。

結論

我經過了這些項目之后，確信特征工程自動化應該是機器學習工作流程中不可或缺的一部分。這項技術并不完美，但依舊能顯著地提高效率。

主要的結論就是特征工程自動化：

·將執(zhí)行時間縮短了10倍；

·在同一級別或更高級別上實現的建模性能；

·交付的具有實際意義的可解釋性特征；

·防止使用不正確的數據而導致的模型無效；

·適應現有的工作流程和機器學習模型；

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的特征工程自动化如何为机器学习带来重大变化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。