作者：黃天元，復旦大學博士在讀，熱愛數據科學與R，熱衷推廣R在工業界與學術界的應用。郵箱：huang.tian-yuan@qq.com.歡迎合作交流

library(knitr) opts_chunk$set(eval = F)

在做信用評分卡的時候，很重要的一個環節就是特征工程。在學習了WOE、IF這些概念之后，我認為對于機器學習的模型，無論是對分類變量還是數值變量，最好的特征工程方法都是分箱。至少對二分類的問題來說，是非常合適的。

本文先談談為什么要對數據進行分箱，然后給出分箱在R語言中的優秀解決方案。

為什么要分箱？

談為什么要分箱之前，我們需要認清楚的是，我們的表格中有兩種數據：離散變量和連續變量。因此我們需要分開談為什么要對它們進行分箱。

對于離散變量（也就是分類變量）而言，經常遇到的問題就是，類別太多了！一下子幾十個種類，那么如果做one-hot就會產生維度災難。但是機器學習從來都只是認識數字，就算是給了因子變量，也是變成dummy來做，因此沒有辦法。唯一的辦法就是，手動地進行分類。試想一下，雖然有這么多類別，我們能不能根據它們共有的特質，把它們歸并起來，分成幾個大類？又或者，其實很多類別只有很少的比例，能不能把這些小比例的類別合并為others？再不濟，我們把它們先用one-hot編碼，然后采用降維技術再篩掉一些類別？這些都是可以在一定程度上解決這個問題的。而分箱方法就是其中一種，它能夠把非常多的類別按照一定的規則歸并為少數的類別，從而突出了整體特征，避免了維度災難。

對于連續變量（也就是數值變量），我們需要認真思考一個問題：我們最后得到的是一個極大似然估計，也就是概率值。如果使用邏輯回歸（LR），這個連續變量一個單位的變化，真的就呈線性地增加了這個概率了嗎？我認為很多情況下，答案是否定的。當一個人的年齡超過一定的歲數，他再增長一歲給違約概率帶來的變化其實不是特別的大。而且在不同年齡范圍，每個人違約的概率收到年齡的影響也不盡相同，所以后面才會有一個叫做多元自適應回歸樣條的出現（其本質是分段線性回歸）。不過對于這么多變量而言，做樣條顯然不劃算，弄得模型非常復雜。比較好的選擇就是，在數據準備的階段對這些連續變量做分箱。這樣有非常多的好處，我列舉一下：

- 解決了缺失值問題：在分箱中，缺失值會單獨成為一個類別。如果缺失機制是非隨機缺失，那么這個特征是非常有用的。如果是隨機缺失，則必須把這些記錄刪除，或者按照缺失機制進行插值。

- 解決了離群值問題：在發現離群值的時候，我們會馬上判斷究竟是出錯了還是真實的。如果是出錯了，那么我們會剔除這些記錄，或者是糾正它們。如果是真實的，那么就這么剔除掉就有些可惜了（除非樣本量很大，剔除沒有什么影響）。離群值對于線性模型的影響非常大，肯定是要處理的，基本處理方法包括設為缺失值、平均值、眾數等，而分箱不失為一個非常優秀的選擇。舉例，如果只有一位高齡的用戶，分箱的時候也只會進入“>60歲”的組別，這樣模型就具有很強的穩定性。

- 解決了不等斜率的問題：模型在不同的區間斜率是不一樣的，這個假設我認為是真實存在的，前面也提到了。就是在不同的范圍內，單位自變量的變化帶來的因變量的變化是不同的。如果進行了分箱，我們就可以客觀地得到不同箱帶來的影響。

不過分箱的問題也是有的，因為分箱把所有變量最后都轉化為分類變量，不過計算機只認識數字，最后還是要變為數值型變量的。這時候我們要知道分箱之后得到的分類變量，究竟是否存在著有序的關系。如果存在，是否是單調的。

- 如果不存在有序關系，比如不同的省份之間是并列的關系，那么就必須使用One-hot編碼。

- 如果存在有序關系，但是不是單調的，則需要特殊考慮。比如還貸能力是中年人最強，青年、老年都比較弱，這就是單峰模型，不是單調遞增或遞減的關系。如果我們只按照年齡大小來用無監督分箱，肯定是不行的。

- 如果存在有序關系，而且是單調的，那么可以按照其關系直接賦予數值。不過無監督地賦值1/2/3/4...，這樣會有問題。這個還是我們上面提到的斜率不等的問題。

雖然問題這么多，但是自從WOE編碼出現之后，這個問題似乎迎刃而解。這里不展開討論WOE的知識（感興趣找巨人的肩膀【詳解】銀行信用評分卡中的WOE在干什么），但是結論就是：WOE得到的證據權值表征了一個自變量類別對二分類因變量結果帶來的變化方向及其程度。這簡直就是自帶降維的one-hot編碼，在把所有分類變量轉化為數值變量的同時，優秀地避免了上面提到的有序單調問題，還避免了維度災難。

目前個人的認識就是：至少是做二分類問題的時候，應該對所有解釋變量變量進行分箱（這同時也提高了數據的可解釋水平，無論是對于數值型還是分類變量）。分箱之后，統一使用WOE編碼將其數值化，然后再進行建模。

分箱的種類

分箱大體分為無監督分箱和有監督分箱兩類，主要是針對數值型變量。

1. 無監督分箱

- 等長分箱（Equal length intervals）：分箱依據是數值的范圍。比如0-100分，分為4個箱，那么切分點就是25/50/75。

- 等頻分箱（Equal frequency intervals）：分箱依據是分位數，也就是分箱之后各個箱包含樣本量基本是一樣多的。

- 聚類分箱：分箱依據是，箱內平均差距最小，箱之間的平均差距最大。算法有kmeans，以及基于隨機過程的“bagged clustering”。

2. 有監督分箱

- 卡方分箱（ChiMerge）：把數值排序后，計算相鄰兩個數值合并后的卡方值，合并所有卡方值最小的兩個值。重復上述過程，直到滿足結束條件。

- 決策樹分箱：以這個數值變量為自變量，結果變量為因變量，進行決策樹模型擬合，根據擬合結果進行分箱。

R語言實現

需要明確的，我們需要輸入什么，要得到什么輸出。輸入就是我們原始的數據表格，包含解釋變量和響應變量。輸出應該包含兩個部分：1.分箱的對應關系；2.分箱后的結果表格。

無監督分箱

無監督分箱采用dlookr包的binning函數最佳。type參數可以控制無監督分箱的類型，包含了5種分箱類型，其中等長分箱的參數為“equal”，等頻分箱的參數為“quantile”，K均值聚類的參數為“kmeans”，bagged clustering的參數為“bclust”。

直接上官方案例代碼：

library(pacman) p_load(dlookr)# Generate data for the example carseats <- ISLR::Carseats carseats[sample(seq(NROW(carseats)), 20), "Income"] <- NA carseats[sample(seq(NROW(carseats)), 5), "Urban"] <- NA # Binning the carat variable. default type argument is "quantile" bin <- binning(carseats$Income) # Print bins class object bin # Summarise bins class object summary(bin) # Plot bins class object plot(bin) # Using labels argument bin <- binning(carseats$Income, nbins = 4,labels = c("LQ1", "UQ1", "LQ3", "UQ3")) bin # Using another type argument bin <- binning(carseats$Income, nbins = 5, type = "equal") bin bin <- binning(carseats$Income, nbins = 5, type = "pretty") bin bin <- binning(carseats$Income, nbins = 5, type = "kmeans") bin bin <- binning(carseats$Income, nbins = 5, type = "bclust") bin# ------------------------- # Using pipes & dplyr # ------------------------- library(dplyr)carseats %>%mutate(Income_bin = binning(carseats$Income)) %>%group_by(ShelveLoc, Income_bin) %>%summarise(freq = n()) %>%arrange(desc(freq)) %>%head(10)

代碼中，bin就是一個包含三個屬性值的因子向量，直接就是分箱的最終結果。而對應關系也就在結果之中，其因子名稱即是區間的范圍。

有監督分箱

如果只考慮決策樹分箱，而且不打算進行WOE編碼，那么可以使用dlookr包的binning_by函數，官方使用幫助如下：

# Generate data for the example carseats <- ISLR::Carseats carseats[sample(seq(NROW(carseats)), 20), "Income"] <- NA carseats[sample(seq(NROW(carseats)), 5), "Urban"] <- NA# optimal binning bin <- binning_by(carseats, "US", "Advertising") bin # summary optimal_bins class summary(bin) # visualize optimal_bins class plot(bin, sub = "bins of Advertising variable")

不過既然是評分卡系列，一般分箱之后都是馬上要做WOE編碼的。如果要做評分卡，我們馬上使用優秀的scorecard包，其中woebin是核心函數，能夠獲得經過分析后得到的分箱關系（分為哪幾個箱，每個箱的特征）。利用這個分箱關系，直接對原來的數據進行分箱，則需要使用woebin_ply函數。這個函數不僅支持決策樹分箱（method = "tree"），還支持卡方分箱（method = "chimerge"）。不過默認的方法是決策樹方法。

此外，woebin_plot函數還可以支持作圖，得到基于ggplot2的一個圖形，展示了不同分箱中樣本的數量及其好壞的比例。這種功能不說是全自動化，也是半自動化做出評分卡了。幫助文檔已經非常優秀，我不再自己給出案例，直接搬運scorecard包的幫助文檔。 請自行下載scorecard包。

library(pacman) p_load(scorecard)

woebin函數：

# load germancredit data data(germancredit)# Example I # binning of two variables in germancredit dataset # using tree method bins2_tree = woebin(germancredit, y="creditability",x=c("credit.amount","housing"), method="tree") bins2_tree## Not run: # using chimerge method bins2_chi = woebin(germancredit, y="creditability",x=c("credit.amount","housing"), method="chimerge")# Example II # binning of the germancredit dataset bins_germ = woebin(germancredit, y = "creditability") # converting bins_germ into a dataframe # bins_germ_df = data.table::rbindlist(bins_germ)# Example III # customizing the breakpoints of binning library(data.table) dat = rbind(germancredit,data.table(creditability=sample(c("good","bad"),10,replace=TRUE)),fill=TRUE)breaks_list = list(age.in.years = c(26, 35, 37, "Inf%,%missing"),housing = c("own", "for free%,%rent") )special_values = list(credit.amount = c(2600, 9960, "6850%,%missing"),purpose = c("education", "others%,%missing") )bins_cus_brk = woebin(dat, y="creditability",x=c("age.in.years","credit.amount","housing","purpose"),breaks_list=breaks_list, special_values=special_values)## End(Not run)

woebin_ply函數：

# load germancredit data data(germancredit)# Example I dt = germancredit[, c("creditability", "credit.amount", "purpose")]# binning for dt bins = woebin(dt, y = "creditability")# converting original value to woe dt_woe = woebin_ply(dt, bins=bins) str(dt_woe)## Not run: # Example II # binning for germancredit dataset bins_germancredit = woebin(germancredit, y="creditability")# converting the values in germancredit to woe # bins is a list which generated from woebin() germancredit_woe = woebin_ply(germancredit, bins_germancredit)# bins is a dataframe bins_df = data.table::rbindlist(bins_germancredit) germancredit_woe = woebin_ply(germancredit, bins_df)## End(Not run)

woebin_plot函數：

# Load German credit data data(germancredit)# Example I bins1 = woebin(germancredit, y="creditability", x="credit.amount")p1 = woebin_plot(bins1) print(p1)## Not run: # Example II bins = woebin(germancredit, y="creditability") plotlist = woebin_plot(bins) print(plotlist$credit.amount)# # save binning plot # for (i in 1:length(plotlist)) { # ggplot2::ggsave( # paste0(names(plotlist[i]), ".png"), plotlist[[i]], # width = 15, height = 9, units="cm" ) # }## End(Not run)

一鍵就能夠對所有變量進行分箱，并進行WOE編碼。強大！不過，此包并非沒有競爭者，woeBinning包也能夠實現類似的功能，還有smbinning也是專門針對分箱任務的包。不過scorecard加載了data.table包，又有foreach和doParallel這些并行支持，性能絕對是最強大的。如果要處理海量數據，scorecard能夠調動更多的計算資源，更加快速。

這個包幫助文檔很簡潔，但是非常優秀，值得深入學習，也期待它開發更多豐富的功能。

總結

以上是生活随笔為你收集整理的r k-means 分类结果_R语言信用评分卡：数据分箱（binning）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。