解決的問題：

1、實現了二分類的卡方分箱；

2、實現了最大分組限定停止條件，和最小閾值限定停止條件；

問題，還不太清楚，后續補充。

1、自由度k,如何來確定，卡方閾值的自由度為 分箱數-1，顯著性水平可以取10%，5%或1%

算法擴展：

1、卡方分箱除了用閾值來做約束條件，還可以進一步的加入分箱數約束，以及最小箱占比，壞人率約束等。

2、需要實現更多分類的卡方分箱算法；

具體代碼如下：

# -*- coding: utf-8 -*-

"""

Created on Wed Nov 28 16:54:58 2018

@author: wolfly_fu

解決的問題：

1、實現了二分類的卡方分箱

2、實現了最大分組限定停止條件，和最小閾值限定停止條件；

問題，

1、自由度k,如何來確定？

算法擴展：

1、卡方分箱除了用閾值來做約束條件，還可以進一步的加入分箱數約束，以及最小箱占比，壞人率約束等。

2、需要實現更多分類的卡方分箱算法

"""

import pandas as pd

import numpy as np

from scipy.stats import chi2

#導入數據

df = pd.read_csv(u'test.csv')

#計算卡方統計量

def cal_chi2(input_df, var_name, Y_name): ##二分類，，計算每個變量值的卡方統計量

'''

df = input_df[[var_name, Y_name]]

var_values = sorted(list(set(df[var_name])))

Y_values = sorted(list(set(df[Y_name])))

#用循環的方式填充

chi2_result = pd.DataFrame(index=var_values, columns=Y_values)

for var_value in var_values:

for Y_value in Y_values:

chi2_result.loc[var_value][Y_value] = \

df[(df[var_name]==var_value)&(df[Y_name]==Y_value)][var_name].count()

'''

input_df = input_df[[var_name, Y_name]] #取數據

all_cnt = input_df[Y_name].count() #樣本總數

all_0_cnt = input_df[input_df[Y_name] == 0].shape[0] # 二分類的樣本數量

all_1_cnt = input_df[input_df[Y_name] == 1].shape[0]

expect_0_ratio = all_0_cnt * 1.0 / all_cnt #樣本分類比例

expect_1_ratio = all_1_cnt * 1.0 / all_cnt

#對變量的每個值計算實際個數，期望個數，卡方統計量

var_values = sorted(list(set(input_df[var_name])))

actual_0_cnt = [] # actual_0 該值，類別為0的數量

actual_1_cnt = [] # actual_1 該值，類別為1的數量

actual_all_cnt = []

expect_0_cnt = [] # expect_0 類別0 的卡方值

expect_1_cnt = [] # expect_1 類別1 的卡方值

chi2_value = [] # chi2_value 該組的卡方值

for value in var_values:

actual_0 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==0)].shape[0] #該值，類別為0的數量

actual_1 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==1)].shape[0]

actual_all = actual_0 + actual_1 #總數

expect_0 = actual_all * expect_0_ratio #類別0 的 期望頻率

expect_1 = actual_all * expect_1_ratio

chi2_0 = (expect_0 - actual_0)**2 / expect_0 #類別0 的卡方值

chi2_1 = (expect_1 - actual_1)**2 / expect_1

actual_0_cnt.append(actual_0) #樣本為0的，該值的數量

actual_1_cnt.append(actual_1)

actual_all_cnt.append(actual_all) #改組的總樣本數

expect_0_cnt.append(expect_0) #類別0 的 期望頻率

expect_1_cnt.append(expect_1)

chi2_value.append(chi2_0 + chi2_1) #改變量值的卡方值

chi2_result = pd.DataFrame({'actual_0':actual_0_cnt, 'actual_1':actual_1_cnt, 'expect_0':expect_0_cnt, \

'expect_1':expect_1_cnt, 'chi2_value':chi2_value, var_name+'_start':var_values, \

var_name+'_end':var_values}, \

columns=[var_name+'_start', var_name+'_end', 'actual_0', 'actual_1', 'expect_0', 'expect_1', 'chi2_value'])

return chi2_result, var_name

#定義合并區間的方法

def merge_area(chi2_result, var_name, idx, merge_idx):

#按照idx和merge_idx執行合并

chi2_result.ix[idx, 'actual_0'] = chi2_result.ix[idx, 'actual_0'] + chi2_result.ix[merge_idx, 'actual_0']

chi2_result.ix[idx, 'actual_1'] = chi2_result.ix[idx, 'actual_1'] + chi2_result.ix[merge_idx, 'actual_1']

chi2_result.ix[idx, 'expect_0'] = chi2_result.ix[idx, 'expect_0'] + chi2_result.ix[merge_idx, 'expect_0']

chi2_result.ix[idx, 'expect_1'] = chi2_result.ix[idx, 'expect_1'] + chi2_result.ix[merge_idx, 'expect_1']

chi2_0 = (chi2_result.ix[idx, 'expect_0'] - chi2_result.ix[idx, 'actual_0'])**2 / chi2_result.ix[idx, 'expect_0']

chi2_1 = (chi2_result.ix[idx, 'expect_1'] - chi2_result.ix[idx, 'actual_1'])**2 / chi2_result.ix[idx, 'expect_1']

chi2_result.ix[idx, 'chi2_value'] = chi2_0 + chi2_1 #計算卡方值

#調整每個區間的起始值

if idx < merge_idx:

chi2_result.ix[idx, var_name+'_end'] = chi2_result.ix[merge_idx, var_name+'_end'] #向后擴大范圍

else:

chi2_result.ix[idx, var_name+'_start'] = chi2_result.ix[merge_idx, var_name+'_start'] ##，向前擴大范圍

chi2_result = chi2_result.drop([merge_idx]) #刪掉行

chi2_result = chi2_result.reset_index(drop=True)

return chi2_result

#自動進行分箱，使用最大區間限制

def chiMerge_maxInterval(chi2_result, var_name, max_interval=5): #最大分箱數 為 5

groups = chi2_result.shape[0] #各組的卡方值，數量

while groups > max_interval:

min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #尋找最小的卡方值

if min_idx == 0:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1) #合并1和2組

elif min_idx == groups-1:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)

else: #尋找左右兩邊更小的卡方組

if chi2_result.loc[min_idx-1, 'chi2_value'] > chi2_result.loc[min_idx+1, 'chi2_value']:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1)

else:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)

groups = chi2_result.shape[0]

return chi2_result

def chiMerge_minChiSquare(chi2_result, var_name): #(chi_result, maxInterval=5):

'''

卡方分箱合并--卡方閾值法，，同時限制，最大組為6組，，可以去掉

'''

threshold = get_chiSquare_distribution(4, 0.1)

min_chiSquare = chi2_result['chi2_value'].min()

#min_chiSquare = chi_result['chi_square'].min()

group_cnt = len(chi2_result)

# 如果變量區間的最小卡方值小于閾值，則繼續合并直到最小值大于等于閾值

while(min_chiSquare < threshold and group_cnt > 6):

min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #尋找最小的卡方值

#min_index = chi_result[chi_result['chi_square']==chi_result['chi_square'].min()].index.tolist()[0]

# 如果分箱區間在最前,則向下合并

if min_idx == 0:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1) #合并1和2組

elif min_idx == group_cnt -1:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)

else: #尋找左右兩邊更小的卡方組

if chi2_result.loc[min_idx-1, 'chi2_value'] > chi2_result.loc[min_idx+1, 'chi2_value']:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1)

else:

chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)

min_chiSquare = chi2_result['chi2_value'].min()

group_cnt = len(chi2_result)

return chi2_result

#分箱主體部分包括兩種分箱方法的主體函數，其中merge_chiSquare()是對區間進行合并，

#get_chiSquare_distribution()是根據自由度和置信度得到卡方閾值。我在這里設置的是自由度為4

#，置信度為10%。兩個自定義函數如下

def get_chiSquare_distribution(dfree=4, cf=0.1):

'''

根據自由度和置信度得到卡方分布和閾值

dfree:自由度k= (行數-1)*(列數-1)，默認為4 #問題，自由度k,如何來確定？

cf:顯著性水平，默認10%

'''

percents = [ 0.95, 0.90, 0.5,0.1, 0.05, 0.025, 0.01, 0.005]

df = pd.DataFrame(np.array([chi2.isf(percents, df=i) for i in range(1, 30)]))

df.columns = percents

df.index = df.index+1

# 顯示小數點后面數字

pd.set_option('precision', 3)

return df.loc[dfree, cf]

以上這篇python實現二分類的卡方分箱示例就是小編分享給大家的全部內容了，希望能給大家一個參考

您可能感興趣的文章:

總結

以上是生活随笔為你收集整理的python 卡方分箱算法_python实现二分类的卡方分箱示例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。