文章來源于SAMshare，作者flora

今日錦囊

特征錦囊：怎么批量把特征中的離群點給“安排一下”？

這個專欄停了也有一段時間了，自從上次對之前的內(nèi)容進行了一次梳理之后，似乎是給自己一個“借口”休息了一陣子，現(xiàn)在感覺還是得重新拿出來繼續(xù)更新了。

#?導(dǎo)入數(shù)據(jù)集 import?numpy?as?np import?pandas?as?pd import?seaborn?as?sns import?matplotlib.pyplot?as?plttrain?=?pd.read_csv('./data/Group-Image-of-Consumers/train_dataset.csv') test?=?pd.read_csv('./data/Group-Image-of-Consumers/test_dataset.csv') data?=?pd.concat([train,?test],?ignore_index=True) data.head()

我們簡單從里面挑選幾個數(shù)值型變量來看看分布情況吧，畫圖的技巧這里就不說了，可以參考之前畫箱體圖的那篇鏡囊文章。

#?挑選其中幾個變量 feature_list=['當月網(wǎng)購類應(yīng)用使用次數(shù)','當月金融理財類應(yīng)用使用總次數(shù)','當月視頻播放類應(yīng)用使用次數(shù)']#?繪制箱體圖 sns.set_style("white") f,?ax?=?plt.subplots(figsize=(8,?7)) ax.set_xscale("log") ax?=?sns.boxplot(data=data[feature_list]?,?orient="h",?palette="Set1") ax.xaxis.grid(False) ax.set(ylabel="Feature?names") ax.set(xlabel="Numeric?values") ax.set(title="Numeric?Distribution?of?Features") sns.despine(trim=True,?left=True)

可以看到紅色框框圈起來的就是我們的離群點，那么我們可以怎么處理一下呢？這里給大家介紹一個方法，代碼如下：

def?process(all_data,feature_list):#處理離群點for?col?in?feature_list:ulimit=np.percentile(all_data[col].values,?99.9)?#計算一個多維數(shù)組的任意百分比分位數(shù)llimit=np.percentile(all_data[col].values,?0.1)all_data.loc[all_data[col]>ulimit,col]=ulimit??#?大于99.9%的直接賦值all_data.loc[all_data[col]<llimit,col]=llimitreturn?all_data

使用剛剛我們編寫的那個方法：

#?使用函數(shù)進行極端值的轉(zhuǎn)換 data_new?=?process(data,feature_list)#?繪制箱體圖 sns.set_style("white") f,?ax?=?plt.subplots(figsize=(8,?7)) ax.set_xscale("log") ax?=?sns.boxplot(data=data_new[feature_list]?,?orient="h",?palette="Set1") ax.xaxis.grid(False) ax.set(ylabel="Feature?names") ax.set(xlabel="Numeric?values") ax.set(title="Numeric?Distribution?of?Features") sns.despine(trim=True,?left=True)

see!我們的異常值就會被直接“安排”了，是不是很簡單呢？其實異常值的處理還是有很大方法的，今天就拋磚引玉一下，更多的方法等待大家去挖掘哦！

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎(chǔ)下載（pdf更新到25集）本站qq群1003271085，加入微信群請回復(fù)“加群”獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/yFQV7am喜歡文章，點個在看 與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的特征锦囊：怎么批量把特征中的离群点给处理下？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。