文章來源于SAMshare，作者flora

今日錦囊

特征錦囊：怎么批量把特征中的離群點給“安排一下”？

這個專欄停了也有一段時間了，自從上次對之前的內容進行了一次梳理之后，似乎是給自己一個“借口”休息了一陣子，現在感覺還是得重新拿出來繼續更新了。

#?導入數據集 import?numpy?as?np import?pandas?as?pd import?seaborn?as?sns import?matplotlib.pyplot?as?plttrain?=?pd.read_csv('./data/Group-Image-of-Consumers/train_dataset.csv') test?=?pd.read_csv('./data/Group-Image-of-Consumers/test_dataset.csv') data?=?pd.concat([train,?test],?ignore_index=True) data.head()

我們簡單從里面挑選幾個數值型變量來看看分布情況吧，畫圖的技巧這里就不說了，可以參考之前畫箱體圖的那篇鏡囊文章。

#?挑選其中幾個變量 feature_list=['當月網購類應用使用次數','當月金融理財類應用使用總次數','當月視頻播放類應用使用次數']#?繪制箱體圖 sns.set_style("white") f,?ax?=?plt.subplots(figsize=(8,?7)) ax.set_xscale("log") ax?=?sns.boxplot(data=data[feature_list]?,?orient="h",?palette="Set1") ax.xaxis.grid(False) ax.set(ylabel="Feature?names") ax.set(xlabel="Numeric?values") ax.set(title="Numeric?Distribution?of?Features") sns.despine(trim=True,?left=True)

可以看到紅色框框圈起來的就是我們的離群點，那么我們可以怎么處理一下呢？這里給大家介紹一個方法，代碼如下：

def?process(all_data,feature_list):#處理離群點for?col?in?feature_list:ulimit=np.percentile(all_data[col].values,?99.9)?#計算一個多維數組的任意百分比分位數llimit=np.percentile(all_data[col].values,?0.1)all_data.loc[all_data[col]>ulimit,col]=ulimit??#?大于99.9%的直接賦值all_data.loc[all_data[col]<llimit,col]=llimitreturn?all_data

使用剛剛我們編寫的那個方法：

#?使用函數進行極端值的轉換 data_new?=?process(data,feature_list)#?繪制箱體圖 sns.set_style("white") f,?ax?=?plt.subplots(figsize=(8,?7)) ax.set_xscale("log") ax?=?sns.boxplot(data=data_new[feature_list]?,?orient="h",?palette="Set1") ax.xaxis.grid(False) ax.set(ylabel="Feature?names") ax.set(xlabel="Numeric?values") ax.set(title="Numeric?Distribution?of?Features") sns.despine(trim=True,?left=True)

see!我們的異常值就會被直接“安排”了，是不是很簡單呢？其實異常值的處理還是有很大方法的，今天就拋磚引玉一下，更多的方法等待大家去挖掘哦！

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）本站qq群1003271085，加入微信群請回復“加群”獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am喜歡文章，點個在看 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的特征锦囊：怎么批量把特征中的离群点给处理下？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。