在數據集中如果某一個觀察值不尋常地大于或者小于該數據集中的其他數據，我們則稱之為疑似異常值。疑似異常值的存在，會對隨后的計算結果產生不適當的影響，檢測疑似異常值并加以適當的處理是十分必要的。

一種經典的計算數據集中疑似異常值的方法是Tukey method。該方法先計算出數據集的四分之一分位數（Q1）和四分之三分位數（Q3），從而計算出四分位數間距（IQR），然后將小于Q1 - 1.5IQR或者大于Q3 + 1.5IQR的數據點當做是疑似異常值。我們可以借助這種方法在DataFrame中檢測異常值。代碼如下：

import numpy as np import pandas as pd from collections import Counter import matplotlib as plt# Outlier detection def detect_outliers(df, n, features):"""Takes a dataframe df of features and returns a list of the indicescorresponding to the observations containing more than n outliers accordingto the Tukey method."""outlier_indices = []# iterate over features(columns)for col in features:# 1st quartile (25%)Q1 = np.percentile(df[col], 25)# 3rd quartile (75%)Q3 = np.percentile(df[col], 75)# quartile spacing (IQR)IQR = Q3 - Q1# outlier stepoutlier_step = 1.5 * IQR# Determine a list of indices of outliers for feature coloutlier_list_col = df[(df[col] < Q1 - outlier_step) | (df[col] > Q3 + outlier_step)].index# append the found outlier indices for col to the list of outlier indicesoutlier_indices.extend(outlier_list_col)# select observations containing more than n outliersoutlier_indices = Counter(outlier_indices)multiple_outliers = list(k for k, v in outlier_indices.items() if v > n)return multiple_outliersiris = pd.read_csv('./iris.csv', usecols=[0, 1, 2, 3])print(detect_outliers(iris, 1, iris.columns))

利用iris.csv數據集，手動添加異常點：

40,44,45,46,setosa 77,55,33,44,setosa 99,88,82,123,setosa

運行上面的程序，可以將異常值找出來。

總結

以上是生活随笔為你收集整理的利用图基Tukey method检测数据集中的异常值的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。