據我所知，沒有一個API也沒有專門用于檢測異常值的包，因為數據本身因應用程序而異 . 然而，有幾種已知的方法都有助于識別異常值 . 讓我們首先看看術語異常值的含義，它只是指超出觀察范圍/范圍的極值 . 如何看待這些異常值的一個很好的例子是，當以直方圖方式或散點圖可視化數據時，它們可以強烈地影響靜態并且壓縮有意義的數據 . 或者它們可以被視為對數據統計匯總的強烈影響 . 例如在使用平均值或標準偏差之后 . 這肯定會產生誤導，當我們使用包含異常值的訓練數據時會有危險，訓練將花費更長的時間，因為模型會在超出范圍的值上掙扎，因此我們會得到一個不太準確的模型，結果很差或“從不收斂客觀測量”，即將測試和訓練的輸出/得分與訓練時間或某些準確度值范圍進行比較 .

雖然通常將異常值作為數據中的不良實體，但它們仍然可以簽署異常，并且它們的檢測本身將成為發現欺詐或提高安全性的方法 .

這里有一些k自己的異常值檢測方法(更多細節可以在這個好的article中找到)：

極值分析，

概率統計模型，

線性模型：減少數據維度，

基于鄰近的模型：主要使用聚類 .

對于代碼，我建議從mapr這個好tutorial . 希望這個答案有所幫助 . 祝好運 .

總結

以上是生活随笔為你收集整理的java中检测数据波动_在pyspark数据帧中检测异常值的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。