sklearn自学指南(part45)--新颖性和离群值检测概述
生活随笔
收集整理的這篇文章主要介紹了
sklearn自学指南(part45)--新颖性和离群值检测概述
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
學習筆記,僅供參考,有錯必究
新穎性和離群值檢測
概述
許多應用程序要求能夠判斷一個新的觀測值是否與現有的觀測值屬于相同的分布(它是內值),還是應該被視為不同的分布(它是離群值)。通常,這種能力用于清潔實際的數據集。必須兩個重要區別必須被聲明:
-
outlier detection(離群檢測)
訓練數據包含離群值,離群值定義為與其他觀測值相距甚遠的觀測值。 因此,異常檢測估計器會嘗試擬合訓練數據最集中的區域,而忽略異常觀察。
-
novelty detection(新穎性檢測)
訓練數據不會被離群值污染,我們感興趣的是檢測一個新的觀測值是否是離群值。在這種情況下,離群值也被稱為novelty。
離群檢測和新穎性檢測均用于異常檢測,其中一種是檢測異常或不尋常的觀測值。 因此,異常檢測也稱為非監督異常檢測,而新穎性檢測也稱為半監督異常檢測。 在離群值檢測的情況下,離群值/異常不能形成密集的群集,因為可用的估計量假設離群值/異常位于低密度區域。 相反,在新穎性檢測的情況下,只要新穎性/異常位于訓練數據的低密度區域(在此上下文中被視為正常),就可以形成密集的簇。
scikit-learn項目提供了一套機器學習工具,可以用于新穎性或異常值檢測。這一策略是通過以無監督的方式從數據中學習對象來實現的:
estimator總結
以上是生活随笔為你收集整理的sklearn自学指南(part45)--新颖性和离群值检测概述的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TP-Link TL-WDR6800 无
- 下一篇: sklearn自学指南(part46)-