数据挖掘和机器学习
數據挖掘一般是指從海量數據中提取出其中無法直接獲取的信息。通過各種數據源,將信息整合,發掘其內在關系。數據挖掘一般來說有6類,分別是回歸、分類、預測、關聯分析、預測分析和異常檢測。
回歸:確定兩種及以上變量之間相互依賴關系的一種方法。簡單來說就是找到自變量和因變量之間的函數關系。根據變量的不同,可分為一元回歸和多元回歸;根據自變量和因變量之間的關系類型,可分為線性回歸和非線性回歸。
分類:根據事物表現的特征,對事物進行分類,常見有決策樹、神經網絡、貝葉斯。
預測:以現有的數據為基礎,推出其內在規律,對未發生的情況進行預測,發現其內在規律,為人們進行決策提供了科學依據。
關聯分析:用來發現描述數據中強關聯特征的模式,簡單來說就是挖掘出數據之間的關聯強度。在超市購買商品,假設存在20種常被購買的商品,可以通過關聯分析,計算出商品之間的關聯關系,滿足一定條件的即為頻繁項集。也就是說購買的頻率會足夠大。
聚類分析:討論大量無標簽的樣本,按照一定特征下對樣本進行分類。主要是追求求其高相似度。常見有K-means聚類。
異常檢測:通常統計數據中會出現離群點,比如一家公司所有人的工資,有一個重數為員工工資,但是會有董事長、經歷的工資會較為異常,所以這類數據也十分有意義。
機器學習是計算機科學的一個領域,使用統計技術給計算機系統提供“學習的能力”,從一堆數據種找出其中規律(學習),然后運用到新數據中(預測),這樣的規律叫模型。主要可以分為監督學習和無監督學習。監督學習是指人為定義標準并執行,主要有回歸、分類兩類。無監督學習是指計算機自己尋找其中規律,主要有聚類分析。
?機器學習框架,建立機器學習框架時,會用到很多python程序模塊,常見的有Numpy、scikit-learn、matplotlib等。
機器學習框架一般存下以下幾個步驟:
? ? ? ? 1.數據加載
? ? ? ? 2.模型選取
? ? ? ? 3.模型訓練
? ? ? ? 4.模型預測
? ? ? ? 5.模型評測
? ? ? ? 6.模型保存
一般來說會將數據集分為訓練集和測試集,一般為3:1,通過訓練集得出最優模型,再再測試集進行模型預測。
總結
- 上一篇: 【zbrush】毛发系统 -打散、分区、
- 下一篇: iOS 录音及播放 音波图波形