概念：研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有 的知識結構使之不斷改善自身的性能

輸入

• 基本概念
  –特征向量：特征的集合，描繪特定的研究對象；擁有多個維度，每個維度代表一個特征的取值
  –標簽：特征向量所屬的類別，一般與特征向量成對出現；一般使用整數值
  –數據集：特征向量和標簽組成的集合集合
  
• 數據集分類
  –訓練集：用于建立模型
  –驗證集（非必須）：用來中途檢測模型性能，從而進行調整
  –測試集：用來最終檢測模型性能

輸出：給定輸入的特征向量，進過特定算法計算，輸出對應的標簽

其他概念
–經驗風險最小化：最小化在訓練集上的誤差
–過擬合：訓練集效果超群，測試集效果直線下降
–欠擬合：訓練集效果不好，測試集效果也不好
–歸納偏置：事先對機器學習算法的一種假設，一種偏好，從概率論的角度來看，歸納偏值是加入的模型中的先驗信息。它可以減少搜索空間以及減緩過擬合
–獨立同分布條件（i.i.d條件）：訓練集和測試集是從同一個數據分布中抽取的，并且抽取的過程是獨立的（數據集的數量和質量都很重要）

概念：利用一組已知類別的樣本調整算法的參數，使其達到所要求性能的過程，也稱為監督訓練或有教師學習

特征工程
–特征很重要（比算法還重要）
–過多特征會增加算法的復雜性和運行時間；簡單模型更具魯棒性；有用的維度數量少的時候解釋性更強
–兩種方法

– 典型算法
A）特征選取：向前選擇（初始空集，不斷添加特征）；向后選擇（初始滿集，不斷刪除特征）
B）特征提取：主成分分析（PCA）；線性判別分析（LDA）

實例
–分類：是對離散型隨機變量建模或預測的監督學習算法（即最后輸出的是特征向量所屬的類別或者標簽，是離散值）
–回歸：對數值型連續隨機變量進行預測和建模的監督學習算法（即最后輸出的特征向量的標簽是連續值）

回歸算法（監督學習算法）
–概念：對數值型連續隨機變量進行預測和建模的監督學習算法（即最后輸出的特征向量的標簽是連續值），即找擬合函數

決策時（監督學習算法，一般用于分類任務）
–概念：是一種樹形結構，其中每個內部節點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節點代表一個類別

神經網絡算法（監督學習算法，一般用于分類任務）
–概念：一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的
–歷史變遷：感知器模型->全連接神經網絡->卷積神經網絡

SVM算法【支持向量機算法】（監督學習算法，一般用于分類任務）
–概念：目標在于在空間中尋找一個超平面，使得數據集可以被超平面分開，從而完成分類任務

K-Means算法（非監督學習算法，一般用于聚類任務）
–概念：算法接受參數k；然后將事先輸入的n個數據對象劃分為k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較小

KNN算法【K-NearestNeighbor】（監督學習算法）
–概念：如果一個樣本在特征空間中的k個最相鄰的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別，并具有這個類別上樣本的特性

集成學習
–概念：是使用一系類學習器進行學習，并使用某種規則把各個學習結果進行整合從而獲得比單個學習器更好的學習效果的一種機器學習方法