關(guān)于機器學(xué)習(xí)的一些基本概念的整理

1.前言

1.機器學(xué)習(xí)是一門致力于研究如何通過計算的手段，利用經(jīng)驗來改善系統(tǒng)自身的性能的學(xué)科。1997年Mitchell給出一個更形式化的定義，假設(shè)用P來評估計算機程序在某任務(wù)類T上的性能，若一個程序通過利用經(jīng)驗E在T中任務(wù)上獲得了性能改善，則我們就說關(guān)于T和P，該程序?qū)進行了學(xué)習(xí)。

機器學(xué)習(xí)所研究的主要內(nèi)容，是關(guān)于在計算機上從數(shù)據(jù)中產(chǎn)生“模型”的算法，即學(xué)習(xí)算法(learning algorithm)?！皵?shù)據(jù)”即是現(xiàn)實生活中的“經(jīng)驗”。

關(guān)于產(chǎn)生的模型(model)，可以泛指從數(shù)據(jù)中學(xué)得的結(jié)果。但也有不同說法。Hand在2001年發(fā)表的一篇文獻中就提到，模型是全局結(jié)果(例如一顆決策樹)，模式指的是局部性結(jié)果(例如一條規(guī)則)。

2. 基本術(shù)語

引例，假設(shè)搜集到一些關(guān)于西瓜的數(shù)據(jù)(色澤 = 青綠；根蒂 = 蜷縮；敲聲 = 濁響)，(色澤 = 烏黑；根蒂 = 稍蜷；敲聲 = 沉悶)，(色澤 = 淺白；根蒂 = 硬挺；敲聲 = 清脆)，......

上述引例中，每對括號內(nèi)是關(guān)于西瓜的(也可是任何一個事件或者對象的)一條記錄，則有：

數(shù)據(jù)集 (data set)： 一組記錄的集合

示例/樣本(instance/sample)：上述都每一條記錄，均可稱為示例/樣本

屬性/特征(attribute/feature)：反映事件或者對象在某方面的表現(xiàn)或者性質(zhì)的事項。例如上述色澤，根蒂，敲聲

屬性值(attribute value)： 屬性上的取值，例如青綠，烏黑，等等

特征向量(feature vector)： 屬性空間上每一個點相對原點構(gòu)成的坐標向量

樣本維數(shù)(sample dimensionality)： 每一個樣本(示例)所包含的不同屬性的數(shù)量

學(xué)習(xí)/訓(xùn)練(learning/training) ： 從數(shù)據(jù)中學(xué)得模型的過程

訓(xùn)練數(shù)據(jù)(training data)： 訓(xùn)練過程中使用的數(shù)據(jù)

訓(xùn)練樣本(training sample)： 訓(xùn)練數(shù)據(jù)中的樣本

訓(xùn)練集(training set)： 訓(xùn)練樣本的集合

假設(shè)(hypothesis)： 值得是學(xué)得模型。因為這個模型對應(yīng)了關(guān)于數(shù)據(jù)的某種潛在規(guī)律

真相/真實(ground-truth)： 潛在規(guī)律本身

標記(label)： 訓(xùn)練樣本的結(jié)果信息

樣例(example)： 擁有了標記信息的示例。一般的，用((x_i,y_i))來表示第i個樣例。其中(y_i)是示例(x_i)的標記

標記空間/輸出集合(label space)： 所有標記的集合

屬性空間/樣本空間/輸入空間(attribute/sample space)： 屬性張成的空間。例如，如果把色澤，根蒂，敲聲作為三個坐標軸，則他們張成一個用于描述西瓜的三維空間，每個西瓜都可以找到自己的位置。

分類(classification)： 在關(guān)于利用訓(xùn)練集學(xué)得的預(yù)測模型中，預(yù)測值是離散值。這樣的學(xué)習(xí)任務(wù)稱為分類

回歸(regression)： 與分類相似，只是預(yù)測值是連續(xù)值

({color{red} 補充一句：(預(yù)測的任務(wù)是希望通過對訓(xùn)練集{(x_1,y_1),(x_2,y_2),...}進行學(xué)習(xí)，建立一個從輸入空間到輸出空間的映射關(guān)系)})

二分類任務(wù)(binary classification)： 預(yù)測結(jié)果只有兩個類別。通常將其中的一個稱為正類(positive class)，另一個稱為反類(negative class)。而涉及多個，類別則稱為多分類(multi-class)任務(wù)

測試(testing)： 學(xué)得模型以后，使用其進行預(yù)測的過程

測試樣本(testing sample)： 被預(yù)測的樣本，例如，在學(xué)得(mathit{f}) 以后，對測試例(x_i) 可得到其預(yù)測標記(y=f(x_i))

聚類(clustering)： 將訓(xùn)練集中的示例分成若干組，每組稱為一個簇(cluster)。這些自動形成的簇可能對應(yīng)一些潛在的概念劃分，例如本例中的西瓜可以分成淺色瓜，深色瓜...在聚類學(xué)習(xí)中，這些淺色瓜，深色瓜的概念事先是不知道的，而且學(xué)習(xí)過程中使用的訓(xùn)練樣本通常也沒有標記信息

學(xué)習(xí)任務(wù)大致可以劃分成兩類：

(1)監(jiān)督學(xué)習(xí)(supervised learning):訓(xùn)練數(shù)據(jù)帶有標記，例如分類與分歸

(2)無監(jiān)督學(xué)習(xí)(unsupervised learning):訓(xùn)練數(shù)據(jù)不帶有標記，例如聚類

泛化能力： 學(xué)得模型適用于新樣本的能力

(目前機器學(xué)習(xí)仍然假設(shè)樣本空間的全體樣本滿足獨立同分布假設(shè)，因此經(jīng)典概率論得以適用)

3.假設(shè)空間

前言：歸納(induction)和假設(shè)(deduction)是科學(xué)推理的兩大基本手段。前者是從特殊到一般的泛化(generalization)，即從具體的事實歸結(jié)出一般性規(guī)律；后者則是從一般到特殊的特化(specialization)過程，即從基礎(chǔ)原理推演出具體狀況。 在機器學(xué)習(xí)中，“從樣例中學(xué)習(xí)”顯然是一個歸納過程。因此，又被稱為歸納學(xué)習(xí)(inductive learning)

廣義的歸納學(xué)習(xí)：相當于從樣例中學(xué)習(xí)

狹義的歸納學(xué)習(xí)：從訓(xùn)練數(shù)據(jù)中學(xué)得概念(concept)。因此也稱為“概念學(xué)習(xí)”或者“概念形成” .概念學(xué)習(xí)中最基本的是布爾概念學(xué)習(xí)，即是或者不是的結(jié)果表述

假設(shè)空間(hypothesis space)： 所有假設(shè)組成的空間

我們可以將學(xué)習(xí)的過程看作一個在所有假設(shè)組成的空間中進行搜索的過程，搜索目標是找到與訓(xùn)練集匹配的假設(shè)，即能夠?qū)⒂?xùn)練集中的樣本判斷正確的假設(shè)，假設(shè)的表示一旦確定，假設(shè)空間及其規(guī)模大小就確定了。

可以有許多策略對假設(shè)空間進行搜索，搜索過程中可以不斷刪除與正例不一致的假設(shè)，或者與反例一致的假設(shè)。最終將會獲得與訓(xùn)練集一致的假設(shè)，就這是學(xué)得的結(jié)果。

版本空間(version space)：現(xiàn)實生活中，我們常常面臨很大的假設(shè)空間，但是學(xué)習(xí)的過程是基于有限的樣本訓(xùn)練集進行的，因此，可能有多個假設(shè)與訓(xùn)練集一致，即存在一個與訓(xùn)練集一致的假設(shè)集合，這個假設(shè)集合就是版本空間

4.歸納偏好

歸納偏好(inductive bias)：機器學(xué)習(xí)算法在學(xué)習(xí)過程中對某種類型假設(shè)的偏好。偏好要起作用，是發(fā)生在形成版本空間的時候。而學(xué)習(xí)算法又必須產(chǎn)生一個模型。這樣，偏好會起作用

({color{red}任何一個有效的機器學(xué)習(xí)算法都必有其偏好，否則它將被假設(shè)空間中看似在訓(xùn)練集上等效的假設(shè)所迷惑，而無法產(chǎn)生正確的學(xué)習(xí)結(jié)果}) 對于歸納偏好的看法: 歸納偏好可以看作學(xué)習(xí)算法自身在一個可能很龐大的假設(shè)空間中對假設(shè)進行選擇的啟發(fā)式或價值觀。有一個一般性的原則來引導(dǎo)算法確立正確的偏好，即

奧卡姆剃刀(Occam's razor)：若有多個假設(shè)與觀察一致，則選擇最簡單的那個。({color{red}然而奧卡姆原則并非唯一可用原則})

事實上，歸納偏好對應(yīng)了學(xué)習(xí)算法本身所做出的關(guān)于"什么樣的模型更好的假設(shè)"。在具體的現(xiàn)實問題中，這個假設(shè)是否成立，即算法的歸納偏好是否與問題本身匹配，大多數(shù)時候直接決定了算法能否取得好的性能。

假設(shè)學(xué)習(xí)算法(zeta_a) 是基于某種歸納偏好產(chǎn)生的模型，學(xué)習(xí)算法(zeta_b)是基于另一種歸納偏好產(chǎn)生的模型。對于學(xué)習(xí)算法(zeta_a)若它在某些問題上比學(xué)習(xí)算法(zeta_b)好，則必然存在一個問題，(zeta_a)比(zeta_b)好在哪里？根據(jù)NFL定理，無論兩種算法怎樣產(chǎn)生，兩者出錯概論的期望是相同的(但是NFL定理前提是，所有問題出現(xiàn)的機會相同，或者所有問題同等重要，但是實際情形我們只需要關(guān)注我們目前試圖解決的問題即可，因此(zeta_a)與$ zeta_b$ 還是有區(qū)別的。NFL定理其實是想說明，脫離具體問題討論學(xué)習(xí)算法好壞是無意義的。學(xué)習(xí)算法自身的歸納偏好與問題是否匹配，往往起到?jīng)Q定性作用。)

總結(jié)

以上是生活随笔為你收集整理的计算机基础知识菜鸟教程,机器学习基础知识整理归纳的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。