机器学习基础--一些基本的概念
前言
開(kāi)始重新鞏固一下機(jī)器學(xué)習(xí)的內(nèi)容，先從基本的一些概念和定義開(kāi)始。
本文介紹的內(nèi)容如下所示：
1. 機(jī)器學(xué)習(xí)的基本定義
機(jī)器學(xué)習(xí)算法是一種能夠從數(shù)據(jù)中學(xué)習(xí)的算法。那么這里的學(xué)習(xí)的定義是什么呢？這里有一個(gè)簡(jiǎn)單的定義：
對(duì)于某類任務(wù) T 和性能度量 P，一個(gè)計(jì)算機(jī)程序通過(guò)經(jīng)驗(yàn) E 改進(jìn)后，在任務(wù) T 上由性能度量 P 衡量的性能有所提升，這稱為學(xué)習(xí)。
舉例來(lái)說(shuō)這個(gè)定義，比如對(duì)于圖像分類這個(gè)任務(wù)，一般的性能度量 P 就是分類的準(zhǔn)確率，而經(jīng)驗(yàn) E 其實(shí)就是圖片數(shù)據(jù)集，當(dāng)我們采用的算法，比如 CNN，在給定的訓(xùn)練集上訓(xùn)練后，然后在測(cè)試集上的準(zhǔn)確率有所提升，這就是學(xué)習(xí)了。
這里的任務(wù) T、經(jīng)驗(yàn) E 和性能 P 其實(shí)指代的內(nèi)容非常的多，這里簡(jiǎn)單的介紹一下。
首先，對(duì)于任務(wù) T，在機(jī)器學(xué)習(xí)領(lǐng)域里，可以是這些方向的任務(wù)：
-
分類：在該任務(wù)中計(jì)算機(jī)程序需要判斷輸入數(shù)據(jù)是屬于給的 k 類中的哪一類，最常見(jiàn)的就是人臉識(shí)別，也是圖像分類的一個(gè)子方向，另外還有語(yǔ)音識(shí)別、文本識(shí)別等；
-
回歸：在該任務(wù)中需要對(duì)給定的輸入預(yù)測(cè)數(shù)值，比如預(yù)測(cè)房?jī)r(jià)或者證券未來(lái)的價(jià)格等；
-
轉(zhuǎn)錄：將一些相對(duì)非結(jié)構(gòu)化表示的數(shù)據(jù)，轉(zhuǎn)錄為離散的文本形式。比如 OCR（光學(xué)字符識(shí)別）、語(yǔ)音識(shí)別等；
-
機(jī)器翻譯：將一種語(yǔ)言的序列轉(zhuǎn)化為另一種語(yǔ)言。比如英語(yǔ)翻譯為中文；
-
異常檢測(cè)：查找不正常或者非典型的個(gè)體；
-
去噪
-
等等
對(duì)于性能度量 P，在不同的任務(wù)中會(huì)采用不同的性能指標(biāo)，比如：
- 準(zhǔn)確率和錯(cuò)誤率
- 召回率、精準(zhǔn)率、F1
- ROC 和 AUC
- 均方誤差（MSE）、均方根誤差（RMSE）
- 交并比 IoU
而經(jīng)驗(yàn) E，一般就是指數(shù)據(jù)集了，不同的任務(wù)對(duì)數(shù)據(jù)集的要求也不一樣，比如圖片分類一般就是圖片和圖片的標(biāo)簽，但目標(biāo)檢測(cè)、圖像分割，需要的除了圖片、標(biāo)簽，有的還需要圖片中物體的標(biāo)注框或者坐標(biāo)信息等。
2. 局部最優(yōu)和全局最優(yōu)
優(yōu)化問(wèn)題一般分為局部最優(yōu)和全局最優(yōu)。其中，
2.1 如何區(qū)分局部最小點(diǎn)和鞍點(diǎn)
參考知乎回答：
-
https://www.zhihu.com/question/358632429/answer/919562000
-
https://www.zhihu.com/question/68109802/answer/263503269
通常一階導(dǎo)數(shù)為 0 的點(diǎn)稱為穩(wěn)定點(diǎn)，可以分為三類：
- 局部最小點(diǎn)
- 局部最大點(diǎn)
- 鞍點(diǎn)
鞍點(diǎn)如下所示：
一般區(qū)分鞍點(diǎn)和局部最優(yōu)的方法是使用神經(jīng)網(wǎng)絡(luò) loss surface 的 Hessian 矩陣，通過(guò)計(jì)算 Hessian 矩陣的特征值，進(jìn)行判斷：
- 當(dāng) Hessian 矩陣的特征值有正有負(fù)的時(shí)候，神經(jīng)網(wǎng)絡(luò)的一階導(dǎo)數(shù)為 0 的點(diǎn)是鞍點(diǎn)；
- 當(dāng) Hessian 矩陣的特征值是非負(fù)的時(shí)候，神經(jīng)網(wǎng)絡(luò)的一階導(dǎo)數(shù)為 0 的點(diǎn)是局部極小值點(diǎn)；
- 當(dāng) Hessian 矩陣最小特征值小于零，則為嚴(yán)格鞍點(diǎn)（包含了局部最大）
根據(jù)文章：Geometry of Neural Network Loss Surfaces via Random Matrix Theory，可以看到神經(jīng)網(wǎng)絡(luò)的 Hessian 矩陣的特征值分布如下:
其中 ?\phi? 表示參數(shù)數(shù)目和數(shù)據(jù)量之比，其值越大表示數(shù)量相對(duì)較少，λ\lambdaλ 是特征值，?\epsilon? 表示 loss 值，所以從上圖可以得到：
- 當(dāng) loss 很大的時(shí)候，特征值有正有負(fù)，表明鞍點(diǎn)是困擾優(yōu)化的主要原因；
- 當(dāng) loss 很小的時(shí)候，特征值慢慢都是非負(fù)數(shù)，也就是說(shuō)這個(gè)時(shí)候基本是局部最小點(diǎn)。
另外一種判斷是否是鞍點(diǎn)的方法：若某個(gè)一階導(dǎo)數(shù)為0的點(diǎn)在至少一個(gè)方向上的二階導(dǎo)數(shù)小于0，那它就是鞍點(diǎn)。
最優(yōu)點(diǎn)和鞍點(diǎn)的區(qū)別在于其在各個(gè)維度是否都是最低點(diǎn)。
只要某個(gè)一階導(dǎo)數(shù)為0的點(diǎn)在某個(gè)維度上是最高點(diǎn)而不是最低點(diǎn)，那它就是鞍點(diǎn)。而區(qū)分最高點(diǎn)和最低點(diǎn)當(dāng)然就是用二階導(dǎo)數(shù)，斜率從負(fù)變正的過(guò)程當(dāng)然就是“下凸”，即斜率的導(dǎo)數(shù)大于0，即二階導(dǎo)數(shù)大于0。反之則為“上凹”，二階導(dǎo)數(shù)小于0。
2.2 如何避免陷入局部最小值或者鞍點(diǎn)
實(shí)際上，我們并不需要害怕陷入局部最小值，原因有這幾個(gè)：
-
第一個(gè)，很直觀的解釋來(lái)自于上面特征值的分布信息：當(dāng)loss很小的時(shí)候，我們才會(huì)遇到局部最小值問(wèn)題，也就是說(shuō)這時(shí)候的loss已經(jīng)足夠小，我們對(duì)這時(shí)候的loss已經(jīng)足夠滿意了，不太需要花更大力氣去找全局最優(yōu)值。
-
第二個(gè)，在一定假設(shè)條件下，很多研究表明深度學(xué)習(xí)中局部最小值很接近于全局最小值。
另外，根據(jù)https://www.zhihu.com/question/68109802的回答：
實(shí)際上我們可能并沒(méi)有找到過(guò)”局部最優(yōu)“，更別說(shuō)全局最優(yōu)了；
”局部最優(yōu)是神經(jīng)網(wǎng)絡(luò)優(yōu)化的主要難點(diǎn)“，這其實(shí)是來(lái)自于一維優(yōu)化問(wèn)題的直觀想象，單變量的情況下，優(yōu)化問(wèn)題最直觀的困難就是有很多局部極值。但在多變量的情況下，就不一定能找到局部最優(yōu)了；
而對(duì)于鞍點(diǎn)，逃離鞍點(diǎn)的做法有這幾種：
3. 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)挖掘、大數(shù)據(jù)之間的關(guān)系
首先來(lái)看這四者簡(jiǎn)單的定義：
- 大數(shù)據(jù)通常被定義為“超出常用軟件工具捕獲，管理和處理能力”的數(shù)據(jù)集，一般是在數(shù)據(jù)量、數(shù)據(jù)速度和數(shù)據(jù)類別三個(gè)維度上都大的問(wèn)題。
- 機(jī)器學(xué)習(xí)關(guān)心的問(wèn)題是如何構(gòu)建計(jì)算機(jī)程序使用經(jīng)驗(yàn)自動(dòng)改進(jìn)。
- 數(shù)據(jù)挖掘是從數(shù)據(jù)中提取模式的特定算法的應(yīng)用，在數(shù)據(jù)挖掘中，重點(diǎn)在于算法的應(yīng)用，而不是算法本身。
- 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子類，一般特指學(xué)習(xí)層數(shù)較高的網(wǎng)絡(luò)結(jié)構(gòu)，這個(gè)結(jié)構(gòu)通常會(huì)結(jié)合線性和非線性的關(guān)系。
關(guān)于這四個(gè)的關(guān)系，可以如下圖所示：
機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘之間的關(guān)系如下：
數(shù)據(jù)挖掘是一個(gè)過(guò)程，在此過(guò)程中機(jī)器學(xué)習(xí)算法被用作提取數(shù)據(jù)集中的潛在有價(jià)值模式的工具。
大數(shù)據(jù)與深度學(xué)習(xí)關(guān)系總結(jié)如下：
（1）深度學(xué)習(xí)是一種模擬大腦的行為。可以從所學(xué)習(xí)對(duì)象的機(jī)制以及行為等等很多相關(guān)聯(lián)的方面進(jìn)行學(xué)習(xí)，模仿類型行為以及思維。
（2）深度學(xué)習(xí)對(duì)于大數(shù)據(jù)的發(fā)展有幫助。深度學(xué)習(xí)對(duì)于大數(shù)據(jù)技術(shù)開(kāi)發(fā)的每一個(gè)階段均有幫助，不管是數(shù)據(jù)的分析還是挖掘還是建模，只有深度學(xué)習(xí)，這些工作才會(huì)有可能一一得到實(shí)現(xiàn)。
（3）深度學(xué)習(xí)轉(zhuǎn)變了解決問(wèn)題的思維。很多時(shí)候發(fā)現(xiàn)問(wèn)題到解決問(wèn)題，走一步看一步不是一個(gè)主要的解決問(wèn)題的方式了，在深度學(xué)習(xí)的基礎(chǔ)上，要求我們從開(kāi)始到最后都要基于一個(gè)目標(biāo)，為了需要優(yōu)化的那個(gè)最終目標(biāo)去進(jìn)行處理數(shù)據(jù)以及將數(shù)據(jù)放入到數(shù)據(jù)應(yīng)用平臺(tái)上去，這就是端到端（End to End）。
（4）大數(shù)據(jù)的深度學(xué)習(xí)需要一個(gè)框架。在大數(shù)據(jù)方面的深度學(xué)習(xí)都是從基礎(chǔ)的角度出發(fā)的，深度學(xué)習(xí)需要一個(gè)框架或者一個(gè)系統(tǒng)。總而言之，將你的大數(shù)據(jù)通過(guò)深度分析變?yōu)楝F(xiàn)實(shí)，這就是深度學(xué)習(xí)和大數(shù)據(jù)的最直接關(guān)系。
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系：
- 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子類，是機(jī)器學(xué)習(xí)的一類算法，相比傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)有這幾個(gè)特點(diǎn)：
- 對(duì)硬件要求更高。經(jīng)常需要 GPU 才能快速完成任務(wù)，單純用 CPU 執(zhí)行任務(wù)，那耗時(shí)是非常的驚人；
- 對(duì)數(shù)據(jù)量要求更高。傳統(tǒng)的機(jī)器學(xué)習(xí)一般可能只需要幾百上千的數(shù)據(jù)量，但是對(duì)于深度學(xué)習(xí)的任務(wù)，至少也需要上萬(wàn)甚至幾百萬(wàn)數(shù)據(jù)量，否則很容易過(guò)擬合；
- 具有更強(qiáng)的特征提取能力。深度學(xué)習(xí)可以從數(shù)據(jù)中學(xué)習(xí)到不同等級(jí)的特征，從低級(jí)的邊緣特征，到高級(jí)的語(yǔ)義特征，這也是越來(lái)越多的機(jī)器學(xué)習(xí)方向都采用深度學(xué)習(xí)算法來(lái)解決問(wèn)題的一個(gè)原因，性能更加強(qiáng)；
- 可解釋性差。因?yàn)槌橄髮哟屋^高，所以深度學(xué)習(xí)也經(jīng)常被稱為是一個(gè)黑匣子。
- 機(jī)器學(xué)習(xí)的核心是數(shù)學(xué)，是用一個(gè)數(shù)學(xué)模型，然后輸入數(shù)據(jù)來(lái)調(diào)節(jié)數(shù)學(xué)模型的參數(shù)，從而讓數(shù)學(xué)模型可以解決特定的某類問(wèn)題。簡(jiǎn)單說(shuō)就是希望訓(xùn)練得到一個(gè)可以解決特定問(wèn)題的數(shù)學(xué)函數(shù)。
4. 為什么要使用機(jī)器學(xué)習(xí)
原因如下：
- 需要進(jìn)行大量手工調(diào)整或需要擁有長(zhǎng)串規(guī)則才能解決的問(wèn)題：機(jī)器學(xué)習(xí)算法通常可以簡(jiǎn)化代碼、提高性能。
- 問(wèn)題復(fù)雜，傳統(tǒng)方法難以解決：最好的機(jī)器學(xué)習(xí)方法可以找到解決方案。
- 環(huán)境有波動(dòng)：機(jī)器學(xué)習(xí)算法可以適應(yīng)新數(shù)據(jù)。
- 洞察復(fù)雜問(wèn)題和大量數(shù)據(jù)
一些機(jī)器學(xué)習(xí)的應(yīng)用例子：
- 數(shù)據(jù)挖掘
- 一些無(wú)法通過(guò)手動(dòng)編程來(lái)編寫(xiě)的應(yīng)用：如自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)
- 一些自助式的程序：如推薦系統(tǒng)
- 理解人類是如何學(xué)習(xí)的
參考
歡迎關(guān)注我的公眾號(hào)–AI算法筆記，查看更多的算法、論文筆記。
總結(jié)
以上是生活随笔為你收集整理的机器学习基础--一些基本的概念的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 用计算机制作贺卡,用计算机制作贺卡的操作
- 下一篇： Focal Loss 论文笔记