---

←上一篇↓↑下一篇→

1.1 為什么是ML策略	回到目錄	1.3 單一數(shù)字評(píng)估指標(biāo)

---

正交化 (Orthogonalization)

搭建建立機(jī)器學(xué)習(xí)系統(tǒng)的挑戰(zhàn)之一是，你可以嘗試和改變的東西太多太多了。包括，比如說(shuō)，有那么多的超參數(shù)可以調(diào)。我留意到，那些效率很高的機(jī)器學(xué)習(xí)專家有個(gè)特點(diǎn)，他們思維清晰，對(duì)于要調(diào)整什么來(lái)達(dá)到某個(gè)效果，非常清楚，這個(gè)步驟我們稱之為正交化，讓我告訴你是什么意思吧。

這是一張老式電視圖片，有很多旋鈕可以用來(lái)調(diào)整圖像的各種性質(zhì)，所以對(duì)于這些舊式電視，可能有一個(gè)旋鈕用來(lái)調(diào)圖像垂直方向的高度，另外有一個(gè)旋鈕用來(lái)調(diào)圖像寬度，也許還有一個(gè)旋鈕用來(lái)調(diào)梯形角度，還有一個(gè)旋鈕用來(lái)調(diào)整圖像左右偏移，還有一個(gè)旋鈕用來(lái)調(diào)圖像旋轉(zhuǎn)角度之類的。電視設(shè)計(jì)師花了大量時(shí)間設(shè)計(jì)電路，那時(shí)通常都是模擬電路來(lái)確保每個(gè)旋鈕都有相對(duì)明確的功能。如一個(gè)旋鈕來(lái)調(diào)整這個(gè)（高度），一個(gè)旋鈕調(diào)整這個(gè)（寬度），一個(gè)旋鈕調(diào)整這個(gè)（梯形角度），以此類推。

相比之下，想象一下，如果你有一個(gè)旋鈕調(diào)的是 $0.1x$ 表示圖像高度， $+0.3x$ 表示圖像寬度， $?1.7x$ 表示梯形角度， $+0.8x$ 表示圖像在水平軸上的坐標(biāo)之類的。如果你調(diào)整這個(gè)（其中一個(gè)）旋鈕，那么圖像的高度、寬度、梯形角度、平移位置全部都會(huì)同時(shí)改變，如果你有這樣的旋鈕，那幾乎不可能把電視調(diào)好，讓圖像顯示在區(qū)域正中。

所以在這種情況下，正交化指的是電視設(shè)計(jì)師設(shè)計(jì)這樣的旋鈕，使得每個(gè)旋鈕都只調(diào)整一個(gè)性質(zhì)，這樣調(diào)整電視圖像就容易得多，就可以把圖像調(diào)到正中。

接下來(lái)是另一個(gè)正交化例子，你想想學(xué)車的時(shí)候，一輛車有三個(gè)主要控制，第一是方向盤，方向盤決定你往左右偏多少，還有油門和剎車。就是這三個(gè)控制，其中一個(gè)控制方向，另外兩個(gè)控制你的速度，這樣就比較容易解讀。知道不同控制的不同動(dòng)作會(huì)對(duì)車子運(yùn)動(dòng)有什么影響。

想象一下，如果有人這么造車，造了個(gè)游戲手柄，手柄的一個(gè)軸控制的是 $0.3?$ 轉(zhuǎn)向角-速度，然后還有一個(gè)軸控制的是 $2?$ 轉(zhuǎn)向角 $+0.9?$ 車速，理論上來(lái)說(shuō)，通過(guò)調(diào)整這兩個(gè)旋鈕你是可以將車子調(diào)整到你希望得到的角度和速度，但這樣比單獨(dú)控制轉(zhuǎn)向角度，分開(kāi)獨(dú)立的速度控制要難得多。

所以正交化的概念是指，你可以想出一個(gè)維度，這個(gè)維度你想做的是控制轉(zhuǎn)向角，還有另一個(gè)維度來(lái)控制你的速度，那么你就需要一個(gè)旋鈕盡量只控制轉(zhuǎn)向角，另一個(gè)旋鈕，在這個(gè)開(kāi)車的例子里其實(shí)是油門和剎車控制了你的速度。但如果你有一個(gè)控制旋鈕將兩者混在一起，比如說(shuō)這樣一個(gè)控制裝置同時(shí)影響你的轉(zhuǎn)向角和速度，同時(shí)改變了兩個(gè)性質(zhì)，那么就很難令你的車子以想要的速度和角度前進(jìn)。然而正交化之后，正交意味著互成90度。設(shè)計(jì)出正交化的控制裝置，最理想的情況是和你實(shí)際想控制的性質(zhì)一致，這樣你調(diào)整參數(shù)時(shí)就容易得多?？梢詥为?dú)調(diào)整轉(zhuǎn)向角，還有你的油門和剎車，令車子以你想要的方式運(yùn)動(dòng)。

那么這與機(jī)器學(xué)習(xí)有什么關(guān)系呢？要弄好一個(gè)監(jiān)督學(xué)習(xí)系統(tǒng)，你通常需要調(diào)你的系統(tǒng)的旋鈕。

確保四件事情，首先，你通常必須確保至少系統(tǒng)在訓(xùn)練集上得到的結(jié)果不錯(cuò)，所以訓(xùn)練集上的表現(xiàn)必須通過(guò)某種評(píng)估，達(dá)到能接受的程度，對(duì)于某些應(yīng)用，這可能意味著達(dá)到人類水平的表現(xiàn)，但這取決于你的應(yīng)用，我們將在下周更多地談?wù)勅绾闻c人類水平的表現(xiàn)進(jìn)行比較。但是，在訓(xùn)練集上表現(xiàn)不錯(cuò)之后，你就希望系統(tǒng)也能在開(kāi)發(fā)集上有好的表現(xiàn)，然后你希望系統(tǒng)在測(cè)試集上也有好的表現(xiàn)。在最后，你希望系統(tǒng)在測(cè)試集上系統(tǒng)的成本函數(shù)在實(shí)際使用中表現(xiàn)令人滿意，比如說(shuō)，你希望這些貓圖片應(yīng)用的用戶滿意。

我們回到電視調(diào)節(jié)的例子，如果你的電視圖像太寬或太窄，你想要一個(gè)旋鈕去調(diào)整，你可不想要仔細(xì)調(diào)節(jié)五個(gè)不同的旋鈕，它們也會(huì)影響別的圖像性質(zhì)，你只需要一個(gè)旋鈕去改變電視圖像的寬度。

所以類似地，如果你的算法在成本函數(shù)上不能很好地?cái)M合訓(xùn)練集，你想要一個(gè)旋鈕，是的我畫這東西表示旋鈕，或者一組特定的旋鈕，這樣你可以用來(lái)確保你的可以調(diào)整你的算法，讓它很好地?cái)M合訓(xùn)練集，所以你用來(lái)調(diào)試的旋鈕是你可能可以訓(xùn)練更大的網(wǎng)絡(luò)，或者可以切換到更好的優(yōu)化算法，比如Adam優(yōu)化算法，等等。我們將在本周和下周討論一些其他選項(xiàng)。

相比之下，如果發(fā)現(xiàn)算法對(duì)開(kāi)發(fā)集的擬合很差，那么應(yīng)該有獨(dú)立的一組旋鈕，是的，這就是我畫得毛毛躁躁的另一個(gè)旋鈕，你希望有一組獨(dú)立的旋鈕去調(diào)試。比如說(shuō)，你的算法在開(kāi)發(fā)集上做的不好，它在訓(xùn)練集上做得很好，但開(kāi)發(fā)集不行，然后你有一組正則化的旋鈕可以調(diào)節(jié)，嘗試讓系統(tǒng)滿足第二個(gè)條件。類比到電視，就是現(xiàn)在你調(diào)好了電視的寬度，如果圖像的高度不太對(duì)，你就需要一個(gè)不同的旋鈕來(lái)調(diào)節(jié)電視圖像的高度，然后你希望這個(gè)旋鈕盡量不會(huì)影響到電視的寬度。增大訓(xùn)練集可以是另一個(gè)可用的旋鈕，它可以幫助你的學(xué)習(xí)算法更好地歸納開(kāi)發(fā)集的規(guī)律，現(xiàn)在調(diào)好了電視圖像的高度和寬度。

如果它不符合第三個(gè)標(biāo)準(zhǔn)呢？如果系統(tǒng)在開(kāi)發(fā)集上做的很好，但測(cè)試集上做得不好呢？如果是這樣，那么你需要調(diào)的旋鈕，可能是更大的開(kāi)發(fā)集。因?yàn)槿绻陂_(kāi)發(fā)集上做的不錯(cuò)，但測(cè)試集不行這可能意味著你對(duì)開(kāi)發(fā)集過(guò)擬合了，你需要往回退一步，使用更大的開(kāi)發(fā)集。

最后，如果它在測(cè)試集上做得很好，但無(wú)法給你的貓圖片應(yīng)用用戶提供良好的體驗(yàn)，這意味著你需要回去，改變開(kāi)發(fā)集或成本函數(shù)。因?yàn)槿绻鶕?jù)某個(gè)成本函數(shù)，系統(tǒng)在測(cè)試集上做的很好，但它無(wú)法反映你的算法在現(xiàn)實(shí)世界中的表現(xiàn)，這意味著要么你的開(kāi)發(fā)集分布設(shè)置不正確，要么你的成本函數(shù)測(cè)量的指標(biāo)不對(duì)。

我們很快會(huì)逐一講到這些例子，我們以后會(huì)詳細(xì)介紹這些特定的旋鈕，在本周和下周晚些時(shí)候會(huì)介紹的。所以如果現(xiàn)在你無(wú)法理解全部細(xì)節(jié)，別擔(dān)心，但我希望你們對(duì)這種正交化過(guò)程有個(gè)概念。你要非常清楚，到底是四個(gè)問(wèn)題中的哪一個(gè)，知道你可以調(diào)節(jié)哪些不同的東西嘗試解決那個(gè)問(wèn)題。

當(dāng)我訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，我一般不用early stopping，這個(gè)技巧也還不錯(cuò)，很多人都這么干。但個(gè)人而言，我覺(jué)得用early stopping有點(diǎn)難以分析，因?yàn)檫@個(gè)旋鈕會(huì)同時(shí)影響你對(duì)訓(xùn)練集的擬合，因?yàn)槿绻阍缙谕Ｖ?#xff0c;那么對(duì)訓(xùn)練集的擬合就不太好，但它同時(shí)也用來(lái)改善開(kāi)發(fā)集的表現(xiàn)，所以這個(gè)旋鈕沒(méi)那么正交化。因?yàn)樗瑫r(shí)影響兩件事情，就像一個(gè)旋鈕同時(shí)影響電視圖像的寬度和高度。不是說(shuō)這樣就不要用，如果你想用也是可以的。但如果你有更多的正交化控制，比如我這里寫出的其他手段，用這些手段調(diào)網(wǎng)絡(luò)會(huì)簡(jiǎn)單不少。

所以我希望你們對(duì)正交化的意義有點(diǎn)概念，就像你看電視圖像一樣。如果你說(shuō)，我的電視圖像太寬，所以我要調(diào)整這個(gè)旋鈕（寬度旋鈕）。或者它太高了，所以我要調(diào)整那個(gè)旋鈕（高度旋鈕）。或者它太梯形了，所以我要調(diào)整這個(gè)旋鈕（梯形角度旋鈕），這就很好。

在機(jī)器學(xué)習(xí)中，如果你可以觀察你的系統(tǒng)，然后說(shuō)這一部分是錯(cuò)的，它在訓(xùn)練集上做的不好、在開(kāi)發(fā)集上做的不好、它在測(cè)試集上做的不好，或者它在測(cè)試集上做的不錯(cuò)，但在現(xiàn)實(shí)世界中不好，這就很好。必須弄清楚到底是什么地方出問(wèn)題了，然后我們剛好有對(duì)應(yīng)的旋鈕，或者一組對(duì)應(yīng)的旋鈕，剛好可以解決那個(gè)問(wèn)題，那個(gè)限制了機(jī)器學(xué)習(xí)系統(tǒng)性能的問(wèn)題。

這就是我們這周和下周要講到的，如何診斷出系統(tǒng)性能瓶頸到底在哪。還有找到你可以用的一組特定的旋鈕來(lái)調(diào)整你的系統(tǒng)，來(lái)改善它特定方面的性能，我們開(kāi)始詳細(xì)講講這個(gè)過(guò)程吧。

課程PPT

---

←上一篇↓↑下一篇→

1.1 為什么是ML策略	回到目錄	1.3 單一數(shù)字評(píng)估指標(biāo)

---

總結(jié)

以上是生活随笔為你收集整理的1.2 正交化-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。