用隨機梯度下降來優(yōu)化人生

>>>>

本文轉(zhuǎn)自知乎

要有目標。你需要有目標。短的也好，長的也好。認真定下的也好，別人那里撿的也好。就跟隨機梯度下降需要有個目標函數(shù)一樣。

目標要大。不管是人生目標還是目標函數(shù)，你最好不要知道最后可以走到哪里。如果你知道，那么你的目標就太簡單了，可能是個凸函數(shù)。你可以在一開始的時候給自己一些小目標，例如期末考個80分，訓練一個線性模型。但接下來得有更大的目標，財富自由也好，100億參數(shù)的變形金剛也好，得足夠一顆賽艇。

堅持走。不管你的目標多復雜，隨機梯度下降都是最簡單的。每一次你找一個大概還行的方向（梯度），然后邁一步（下降）。兩個核心要素是方向和步子的長短。但最重要的是你得一直走下去，能多走幾步就多走幾步。

痛苦的卷。每一步里你都在試圖改變你自己或者你的模型參數(shù)。改變帶來痛苦。但沒有改變就沒有進步。你過得很痛苦不代表在朝著目標走，因為你可能走反了。但過得很舒服那一定在原地踏步。需要時刻跟自己作對。

可以躺平。你用你內(nèi)心的激情來邁步子。步子太小走不動，步子太長容易過早消耗掉了激情。周期性的調(diào)大調(diào)小步長效果挺好。所以你可以時不時休息休息。

四處看看。每一步走的方向是你對世界的認識。如果你探索的世界不怎么變化，那么要么你的目標太簡單，要么你困在你的舒適區(qū)了。隨機梯度下降的第一個詞是隨機，就是你需要四處走走，看過很多地方，做些錯誤的決定，這樣你可以在前期邁過一些不是很好的舒適區(qū)。

快也是慢。你沒有必要特意去追求找到最好的方向和最合適的步子。你身邊當然會有幸運之子，他們每一步都在別人前面。但經(jīng)驗告訴我們，隨機梯度下降前期進度太快，后期可能乏力。就是說你過早的找到一個舒適區(qū)，忘了世界有多大。所以你不要急，前面徘徊一段時間不是壞事。成名無需太早。

贏在起點。起點當然重要。如果你在終點附近起步，可以少走很多路。而且終點附近的路都比較平，走著舒服。當你發(fā)現(xiàn)別人不如你的時候，看看自己站在哪里。可能你就是運氣很好，贏在了起跑線。如果你跟別人在同一起跑線，不見得你能做更好。

很遠也能到達。如果你是在隨機起點，那么做好準備前面的路會非常不平坦。越遠離終點，越人跡罕見。四處都是懸崖。但隨機梯度下降告訴我們，不管起點在哪里，最后得到的解都差不多。當然這個前提是你得一直按照梯度的方向走下去。如果中間梯度炸掉了，那么你隨機一個起點，調(diào)整步子節(jié)奏，重新來。

獨一無二。也許大家有著差不多的目標，在差不多的時間畢業(yè)買房結(jié)婚生娃。但每一步里，每個人內(nèi)心中看到的世界都不一樣，導致走的路不一樣。你如果跑多次隨機梯度下降，在各個時間點的目標函數(shù)值可能都差不多，但每次的參數(shù)千差萬別。不會有人關(guān)心你每次訓練出來的模型里面參數(shù)具體是什么值，除了你自己。

簡單最好?。當然有比隨機梯度下降更復雜的算法。他們想每一步看想更遠更準，想步子邁最大。但如果你的目標很復雜，簡單的隨機梯度下降反而效果最好。深度學習里大家都用它。關(guān)注當前，每次抬頭瞄一眼世界，快速做個決定，然后邁一小步。小步快跑。只要你有目標，不要停，就能到達。

—版權(quán)聲明—

來源：圖靈人工智能，編輯：nhyilin

僅用于學術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請聯(lián)系微信號:Eternalhui或nhyilin刪除或修改！

—THE END—

文章推薦

?成為年薪50W+的NLP工程師，需要哪些技能？

?正態(tài)分布的前世今生（1）

?代數(shù)發(fā)展簡史

?數(shù)字被修改了嗎？

?15 位健在的牛叉程序員，你知道哪幾位？

?如何衡量一個算法的快慢

總結(jié)

以上是生活随笔為你收集整理的用随机梯度下降来优化人生的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。