前言

學習算法一直以來是機器學習能根據(jù)數(shù)據(jù)學到知識的核心技術(shù)。而好的優(yōu)化算法可以大大提高學習速度，加快算法的收斂速度和效果。本文從淺層模型到深度模型縱覽監(jiān)督學習中常用的優(yōu)化算法，并指出了每一種優(yōu)化算法的優(yōu)點及局限性，同時其還包括了一階和二階等各種算法的形式化表達。

本文旨在介紹關(guān)于將最優(yōu)化方法應(yīng)用于機器學習的關(guān)鍵模型、算法、以及一些開放性問題。這篇博文適合有一定知識儲備的讀者，尤其是那些熟悉基礎(chǔ)優(yōu)化算法但是不了解機器學習的讀者。首先，我們推導出一個監(jiān)督學習問題的公式，并說明它是如何基于上下文和基本假設(shè)產(chǎn)生各種優(yōu)化問題。然后，我們討論這些優(yōu)化問題的一些顯著特征，重點討論 logistic 回歸和深層神經(jīng)網(wǎng)絡(luò)訓練的案例。

本文的后半部分重點介紹幾種優(yōu)化算法，首先是凸 logistic 回歸，然后討論一階方法，包括了隨機梯度法（SGD）、方差縮減隨機方法（variance reducing stochastic method）和二階方法的使用。最后，我們將討論如何將這些方法應(yīng)用于深層神經(jīng)網(wǎng)絡(luò)的訓練，并著重描述這些模型的復雜非凸結(jié)構(gòu)所帶來的困難。

1 引言

在過去二十年里，機器學習這一迷人的算法領(lǐng)域幾乎以史無前例的速度崛起。機器學習以統(tǒng)計學和計算機科學為基礎(chǔ)，以數(shù)學優(yōu)化方法為核心。事實上，近來優(yōu)化方法研究領(lǐng)域中的許多最新理論和實際進展都受到了機器學習和其它數(shù)據(jù)驅(qū)動的學科的影響。然而即使有這些聯(lián)系，統(tǒng)計學、計算機科學和致力于機器學習相關(guān)問題的優(yōu)化方法研究之間仍存在許多障礙。因此本文試圖概述機器學習學習算法而打破這種障礙。

本文的目的是給出與機器學習領(lǐng)域相關(guān)的一些關(guān)鍵問題和研究問題的概述。考慮到涉及運籌學領(lǐng)域的知識，我們假設(shè)讀者熟悉基本的優(yōu)化方法理論，但是仍將引入

總結(jié)

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（二十八）-由浅入深概览机器学习优化算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。