最小二乘与最大似然估计之间的关系
最小二乘與最大似然估計(jì)之間的關(guān)系
??????????1、結(jié)論
??????????????測(cè)量誤差（測(cè)量）服從高斯分布的情況下， 最小二乘法等價(jià)于極大似然估計(jì)。
??????????2、最大似然估計(jì)概念
????????????????????????????????????????????????
????????????? 最大似然估計(jì)就是通過求解最大的（1）式得到可能性最大的作為真的估計(jì)，其中 L 函數(shù)稱為參數(shù)的似然函數(shù)，是一個(gè)概率分布函數(shù)。
????????????? 似然估計(jì)的思想是：測(cè)量值 X 是服從概率分布的，求概率模型中的參數(shù)，使得在假設(shè)的分布下獲得該組測(cè)量出現(xiàn)概率最大：
????????????? 例如：通過一次測(cè)量得到1.9、1.9、2.0、2.1、2.0、1.9、1.5、2.5、2.0、2.0，
????????????????????? 通過直覺我們發(fā)現(xiàn)這組測(cè)量比較符合期望為2的高斯分布。
????????????????????? 要不然，為什么取值都在2附近呢，為啥測(cè)量數(shù)據(jù)中沒有（很少）1.0、5.0呢？也就是說，可以認(rèn)為我的這些測(cè)量
????????????????????? 是符合某個(gè)概率分布的（這個(gè)例子中為高斯分布），測(cè)量值中得到2附近值的概率比較大。
?????????????? 例如：一個(gè)箱子里有紅球和黑球，通過10次放回抽取實(shí)驗(yàn)得到的結(jié)果為：8次黑球、2次紅球。問箱子中黑球的比例？
????????????????????? 這個(gè)例子中箱子里只有紅球和黑球，可以假設(shè)黑球的比例為 p ，那么紅球的概率為（1-p），
????????????????????? 那么10次實(shí)驗(yàn)中8次黑球、兩次紅球的概率為：。通過即可求出 p = 0.8。
??????????3、最大似然估計(jì)求法
????????????? a、樣本從高斯分布中采樣獲得。高斯概率分布函數(shù)為：
????????????????????????????????????????????????????
????????????????? 通過測(cè)量獲得 N 個(gè)測(cè)量值，，它們符合高斯概率分布，此時(shí)它們的似然估計(jì)為：
??????????????????????????
????????????????? 通過最大化似然估計(jì)函數(shù) L ，即可求出、：
????????????????????????????????????????????????
????????????????? 但是，（4）式中目標(biāo)函數(shù)為乘積的形式，求導(dǎo)結(jié)果復(fù)雜，這里對(duì)目標(biāo)函數(shù)取對(duì)數(shù)，這樣做不影響單調(diào)性：
????????????????????????????
???????????????? (4)中似然函數(shù)取對(duì)數(shù)后的函數(shù)稱為似然函數(shù)，通過對(duì)似然函數(shù)取對(duì)數(shù)可以簡(jiǎn)化似然函數(shù)的求解。
???????????????? 對(duì)似然函數(shù)求導(dǎo)并等于0，即可求出最大似然下的、：
?????????????????????????????????
???????????????? 得到：
??????????????????????????????????
????????????? b、服從泊松分布和均勻分布下的最大似然估計(jì)可參閱：http://blog.sciencenet.cn/blog-491809-400893.html
????????????? c、最大對(duì)數(shù)似然估計(jì)一般求解過程：
?????????????????? 寫出最大似然估計(jì)表達(dá)式：
?????????????????????????????????????
?????????????????? 對(duì)每個(gè)求偏導(dǎo)并等于0：
?????????????????????????????????????
????????????? d、與最大似然估計(jì)對(duì)等的還有一個(gè)?矩估計(jì)方法。
????????????????? 矩估計(jì)法，是利用樣本矩來估計(jì)總體中相應(yīng)的參數(shù)。矩估計(jì)法的基本思想是用樣本矩代替總體矩。
????????????????? 最簡(jiǎn)單的矩估計(jì)法是用一階樣本原點(diǎn)矩來估計(jì)總體的期望而用二階樣本中心矩來估計(jì)總體的方差。
??????????4、最大似然估計(jì)與最小二乘之間的關(guān)系?
?????????????? 這部分內(nèi)容來自：http://www.zhihu.com/question/20447622
?????????????? 本部分內(nèi)容需要以下知識(shí)：
?????????????? a、高斯分布、拉普拉斯分布、最大似然估計(jì)、最大后驗(yàn)估計(jì)（MAP）
?????????????? b、按照李航博士的觀點(diǎn)，機(jī)器學(xué)習(xí)三要素為：模型、策略、算法。一個(gè)模型有多種求解策略，
?????????????????? 每一種求解策略可能最終又有多種計(jì)算方法。下面的內(nèi)容主要講解算法。
?????????????? 從概率論的角度：
?????????????? a、最小二乘（Least Square）的解析解可以用Gaussian分布以及最大似然估計(jì)求得
?????????????? b、Ridge回歸可以用Gaussian分布和最大后驗(yàn)估計(jì)解釋
?????????????? c、LASSO回歸可以用Lapace分布和最大后驗(yàn)估計(jì)解釋
?
?????????????? 假設(shè)線性回歸模型具有如下形式：
????????????????
??????????????? 其中，，誤差。
??????????????? 當(dāng)前已知，，如何求呢？
?
????????????????策略1：假設(shè)，即，那么用最大似然估計(jì)推導(dǎo)：
???????????????????????????????????
????????????????????????????????
?????????????????????????????????
????????????????????????? 公式(11)式就是最小二乘。
???????????????
????????????????策略2：假設(shè)，，那么用最大后驗(yàn)估計(jì)推導(dǎo)：
??????????????????????????????
????????????????????????????
?????????????????????????????
????????????????????????? 公式(14)式就是Ridge回歸。
??????????????? 策略3：假設(shè)，，同樣采用后驗(yàn)估計(jì)推導(dǎo)：
?????????????????????????????
?????????????????????????????
?????????????????????????????
????????????????????????? 公式（17）式LASSO。
總結(jié)
以上是生活随笔為你收集整理的最小二乘与最大似然估计之间的关系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 最小二乘、最大似然和最大后验的简单总结
- 下一篇： 为什么说 GraphQL 可以取代 RE