這一部分內容和吳恩達老師的CS229前面的部分基本一致，不過那是很久之前看的了，我盡可能寫的像吳恩達老師那樣思路縝密。

1.假設

　　之前我們了解過最大似然估計就是最大化似然函數$$L(\theta) = \sum log(p(x_{i}|\theta))$$

　　來確定參數\(\theta\)，假設我們獨立測量的結果X(x1,x2,x3...)是有誤差的，且每個測量結果的誤差分布相同，即獨立同分布。我們再假定測量結果滿足以真實結果\(f(x|\theta)\)為均值，方差為\(\sigma\),標準差為\(\delta\)的高斯分布，注意這里的\(\theta\)指最優的參數解，但它是未知的。

2.推導

　　在給出一定假設后，我們根據最大似然估計的方法來進行推到。首先我們假定測量結果的分布函數后，可以得到以\(\theta\)為參數時，預測結果等于測量結果的概率：

　　$$p(x=xi|\theta) = \frac{1}{\sqrt{2\pi}\delta} e^{-\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}}$$

　　進而對數似然函數變為：

　　$$L(\theta) = \frac{1}{\sqrt{2\pi}\delta}\sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　我們最大化似然函數，等同于最大化求和部分：

　　$$\widehat(L)(\theta) = \sum?-\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　我們要求的\(\theta\)有：

　　$$\theta = argmax \sum?-\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　等同于：

　　$$\theta = argmin \sum \frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　進一步化簡有：

　　$$\theta = argmin \sum (xi-f(x|\theta))^{2}$$

?3.分析

　　通過上面推導，我們發現，在假定測量誤差滿足獨立同分布時，最大似然估計和最小二乘法有一定的相通性，但這并不表明二者是相同的！最大似然估計是要滿足預測結果和測量結果一致的概率最大，而最小二乘法估計要滿足預測結果和測量結果盡可能接近（二范式距離的平方最小），二者的測度和出發點不一樣，但又有聯系。

轉載于:https://www.cnblogs.com/SshunWang/p/11166569.html

總結

以上是生活随笔為你收集整理的从最大似然估计到最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。