李航第六章的BFGS算法
生活随笔
收集整理的這篇文章主要介紹了
李航第六章的BFGS算法
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
沒啥用,在scipy中已經(jīng)實現(xiàn)了.
參考鏈接如下
https://blog.csdn.net/ACdreamers/article/details/44664941
scipy的bfgs算法如下:
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.fmin_bfgs.html
稍微備注下這一章中最大熵模型的推導(dǎo):
根據(jù)當(dāng)前每個類別的頻數(shù),來求解整個系統(tǒng)熵最大的數(shù)值,順便求解每個類別的概率是多少.
注意,這一章的證明中,雖然有maxmin這種情況,但是這個并不是應(yīng)用廣義拉格朗日的結(jié)果,而是因為P本身就是一個未知數(shù),需要對其進(jìn)行求偏導(dǎo),同時因為拉格朗日引入了乘子wi,需要對wi求偏導(dǎo),才最終導(dǎo)致maxmin的出現(xiàn),與廣義拉格朗日乘子法無關(guān).廣義拉格朗日乘子法一定是用來處理"不等式"約束時才派上用場的的.
總結(jié)
以上是生活随笔為你收集整理的李航第六章的BFGS算法的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: SVC调参总结+调参实例
- 下一篇: 根据权威文献区分梯度上升与梯度下降