一、前述

回歸問題求解時梯度下降由于樣本數(shù)據(jù)的多樣性，往往對模型有很大的影響，所以需要對樣本數(shù)據(jù)做一些優(yōu)化

二、歸一化

1、背景

各個維度的輸入如果在數(shù)值上差異很大，那么會引起正確的w在各個維度上數(shù)值差異很大。這樣找尋w的時候，對各個維度的調(diào)整基本上是按照同一個數(shù)量級來進(jìn)行調(diào)整的。因此需要歸一化。

2、歸一化方法

? 歸一化的一種方法：最大值最小值法
? 缺點是抗干擾能力弱
? 受離群值得影響比較大
? 中間容易沒有數(shù)據(jù)

歸一化的一種方法：方差歸一化
? 優(yōu)點是抗干擾能力強(qiáng)，和所有數(shù)據(jù)都有關(guān)

. 使數(shù)量級在一個量級
? 缺點是最終未必會落到0到1之間
? 犧牲歸一化結(jié)果為代價提高穩(wěn)定

歸一化的一種方法：均值歸一化

3、案例分析一

優(yōu)化方法：方差歸一化

結(jié)果：

4、案例分析二

解決辦法：盡可能讓X的各個維度上取值有正有負(fù)。

均值歸一化，每個數(shù)量減去平均值。

?

轉(zhuǎn)載于:https://www.cnblogs.com/LHWorldBlog/p/8683332.html

總結(jié)

以上是生活随笔為你收集整理的【机器学习】--回归问题的数值优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。