浅谈数值稳定性
今天談?wù)摰闹攸c(diǎn)是數(shù)值穩(wěn)定性，在計(jì)算機(jī)編程中，有很多算法都需要考慮數(shù)值穩(wěn)定性。比如在機(jī)器學(xué)習(xí)算法中我學(xué)過的Logistic回歸的牛頓迭代解法，在牛頓迭代時(shí)需要解線性方程組，由于Hessian矩陣是對(duì)稱正定的，用Cholesky矩陣分解不但可以大大減少運(yùn)算量，而且還具有很好的數(shù)值穩(wěn)定性。借此機(jī)會(huì)來更多地了解一下數(shù)值穩(wěn)定性。
?
在計(jì)算機(jī)編程中，有時(shí)候同一個(gè)計(jì)算問題，不同算法中舍入誤差對(duì)計(jì)算的結(jié)果產(chǎn)生的影響各不相同，舍入誤差對(duì)計(jì)算結(jié)果的精確度影響小的算法，具有較好的數(shù)值穩(wěn)定性；反之，算法的數(shù)值穩(wěn)定性差。所設(shè)計(jì)的算法的舍入誤差在一定條件下要能夠控制。否則就像蝴蝶效應(yīng)一樣，使風(fēng)和日麗的美洲幾個(gè)月后出現(xiàn)狂風(fēng)暴雨。
?
接下來我們先來看一個(gè)比較經(jīng)典的例子。
?
題目：計(jì)算如下積分的值
?
????
?
分析：很容易，可以進(jìn)行如下推導(dǎo)過程
?
????
?
根據(jù)這個(gè)遞推式，可以計(jì)算任意的，但是我們?cè)儆?jì)算一下放大的誤差，得到
?
??????
?
可以看出誤差是逐漸放大的，在一定范圍內(nèi)無法控制，這樣做的結(jié)果就是最終答案與真實(shí)答案相差十萬八千里。
?
為了提高數(shù)值的穩(wěn)定性，我們?cè)谠O(shè)計(jì)算法時(shí)需要遵循如下幾個(gè)原則
?
（1）盡量減少運(yùn)算次數(shù)
（2）加法運(yùn)算時(shí)，避免大數(shù)加小數(shù)
（3）避免兩個(gè)相近數(shù)相減
（4）避免小數(shù)做除數(shù)或大數(shù)做乘數(shù)
?
（1）盡量減少運(yùn)算次數(shù)
?
???比如計(jì)算多項(xiàng)式的秦九韶算法，再比如下例
?
??? 題目：計(jì)算的值，要求精確到。
?
??? 分析：用兩種方法進(jìn)行比較，以此說明運(yùn)算次數(shù)的重要性。首先采用如下公式計(jì)算
?
????????
?
???????? 即得到
?
????????
?
???????? 要精確到，就要計(jì)算100000項(xiàng)，而且還有精度損失，此方法效率太低。再考慮另一種方法
?
????????
?
???????? 這樣的話取，得到
?
????????
?
???????? 要精確到，只需要計(jì)算前4項(xiàng)就行了，因?yàn)?/span>
?
?????????
?
?????????可以看出第二種方式大大減少了計(jì)算量，精度相應(yīng)也會(huì)損失很少。
?
?
（2）加法運(yùn)算時(shí)，避免大數(shù)加小數(shù)
?
????? 針對(duì)浮點(diǎn)數(shù)來說，由于有效數(shù)字的保留問題，大數(shù)會(huì)“吃掉”小數(shù)。
?
?
（3）避免兩個(gè)相近數(shù)相減
?
????比如在二次方程求根問題中，解，如果并且接近，這樣求出
?
????
?
??? 其中有兩個(gè)相近的數(shù)相減，這會(huì)導(dǎo)致誤差增大，但是考慮另一種方法，先計(jì)算出
?
????
?
????然后再根據(jù)
?
???
?
??? 計(jì)算得到，這樣做誤差大大降低。
?
?
（4）避免小數(shù)做除數(shù)或大數(shù)做乘數(shù)
?
????高斯消元中，選主元與不選主元計(jì)算得到的結(jié)果有差異，因?yàn)槿绻贿x主元可能遇到小數(shù)做除數(shù)的情況。從
??? 而導(dǎo)致結(jié)果出現(xiàn)偏差。
?
?
推薦文章：http://www.cyqdata.com/cnblogs/article-detail-35278
?
總結(jié)
