浅谈数值稳定性
今天談論的重點是數值穩定性，在計算機編程中，有很多算法都需要考慮數值穩定性。比如在機器學習算法中我學過的Logistic回歸的牛頓迭代解法，在牛頓迭代時需要解線性方程組，由于Hessian矩陣是對稱正定的，用Cholesky矩陣分解不但可以大大減少運算量，而且還具有很好的數值穩定性。借此機會來更多地了解一下數值穩定性。
?
在計算機編程中，有時候同一個計算問題，不同算法中舍入誤差對計算的結果產生的影響各不相同，舍入誤差對計算結果的精確度影響小的算法，具有較好的數值穩定性；反之，算法的數值穩定性差。所設計的算法的舍入誤差在一定條件下要能夠控制。否則就像蝴蝶效應一樣，使風和日麗的美洲幾個月后出現狂風暴雨。
?
接下來我們先來看一個比較經典的例子。
?
題目：計算如下積分的值
?
????
?
分析：很容易，可以進行如下推導過程
?
????
?
根據這個遞推式，可以計算任意的，但是我們再計算一下放大的誤差，得到
?
??????
?
可以看出誤差是逐漸放大的，在一定范圍內無法控制，這樣做的結果就是最終答案與真實答案相差十萬八千里。
?
為了提高數值的穩定性，我們在設計算法時需要遵循如下幾個原則
?
（1）盡量減少運算次數
（2）加法運算時，避免大數加小數
（3）避免兩個相近數相減
（4）避免小數做除數或大數做乘數
?
（1）盡量減少運算次數
?
???比如計算多項式的秦九韶算法，再比如下例
?
??? 題目：計算的值，要求精確到。
?
??? 分析：用兩種方法進行比較，以此說明運算次數的重要性。首先采用如下公式計算
?
????????
?
???????? 即得到
?
????????
?
???????? 要精確到，就要計算100000項，而且還有精度損失，此方法效率太低。再考慮另一種方法
?
????????
?
???????? 這樣的話取，得到
?
????????
?
???????? 要精確到，只需要計算前4項就行了，因為
?
?????????
?
?????????可以看出第二種方式大大減少了計算量，精度相應也會損失很少。
?
?
（2）加法運算時，避免大數加小數
?
????? 針對浮點數來說，由于有效數字的保留問題，大數會“吃掉”小數。
?
?
（3）避免兩個相近數相減
?
????比如在二次方程求根問題中，解，如果并且接近，這樣求出
?
????
?
??? 其中有兩個相近的數相減，這會導致誤差增大，但是考慮另一種方法，先計算出
?
????
?
????然后再根據
?
???
?
??? 計算得到，這樣做誤差大大降低。
?
?
（4）避免小數做除數或大數做乘數
?
????高斯消元中，選主元與不選主元計算得到的結果有差異，因為如果不選主元可能遇到小數做除數的情況。從
??? 而導致結果出現偏差。
?
?
推薦文章：http://www.cyqdata.com/cnblogs/article-detail-35278
?
總結
