最優(yōu)化算法

背景

通過公式生成ADF之后，根據(jù)下層函數(shù)庫的配置，在結構不變的情形下，ADF是可以通過一系列值在0-1之間的參數(shù)進行調(diào)節(jié)的。也即ADF可表示為固定維數(shù)n的實數(shù)集，因此需要解決的問題就是在給定的目標下，求一組使目標值最大的參數(shù)。

max(f(x0,x1,x2,x3,...,xn)),xi∈[0,1]

由于架構本身并不知道ADF運行的函數(shù)實現(xiàn)，因此目標函數(shù)是完全未知的，無法用梯度下降/牛頓迭代法等處理，更不用說線性規(guī)劃的那些解法了。

這時候可選擇的，就是窮舉法或啟發(fā)式算法。

最優(yōu)化算法

窮舉——網(wǎng)格搜索

學過支持向量機SVM的人應該都瞄過這個算法，是用來優(yōu)化RBF核中的兩個參數(shù)的。
很簡單的一個算法，設定精度，n層for循環(huán)窮舉所有的參數(shù)值即可。
直接寫段代碼說明吧：

//精度設為0.001，兩個參數(shù) double maxP = 0.0; double max_x0 = -1; double max_x1 = -1; for (double x0=0.0; x0<=1.0; x0+=0.001) {for (double x1=0.0; x1<=1.0; x1+=0.001){double currentP = f(x0, x1);if (currentP > maxP){maxP = currentP;max_x0 = x0;max_x1 = x1;}} }

在具體實現(xiàn)時，由于n是可變的，不能直接寫n個for循環(huán)，需要用一個進位算法實現(xiàn)，不詳述。

全隨機——蒙特卡洛算法

完全隨機地取若干組參數(shù)值，然后取其中最大的一組。

總結

以上是生活随笔為你收集整理的Renascence架构原理——最优化算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。