最優化算法

背景

通過公式生成ADF之后，根據下層函數庫的配置，在結構不變的情形下，ADF是可以通過一系列值在0-1之間的參數進行調節的。也即ADF可表示為固定維數n的實數集，因此需要解決的問題就是在給定的目標下，求一組使目標值最大的參數。

max(f(x0,x1,x2,x3,...,xn)),xi∈[0,1]

由于架構本身并不知道ADF運行的函數實現，因此目標函數是完全未知的，無法用梯度下降/牛頓迭代法等處理，更不用說線性規劃的那些解法了。

這時候可選擇的，就是窮舉法或啟發式算法。

最優化算法

窮舉——網格搜索

學過支持向量機SVM的人應該都瞄過這個算法，是用來優化RBF核中的兩個參數的。
很簡單的一個算法，設定精度，n層for循環窮舉所有的參數值即可。
直接寫段代碼說明吧：

//精度設為0.001，兩個參數 double maxP = 0.0; double max_x0 = -1; double max_x1 = -1; for (double x0=0.0; x0<=1.0; x0+=0.001) {for (double x1=0.0; x1<=1.0; x1+=0.001){double currentP = f(x0, x1);if (currentP > maxP){maxP = currentP;max_x0 = x0;max_x1 = x1;}} }

在具體實現時，由于n是可變的，不能直接寫n個for循環，需要用一個進位算法實現，不詳述。

全隨機——蒙特卡洛算法

完全隨機地取若干組參數值，然后取其中最大的一組。

總結

以上是生活随笔為你收集整理的Renascence架构原理——最优化算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。