大家好，歡迎來(lái)到專欄《AutoML》，在這個(gè)專欄中我們會(huì)講述AutoML技術(shù)在深度學(xué)習(xí)中的應(yīng)用，這一期講述在優(yōu)化目標(biāo)設(shè)計(jì)中的應(yīng)用。

作者&編輯 | 言有三

一個(gè)有效的損失函數(shù)在深度學(xué)習(xí)任務(wù)中起了關(guān)鍵作用，然而損失函數(shù)都是人為設(shè)定，不僅需要有經(jīng)驗(yàn)的人員進(jìn)行反復(fù)嘗試，也只能獲得次優(yōu)的方案，如果可以讓模型自動(dòng)對(duì)優(yōu)化目標(biāo)進(jìn)行學(xué)習(xí)，將有望以更低的成本學(xué)習(xí)到更優(yōu)的模型。

1 AM-LFS

AM-LFS[1]將不同任務(wù)的損失函數(shù)用一種統(tǒng)一的形式表示，設(shè)計(jì)了一個(gè)搜索空間，利用了強(qiáng)化學(xué)習(xí)的思想來(lái)自動(dòng)搜索合適的損失函數(shù)的超參數(shù)，使用雙層次優(yōu)化框架來(lái)同時(shí)更新?lián)p失函數(shù)參數(shù)分布和網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重參數(shù)，流程如下：

首先作者將softmax及其一些變種統(tǒng)一到一個(gè)框架，這里的τ和t都是函數(shù)。τ控制著樣本不均衡變換，t控制著類內(nèi)與類間的度量距離比例。

因此搜索空間就可以是一個(gè)分段線性函數(shù)構(gòu)成的參數(shù)空間，可以使用強(qiáng)化學(xué)習(xí)方法進(jìn)行高效的搜索。

任務(wù)的損失包含了兩個(gè)，第一個(gè)是最小化任務(wù)的損失，第二個(gè)就是最大化模型獎(jiǎng)勵(lì)，此處獎(jiǎng)勵(lì)使用map等指標(biāo)。具體的實(shí)現(xiàn)是在內(nèi)層循環(huán)最小化任務(wù)的損失，外層循環(huán)最大化獎(jiǎng)勵(lì)，前者學(xué)習(xí)模型權(quán)重，后者學(xué)習(xí)損失函數(shù)的超參數(shù)，步驟如下：

當(dāng)然，研究者們還對(duì)衰減機(jī)制也進(jìn)行了搜索學(xué)習(xí)，感興趣的讀者可以去閱讀原文。

2 其他

Learning to teach with dynamic loss functions[2]也是致力于學(xué)習(xí)最優(yōu)的損失函數(shù)，但是它不是基于強(qiáng)化學(xué)習(xí)，而是直接基于梯度下降。具體到圖像分類任務(wù)中softmax損失來(lái)說(shuō)，需要學(xué)習(xí)一個(gè)sigmoid權(quán)重函數(shù)σ。

這可以看作是一種attention機(jī)制，狀態(tài)向量st包含當(dāng)前時(shí)刻t，當(dāng)前的訓(xùn)練集和測(cè)試集以及每一個(gè)類的精度。

Learning Effective Loss Functions Efficiently[3]中則對(duì)正則化技術(shù)進(jìn)行了學(xué)習(xí)，式子中的r就是一個(gè)分段線性凸函數(shù)。

Learning to teach[4]中不僅僅對(duì)損失進(jìn)行了學(xué)習(xí)，對(duì)數(shù)據(jù)的使用等也進(jìn)行了學(xué)習(xí)，感興趣的同學(xué)可以拓展閱讀。

[1]?Li C, Lin C, Guo M, et al. AM-LFS: AutoML for Loss Function Search[J]. arXiv preprint arXiv:1905.07375, 2019.

[2]?Wu L, Tian F, Xia Y, et al. Learning to teach with dynamic loss functions[C]//Advances in Neural Information Processing Systems. 2018: 6466-6477.

[3] Streeter M. Learning Effective Loss Functions Efficiently[J]. arXiv preprint arXiv:1907.00103, 2019.

[4] Yang Fan, Fei Tian, Tao Qin, Xiang-Yang Li, and Tie-Yan Liu. Learning to teach. In Interna-tional Conference on Learning Representations, 2018.?

總結(jié)

優(yōu)化目標(biāo)的自動(dòng)學(xué)習(xí)是一個(gè)非常具有價(jià)值的研究方向，將大大降低研究人員在參數(shù)調(diào)試上的工作，同時(shí)尋找到更有利于任務(wù)學(xué)習(xí)的目標(biāo)。

下期預(yù)告：AutoML在模型優(yōu)化中的應(yīng)用。

有三AI秋季劃

有三AI秋季劃已經(jīng)正式啟動(dòng)報(bào)名，模型優(yōu)化，人臉?biāo)惴?#xff0c;圖像質(zhì)量共24個(gè)項(xiàng)目，助力提升深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)算法和工程項(xiàng)目能力。

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期文章

總結(jié)

以上是生活随笔為你收集整理的【AutoML】损失函数也可以进行自动搜索学习吗？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。