豐色 發自 凹非寺
轉載自：量子位（QbitAI）

如何最大限度地提升模型精度？

最近，谷歌等機構發現：

性能不好的微調模型先不要扔，求一下平均權重！

就能在不增加推理時間以及內存開銷的情況下，提高模型的準確性和穩健性。

比如，研究人員就使用該方法創造了ImageNet1K的新紀錄：90.94%。

將它擴展到多個圖像分類以及自然語言處理任務中，也能提高模型的分布外性能，并改善新下游任務的零樣本性能。

而這個方法還有一個有趣的名字，叫Module soup——

是不是讓人一下子就讓人聯想到了斐波那契湯的笑話？（昨天的湯+前天的湯=今天的新湯）

△?知乎網友@hzwer，已授權

一共三種配方

回想一下在此之前，大家是如何給模型漲點的呢？

是不是先用各種超參數訓練出多個微調模型，然后再挑出驗證集上表現最好的那一個留下，其余丟掉？

由于神經網絡是非線性的，在不同的loss basin中可能有許多解，因此Module soup這一采用保留所有微調模型的權重，對其進行平均的方法就可以提高性能，還是讓人有點驚訝的。

不過，最近就已有研究發現，從相同的初始化配置中中獨立優化的微調模型，位于相同的誤差范圍內?（lie in the same basin of the error landscape）。

之前也有研究證明，沿單個訓練軌跡進行權重平均，可以提高隨機初始化訓練模型的性能。

作者正是從這些結論中受到啟發。

Module soup一共有三種“配方”（實現）：統一湯（uniform soup）、貪婪湯（greedy soup）和學習湯（learned soup）。

其中greedy soup是最主要采用的實現，因為它的性能比直接均勻地平均所有權重更高。

具體來說，Greedy soup通過順序添加每個模型作為“湯”中的潛在成分構建而成，并且只有在保持驗證集上的性能有所提高時才將相應模型保留在“湯”中。

排序按驗證集精度的降序排列。

性能超越單個最佳微調模型

作者進行了全面的微調實驗來確定Module soup的有效性。

首先是微調CLIP和ALIGN，這兩個模型在圖像-文本對上進行了對比損失預訓練。

結果經過module soup操作后，兩者在分布內和自然分布轉移（distribution shifts）測試集上的表現都比最佳的單個微調模型性能更佳。

△?左為CLIP，右為ALIGN

然后是在JFT數據集上預訓練的ViT-G模型。

也就是它在ImageNet1K數據集實現了90.94%的精度，打破了此前CoAtNet保持的90.88%，同時在推理階段還減少了25%的FLOPs。

在圖像分類任務以外，作者在NLP領域也對module soup進行了驗證。

下表是BERT和T5模型在GLUE benchmark的四個文本分類任務上的結果：

可以發現，雖然改進不如圖像分類中的效果明顯，但在多數任務下，greedy soup都可以相較最好的單個模型提高性能。

當然，作者也指出，module soup在適用性等方面存在局限，比如現在測試的都是在大型異構數據集上預先訓練的模型，在這些模型之外，效果并不是非常明顯。

最后，知乎網友@宮醬手藝人表示，其實這樣的模型參數平均是一個經典trick，transformer原始論文就用了。

你發現了嗎？

論文地址：
https://arxiv.org/abs/2203.05482

知乎@宮醬手藝人、@hzwer回答（已授權）：https://www.zhihu.com/question/521497951

往期精彩回顧適合初學者入門人工智能的路線及資料下載(圖文+視頻)機器學習入門系列下載中國大學慕課《機器學習》（黃海廣主講）機器學習及深度學習筆記等資料打印《統計學習方法》的代碼復現專輯 AI基礎下載機器學習交流qq群955171419，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【深度学习】90.94%准确率！谷歌刷新ImageNet新纪录！Model soups：提高模型的准确性和稳健性...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。