歡迎大家來(lái)到《知識(shí)星球》專欄，這里是網(wǎng)絡(luò)結(jié)構(gòu)1000變小專題，我們要慢慢開(kāi)始更新AutoML與網(wǎng)絡(luò)設(shè)計(jì)相關(guān)的內(nèi)容。

作者&編輯 | 言有三

1 MixNet

有三AI知識(shí)星球-網(wǎng)絡(luò)結(jié)構(gòu)1000變

MixNet

基于Depthwise的分組卷積是一個(gè)非常有效的模型設(shè)計(jì)，不過(guò)它們通常是用同樣大小的卷積核，MixNet則使用了可學(xué)習(xí)的多尺度卷積核提升其性能。

作者/編輯 言有三

我們?cè)谇懊嬉呀?jīng)給大家講述過(guò)許多的分組卷積模型，比如MobileNet V1/V2中全部都是使用3*3，如果使用其他大小的卷積核，性能如何呢？

上面是實(shí)驗(yàn)對(duì)比，可以發(fā)現(xiàn)隨著卷積核增加，性能有增加的趨勢(shì)，雖然到了9*9之后性能會(huì)下降。

既然不同的卷積核大小有性能的差異，說(shuō)明各自還是學(xué)習(xí)到了不同的特征表達(dá)，再參考到Inception等多尺度結(jié)構(gòu)，自然就可以想到用不同大小的卷積核進(jìn)行實(shí)驗(yàn)。

網(wǎng)絡(luò)結(jié)構(gòu)如上，關(guān)于使用多少種不同尺度的卷積核，有兩種思路。第一種，就是人工設(shè)定，比如使用3x3, 5x5, 7x7, 9x9等四種卷積核，各自的通道數(shù)量可以均分。

當(dāng)然更好的方式就是基于學(xué)習(xí)了，讓其對(duì)卷積核的種類和通道數(shù)量劃分進(jìn)行搜索，看看實(shí)驗(yàn)對(duì)比如下：

上圖展示的是在不同計(jì)算量下的兩套模型的性能對(duì)比，上表展示的是具體的指標(biāo)，結(jié)果當(dāng)然是MixNet性能更優(yōu)秀了。

[1] Tan M, Le Q V. MixNet: Mixed Depthwise Convolutional Kernels[J]. arXiv preprint arXiv:1907.09595, 2019.

2 ScaleNet

有三AI知識(shí)星球-網(wǎng)絡(luò)結(jié)構(gòu)1000變

ScaleNet

分組網(wǎng)絡(luò)的不同分支可以擁有同樣的感受野，也可以擁有不同的感受野，不過(guò)以往都是通過(guò)手動(dòng)進(jìn)行分配。然而不同的感受野對(duì)于不同的任務(wù)來(lái)說(shuō)，應(yīng)該有不同的重要性，ScaleNet就可以學(xué)習(xí)到不同的權(quán)重。

作者/編輯 言有三

網(wǎng)絡(luò)結(jié)構(gòu)如上，可以看到不同尺度在不同網(wǎng)絡(luò)層的比例不同，整體結(jié)構(gòu)與一般分組卷積無(wú)異。

ScaleNet具體的流程是：

(1) 初始化，每個(gè)尺度的通道數(shù)量進(jìn)行均勻分配。

(2) 訓(xùn)練該網(wǎng)絡(luò)直到收斂。

(3) 根據(jù)BN層的縮放因子，在滿足計(jì)算量的約束下，選擇其中最重要的一些分支。

(4) 得到新的網(wǎng)絡(luò)，重新訓(xùn)練該網(wǎng)絡(luò)。

作者們將這個(gè)結(jié)構(gòu)替換掉ResNet中的基本單元，如下：

使用ResNet系列在ImageNet上面的訓(xùn)練結(jié)果如下：

可以發(fā)現(xiàn)以更低的flops取得了更高的精度，下圖展示了各個(gè)網(wǎng)絡(luò)層的統(tǒng)計(jì)。

可以看出，不同層所需的尺度比例，即對(duì)感受野的需求是不同的。

參考文獻(xiàn)

[1] Li Y, Kuang Z, Chen Y, et al. Data-Driven Neuron Allocation for Scale Aggregation Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 11526-11534.

3 關(guān)于有三AI知識(shí)星球

有三AI知識(shí)星球是我們繼公眾號(hào)之后重點(diǎn)打造的原創(chuàng)知識(shí)學(xué)習(xí)社區(qū)，有需要的同學(xué)可以閱讀下文了解生態(tài)。

大家可以預(yù)覽一些內(nèi)容如下，添加有三微信Longlongtogo加入可以優(yōu)惠。

以上所有內(nèi)容

加入有三AI知識(shí)星球即可獲取

來(lái)日方長(zhǎng)

點(diǎn)擊加入

不見(jiàn)不散

更多精彩

每日更新

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

總結(jié)

以上是生活随笔為你收集整理的【知识星球】卷积核和感受野可动态分配的分组卷积的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。