AI：IPPR的数学表示-CNN稀疏结构进化（Mobile、xception、Shuffle、SE、Dilated、Deformable）
???????? 接上一篇：AI：IPPR的數學表示-CNN基礎結構進化（Alex、ZF、Inception、Res、InceptionRes）。
? ? ? ?? 抄自于各個博客，有大量修改，如有疑問，請移步各個原文.....17年的總結...CSDN吞圖. ?????????????????
?前言：AutoML-NasNet
??????? VGG結構和INception結構、ResNet基元結構的出現，驗證了通過反復堆疊小型inception結構可以構建大型CNN網絡，而構建過程可以通過特定的規則自動完成。自動完成大型網絡的稀疏性構建出現了一定的人為指導，如Mobile、xception、Shuffle、SE各個網絡，另一方面是遠未得到泛用性的AutoML自動搜索網絡結構。
?????? Google I/O開發者大會上，萬惡的資本主義壟斷公司全球私人信息的無恥把持者—美國谷歌推出能自動設計機器學習模型的方法AutoML，想讓神經網絡更“平易近人”。雖然AutoML能設計出與人類設計的神經網絡同等水平的小型神經網絡，但始終被限制在CIFAR-10和Penn Treebank等小型數據集上。即使在CIFAR-10 等小型數據集上進行搜索CNN結構，仍然需要500塊TESLA顯卡的水準。
??????? AutoML方法主要使用了強化學習和遷移學習。論文NAS-NeuralArchitecture Search With ReinforcementLearning的基礎做了突破性的改進，使得能讓機器在小數據集（CIFAR-10數據集）上自動設計出CNN網絡，并利用遷移學習技術使得設計的網絡能夠被很好的遷移到ImageNet數據集，驗證集上達到了82.7%的預測精度，同時也可以遷移到其他的計算機視覺任務上（如目標檢測）。
?????? 至此，Google接近完成布局整個AI的基礎設施，主推的中間件平臺（機器學習框架）TensorFlow，向上延伸到直接面對問題域的自動生成結構框架AutoML，向下延伸到Android系統，以及硬件執行處理器TPU。這樣，你只要給出問題描述和一部分數據，使用Google的服務可以一站式完成。這就意味著，只要哪天Google不爽了或者美國不爽了，Google不再給你服務，你將不僅連空中樓閣都不是，而是海市蜃樓。
???
神經網絡結構自動搜索初探：
?????? Neural Architecture Search with Reinforcement Learning（ICLR 2017 Best Paper）。為了增加網絡結構搜索的 scalability，Google Residency Program 的成員 Barrret Zoph 在 Quoc Le 的帶領下開始了神經網絡自動調參的嘗試，Neural Architecture Search with Reinforcement Learning 就是對這一工作的總結。該論文獲得了 ICLR 2017 的 Best Paper。Barret Zoph 的工作成功在 CIFAR 和 PTB 上面搜索到了 state-of-the-art 的 CNN 和 LSTM 結構。
?????? ? Barret Zoph 使用強化學習進行網絡結構搜索，網絡框架圖如下圖：
???????
??????? Controller 是由 RNN 構成能夠產生每層網絡的 Kernel 大小和 skip connection 的連接，產生了網絡結構之后，使用網絡結構的準確率作為 Reward function。Controller 會根據 reward function 的反饋進行網絡結構調節，最后會得到最優的網絡結構。Controller 生成網絡結構預測如下圖：
??????
............................
??????? AutoML分別找到在CIFAR-10和ImageNet圖像分類、COCO物體檢測中的最佳層。這兩層結合形成一種新架構，我們稱之為“NASNet”。
??????
?????
?????? 直接使用nas的框架來跑imagenet顯然是不行的！于是就有了AutoML這篇工作了：[1707.07012] Learning Transferable Architectures for Scalable Image Recognition。個人覺得這篇工作可以看做是在nas的基礎上加上幾個改進，使得可以在cifar10上設計的網絡能夠在imagenet上有效。
?????? 第一個改進其實是一個經驗：cnn 可以由同構模塊進行堆疊而構成。這樣設計一個大型cnn網絡就直接簡化為設計一個block就行了，也就可以用nas解決了。
??????? 第二個改進：合理選擇搜索空間中的操作，使得block運行時對輸入尺寸沒有要求(例如卷積，pooling等操作)。這樣圖像由cifar的32 到imagenet的大尺寸圖片就不會有問題了。
??????? 第三個改進還是經驗：block的連接，block內部的一些拓撲結構根據經驗可以固定，不用去學。
基于以上幾條，nas那一套就可以直接用啦。這篇工作里面的網絡也看起來人性化一些，一個原因就是經驗性的東西加入了很多。
??????? 有了上面的想法，留給機器來做就好了，剩下的事情就簡單了。。。。。。。。。個屁啊，好的想法和最終的paper之間還差500塊gpu呢(ﾉ｀⊿′)ﾉ。
?
另一個分支
??????? CNN的一個方向是模塊化以及結構化，進而可以自動化生成。另外一個方向則向著輕量化、稀疏化的方向發展，主力為人工設計優化網路結構。網絡結構產生各種進化，有MobileNet、ShuffleNet、deformNet等。一切都是為了結構再稀疏。
????? ? 搜狗總是無辜切換繁體字...
?
Bottleneck-為降低參數而降低參數
???? ? 為降低參數而降低參數，微軟的發展了ResNet網絡，對應Google發展了Inception結構，加入1×1卷積核。
?????? 文章：?? ResNet之Deeper Bottle Architecture，簡稱DBA
?????? 關于ResNet，原作者闡述
Because of concerns on the training time that we can afford, we modify the building block as abottleneck design.
?????? 就是說，作者考慮到自己GPU的計算能力有限，所以才采用了bottleneck design！說到底還是沒錢上1080唄！不過2015年的時候1080還沒出來，那他為什么不上TITAN，還是沒錢唄！一個DBA內部的結構圖如下：
?????? ，通過對ResNet基元的疊加，產生大的整個ResNet網絡。
?????? 另一方面，GoogleNet的團隊發現，如果僅僅引入多個尺寸的卷積核，會帶來大量的額外的參數，受到Network In Network中1×1卷積核的啟發，為了解決這個問題，他們往Inception結構中加入了一些1×1的卷積核，如圖所示：
?
加入1×1卷積核的Inception結構
根據上圖，我們來做個對比計算，假設輸入feature map的維度為256維，要求輸出維度也是256維。有以下兩種操作：
256維的輸入直接經過一個3×3×256的卷積層，輸出一個256維的feature map，那么參數量為：256×3×3×256 = 589,824
256維的輸入先經過一個1×1×64的卷積層，再經過一個3×3×64的卷積層，最后經過一個1×1×256的卷積層，輸出256維，參數量為：256×1×1×64 + 64×3×3×64 + 64×1×1×256 = 69,632。足足把第一種操作的參數量降低到九分之一！
??? 1×1卷積核也被認為是影響深遠的操作，往后大型的網絡為了降低參數量都會應用上1×1卷積核。1×1卷積核并不是真正的濾波器，它只是圖像的每個點都乘以1個權重，再加上一個偏置。M張圖像——>1個1×1卷積神經元(有M個權重、一個偏置)——>1張圖像。
?
可分離卷積結構-xception/MobileNet
?
??????? DepthWise操作：卷積操作非必須同時考慮通道和區域，由此引發把通道和空間區域分開考慮的DepthWise操作。
?????? 一個2×2的卷積核在卷積時，對應圖像區域中的所有通道均被同時考慮，問題在于，為什么一定要同時考慮圖像區域和通道？下圖為對比標準卷積核DepthWise操作。
???????
??????? 我們為什么不能把通道和空間區域分開考慮？
????????
?????? 我們首先對每一個通道進行各自的卷積操作，有多少個通道就有多少個過濾器。得到新的通道feature maps之后，這時再對這批新的通道feature maps進行標準的1×1跨通道卷積操作。這種操作被稱為 “DepthWise convolution” ，縮寫“DW”。
????? 這種操作是相當有效的，在imagenet 1000類分類任務中已經超過了InceptionV3的表現，而且也同時減少了大量的參數，我們來算一算，假設輸入通道數為3，要求輸出通道數為256，兩種做法：
?????? 1.直接接一個3×3×256的卷積核，參數量為：3×3×3×256 = 6,912
?????? 2.DW操作，分兩步完成，參數量為：3×3×3 + 3×1×1×256 = 795，又把參數量降低到九分之一 ！ 因此，一個depthwise操作比標準的卷積操作降低不少的參數量，同時論文中指出這個模型得到了更好的分類效果。
????? Inception假設：卷積層試圖在3D空間學習過濾器，2個空間維度（ 寬和高）以及1個通道維度，因此一個卷積核需要同時繪制跨通道相關性和空間相關性。Inception模塊背后的思想就是通過將這個過程分解成一系列相互獨立的操作以使它更為便捷有效。進一步講，典型的Inception模塊首先處理跨通道相關性，通過一組1×1卷積，將輸入數據繪制到3或4個小于原始輸入的不同空間，然后通過3×3或者5×5卷積將所有相關性繪制到更小的3D空間。圖示如上。實際上Inception背后基本的假設是使跨通道相關性和空間相關性的繪制有效脫鉤。
?
????? 通道間的相關性和空間相關性完全分離，文章：對Xception（一種深度可分離卷積）模型的介紹
????? Google現在作惡已經肆無忌憚了：如何評價google的inceptionX網絡，闡述的比較詳細
? ? ? xception：一個完全基于深度可分卷積層的卷積神經網絡結構。實際上，我們做如此假設：卷積神經網絡的特征圖中的跨通道相關性和空間相關性的繪制可以完全脫鉤。由于這種假設是Inception結構中極端化的假設，我們將它稱作Xception，意指極端Inception。
?
交錯組卷積IGC-模塊：
?
?????? 7 月 17 日，微軟亞洲研究院的一篇論文《Interleaved Group Convolutions for Deep Neural Networks》入選計算機視覺領域頂級會議 ICCV 2017（International Conference on Computer Vision）。論文中提出了一種全新的通用卷積神經網絡交錯組卷積（Interleaved Group Convolution，簡稱 IGC）模塊，解決了神經網絡基本卷積單元中的冗余問題，可以在無損性能的前提下，縮減模型、提升計算速度，有助于深度網絡在移動端的部署。研究就從通道的角度出發，設計了一種全新的卷積冗余消除策略。
?
?????? 文章：交錯組卷積詳解? ，消除冗余卷積核
?????? 論文：Interleaved Group Convolutions for Deep Neural Networks
?????? 研究的設計思路是來自于微軟亞洲研究院去年提出的深度融合（Deep Fusion）概念，其本質是將不同分支的網絡在中間層進行融合。他們在進一步研究中發現，一個標準的卷積也可以采用類似的多分支結構，由此展開深入研究，研究出了較為簡單的交錯組卷積模塊，即 IGC 模塊。
???????
?
?????? 每個交錯組卷積模塊包括兩個組卷積（group convolution）過程——第一次組卷積（primary group convolution）以及第二次組卷積（secondary group convolution）。組卷積曾被用于 AlexNet 中，將模型分布在兩個 GPU 上以解決內存處理問題。用一個 32 通道的例子來解釋一下組卷積：把 32 個輸入通道平均分為 4 組，每組擁有 8 個通道，并分別對 4 組單獨做卷積運算。這樣的好處是參數較少可以提升計算速度，但是同時，由于每組卷積之間不存在交互，不同組的輸出通道與輸入通道并不相關。為了讓輸入通道與每一個輸入通道實現關聯，交錯組卷積過程巧妙地引入了第二次組卷積，即第二次組卷積過程中，每組的輸入通道均來自于第一次組卷積過程不同的組，達到交錯互補的目的。
?????
????????????????????????????????????????????????????????????????????????????????? 交錯組卷積過程
?????? 從消除卷積核冗余的角度看，一個組卷積等價于具有稀疏核的普通卷積，而交錯組卷積，即兩次組卷積則等價于兩個稀疏核相乘的普通卷積。這兩個稀疏矩陣相乘可以得到兩兩相關的稠密矩陣，是一個線性的過程。在網絡模型大小及計算復雜度相同的條件下，相較于普通卷積，使用 IGC 模塊的網絡更寬，性能更優。
........................
?????? Xception 模塊可以看作交錯組卷積的一個特例。如果第一次組卷積過程中，每組只有一個輸出通道，那么就變成了特殊的組卷積，即 channel-wise convolution，第二次組卷積成為 1X1 的卷積，這與 Xception 相似；如果第一次組卷積過程里僅有一組，那么這個過程就變成了普通卷積，第二次組卷積過程則相當于分配給每個通過一個不同的權重。那么問題來了，極端情況下是否能帶來最佳結果？研究團隊也針對這個問題進行了探討，并設計了相關實驗，結果發現并不是這樣。
????????
?
?????? 通過實驗結果可以發現，網絡的性能會隨著通道數及組數的變化而變化，最優性能配置點存在于兩個極端情況之間。精確度會隨著第一次組卷積分成的組數的增加（第二次組卷積分成的組數的減少）而提升，達到極值后開始降低。
?
?
?
MobileNet：
??????? MobileNet的主要工作是用depthwise sparable convolutions替代過去的standard convolutions來解決卷積網絡的計算效率和參數量的問題。使用深度分離的卷積可以極大地減少運算和內存的消耗，同時僅犧牲1%~5%的準確率損失，準確率的折損率取決于需要達到的運算節約。
???????
?
ShulffeNet-分組卷積操作：
??????? 在AlexNet的Group Convolution當中，特征的通道被平均分到不同組里面，最后再通過兩個全連接層來融合特征，這樣一來，就只能在最后時刻才融合不同組之間的特征，對模型的泛化性是相當不利的。為了解決這個問題，ShuffleNet在每一次層疊這種Group conv層前，都進行一次channel shuffle，shuffle過的通道被分配到不同組當中。進行完一次group conv之后，再一次channel shuffle，然后分到下一層組卷積當中，以此循環。
???????
? 來自ShuffleNet論文
?????? 經過channel shuffle之后，Group conv輸出的特征能考慮到更多通道，輸出的特征自然代表性就更高。另外，AlexNet的分組卷積，實際上是標準卷積操作，而在ShuffleNet里面的分組卷積操作是depthwise卷積，因此結合了通道洗牌和分組depthwise卷積的ShuffleNet，能得到超少量的參數以及超越mobilenet、媲美AlexNet的準確率！速度可以超過AlexNet10倍。
?????? 要注意的是，Group conv是一種channel分組的方式，Depthwise +Pointwise是卷積的方式，只是ShuffleNet里面把兩者應用起來了。因此Group conv和Depthwise +Pointwise并不能劃等號。
?????? 此文打的字比較多：從MobileNet到ShuffleNet-CNN網絡優化學習總結 ，長文也算比較有條理性，建議花半個小時讀一下這個翻譯。
?????? ........................
?????? 論文：ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
????? 分析一下 Xception 與 ResNeXt 的問題。先說效率，Xception 和 ResNeXt 所引入的 depthwise separable convolution 和 group convolution 雖然能協調模型的能力與計算量，但被發現它們的 pointwise convolution 占據著很大的計算量。因此ShuffleNet考慮引入 pointwise group convolution 來解決這個問題，后文有例子能看出這點。再說準確率，前面也提到過 ResNeXt 的 C 參數是有極限的，也就是說給 ResNeXt 調參是沒有前途的，僅有的參數還有極限。而且 group convolution 用 groups 數來協調模型效果與計算量，這本身就是一對技術矛盾。TRIZ理論告訴我們遇到技術矛盾，一定要打消協調的念頭，并深入挖掘矛盾本質，尋找機會消除矛盾。
?????? 我認為 ShuffleNet 解決這兩個問題的思路是，先引入 pointwise group convolution 解決效率問題，再想辦法把它所帶來的次級問題與原來的效果問題合在一起解決，原因是次級問題也是group的調整。實際上，引入 pointwise group convolution 可以認為利用 TRIZ 的 STC 算子或提前做原則，這跟 Xception 把 groups 分到最小變成 depthwise 的極限思路也像。既然 ResNeXt 在瓶頸模塊中間采用了 splitting 策略，為何就不在輸入就采用這種策略呢？這樣不網絡整體就分離了么？然而，這個分組數 g 跟 Cardinality 一樣影響著模型的能力，由此 pointwise group convolution 帶來了次級問題。而這個問題的本質是什么呢？對比分組卷積和常規卷積的運算規則，我們能夠發現根本矛盾可能是分組卷積沒有 Channel Correlation，那么需要解決的矛盾就變成如何讓分組卷積也有 Channel Correlation。Face++ 用 Channel Shuffle 來解決這個問題。
???????
?????? 如上圖(b)所示，Input 分成 3 組并分別做了對應的變換( 3x3 GConv1)，然后在下一次變換(3x3 GConv2)之前做了一次分組間的 Channel Shuffle。如此一來，每個分組就含有了 其它分組的局部 Channel Correlation 了。如果 Channel Shuffle 次數足夠多，我覺著就可以認為這完全等效于常規卷積運算了。這是一個不錯的創新點，只是效率看起來并不那么完美，原因是 Channels Shuffle 操作會導致內存不連續這個影響有待評估。另外，即使兩個分組的大小不一樣，Channel Shuffle 仍然是可以做的。ShuffleNet 以 Channel Shuffle 為基礎構造出 ShuffleNet Unit，最后我們看一下這個 ShuffleNet Unit。
?????
?????? 關于計算和推導還是看原文吧：從MobileNet到ShuffleNet-CNN網絡優化學習總結
?????? ShuffleNet，通過引入 Channel Shuffle 解決分組卷積的 Channel Correlation 問題，并充分驗證它的有效性，同時具備理論創新與實用性。理論上，用了一種輕量級的方法解決了 AlexNet 原有的分組并行信息交互問題。而且這個網絡的效率很高，適合嵌入式產品。美中不足的是，Channel Shuffle 看起來對現有 CPU 不大友好，畢竟破壞了數據存儲的連續性，使得 SIMD（單指令多數據流） 的發揮不是特別理想，估計在實現上需要再下點功夫。
?
通道之間特征稀疏性——SENet???????
??????? 無論是在Inception、DenseNet或者ShuffleNet里面，我們對所有通道產生的特征都是不分權重直接結合的，那為什么要認為所有通道的特征對模型的作用就是相等的呢？ 這是一個好問題，于是，ImageNet2017 冠軍SEnet就出來了。
????????
?????? SEnet 結構 : 一組特征在上一層被輸出，這時候分兩條路線，第一條直接通過，第二條首先進行Squeeze操作（Global Average Pooling），把每個通道2維的特征壓縮成一個1維，從而得到一個特征通道向量（每個數字代表對應通道的特征）。然后進行Excitation操作，把這一列特征通道向量輸入兩個全連接層和sigmoid，建模出特征通道間的相關性，得到的輸出其實就是每個通道對應的權重，把這些權重通過Scale乘法通道加權到原來的特征上（第一條路），這樣就完成了特征通道的權重分配。作者詳細解釋可以看這篇文章：專欄 | Momenta詳解ImageNet 2017奪冠架構SENet.
??????? 中國人寫的，就不必要裝13看英文了......
????? ? 論文下載鏈接：https://arxiv.org/pdf/1709.01507.pdf
??????? Pretrained模型和相關代碼可訪問github獲取: https://github.com/hujie-frank/SENet
?
固定卷積核增加感受野-dilated conv孔洞卷積
????? ?? 參考：MIT SceneParsing 與dilated conv網絡；如何理解擴展卷積網絡？下一段摘抄于此文
?????? ? 論文：Multi-scale context aggregation by dilated convolutions
???? ?? 誕生背景，在圖像分割領域，圖像輸入到CNN（典型的網絡比如FCN[3]）中，FCN先像傳統的CNN那樣對圖像做卷積再pooling，降低圖像尺寸的同時增大感受野，但是由于圖像分割預測是pixel-wise的輸出，所以要將pooling后較小的圖像尺寸upsampling到原始的圖像尺寸進行預測（upsampling一般采用deconv反卷積操作，deconv可參見知乎答案如何理解深度學習中的deconvolution networks？），之前的pooling操作使得每個pixel預測都能看到較大感受野信息。因此圖像分割FCN中有兩個關鍵，一個是pooling減小圖像尺寸增大感受野，另一個是upsampling擴大圖像尺寸。在先減小再增大尺寸的過程中，肯定有一些信息損失掉了，那么能不能設計一種新的操作，不通過pooling也能有較大的感受野看到更多的信息呢？答案就是dilated conv。
??????? 標準的3×3卷積核只能看到對應區域3×3的大小，但是為了能讓卷積核看到更大的范圍，dilated conv使其成為了可能。dilated conv原論文中的結構如圖所示：
????????
??????? 上圖b可以理解為卷積核大小依然是3×3，但是每個卷積點之間有1個空洞，也就是在綠色7×7區域里面，只有9個紅色點位置作了卷積處理，其余點權重為0。這樣即使卷積核大小不變，但它看到的區域變得更大了。
???????? dilated的好處是不做pooling損失信息的情況下，加大了感受野，讓每個卷積輸出都包含較大范圍的信息。在圖像需要全局信息或者語音文本需要較長的sequence信息依賴的問題中，都能很好的應用dilated conv，比如圖像分割[3]、語音合成WaveNet[2]、機器翻譯ByteNet[1]中。
?
消除邊緣冗余-變形卷積核
??????? 同樣的物體在圖像中可能呈現出不同的大小、姿態、視角變化甚至非剛體形變，如何適應這些復雜的幾何形變是物體識別的主要難點，也是計算機視覺領域多年來關注的核心問題。
??????? 微軟亞洲研究院視覺計算組的研究員在arXiv上公布了一篇題為“Deformable Convolutional Networks”（可變形卷積網絡）的論文，首次在卷積神經網絡（convolutional neutral networks，CNN）中引入了學習空間幾何形變的能力，得到可變形卷積網絡（deformable convolutional networks），從而更好地解決了具有空間形變的圖像識別任務。研究員們通過大量的實驗結果驗證了該方法在復雜的計算機視覺任務（如目標檢測和語義分割）上的有效性，首次表明在深度卷積神經網絡（deep CNN）中學習空間上密集的幾何形變是可行的。
????? ? ? GitHub代碼：https://github.com/msracver/Deformable-ConvNets
????? ?? 論文：Deformable Convolutional Networks
???????? 文章翻譯：可變形卷積網絡—計算機新“視”界
???????? 傳統的卷積核一般都是長方形或正方形，但MSRA提出了一個相當反直覺的見解，認為卷積核的形狀可以是變化的，變形的卷積核能讓它只看感興趣的圖像區域 ，這樣識別出來的特征更佳。
??????
?????? 微軟亞洲研究院的研究員們發現，標準卷積中的規則格點采樣是導致網絡難以適應幾何形變的“罪魁禍首”。為了削弱這個限制，研究員們對卷積核中每個采樣點的位置都增加了一個偏移的變量。通過這些變量，卷積核就可以在當前位置附近隨意的采樣，而不再局限于之前的規則格點。這樣擴展后的卷積操作被稱為可變形卷積（deformable convolution）。標準卷積和可變形卷積在圖1中有簡要的展示。
??????????
??????? 可變形卷積單元中增加的偏移量是網絡結構的一部分，通過另外一個平行的標準卷積單元計算得到，進而也可以通過梯度反向傳播進行端到端的學習。加上該偏移量的學習之后，可變形卷積核的大小和位置可以根據當前需要識別的圖像內容進行動態調整，其直觀效果就是不同位置的卷積核采樣點位置會根據圖像內容發生自適應的變化，從而適應不同物體的形狀、大小等幾何形變，如圖2、3中所展示。
??????????
????? 總結：要做到可變性操作，可以直接在原來的過濾器前面再加一層過濾器，這層過濾器學習的是下一層卷積核的位置偏移量（offset），這樣只是增加了一層過濾器，或者直接把原網絡中的某一層過濾器當成學習offset的過濾器，這樣實際增加的計算量是相當少的，但能實現可變形卷積核，識別特征的效果更好。
?
CNN結構的新發展
?????? 一個類似于窮舉的大CNN結構到了貌似接近遍歷整個圖像狀態空間的程度，迭代更新的過程中附帶著CNN結構的稀疏性構建。同時也代表了解決一般問題的通路，逐步劃分子空間，從歸納到遍歷的一般套路。
卷積核方面：大卷積核用多層多個個小卷積核代替；單一尺寸卷積核用多尺寸卷積核代替；固定形狀卷積核趨于使用可變形卷積核；使用1×1卷積核（bottleneck結構）。
卷積層通道方面：標準卷積用depthwise卷積代替；使用分組卷積；分組卷積前使用channel shuffle；通道加權計算。
卷積層連接方面：使用skip connection，讓模型更深，集成為概率模型；densely connection，使每一層都融合上其它層的特征輸出（DenseNet），這種方法不一定妥當......
其他啟發：類比到通道加權操作，卷積層跨層連接能否也進行加權處理？bottleneck + Group conv + channel shuffle + depthwise的結合會不會成為以后降低參數量的標準配置？
?
創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的AI：IPPR的数学表示-CNN稀疏结构进化（Mobile、xception、Shuffle、SE、Dilated、Deformable）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 10款路由器大对比-路由器 比较
- 下一篇： AI：IPPR的数学表示-CNN结构进化