ML 自学者周刊：第 4 期
刊首語
這里記錄ML自學者群體，每周優秀的學習心得與資料。由于微信不允許外部鏈接，需要點擊文末的「閱讀原文」，才能訪問文中的鏈接。
本期內容
論文速遞
?CVPR2019：細粒度圖像識別新論文?基于元學習和AutoML的模型壓縮新方法
學習心得
?大煌?奔騰?昨夜星辰?大靈?大鵬鵬?安芯?呂濤
疑問解答
?lstm激活函數為什么sigmoid和tanh同時存在?研究生階段如何規劃
論文速遞
CVPR2019：細粒度圖像識別新論文
論文名稱：Destruction and Construction Learning for Fine-grained Image Recognition
論文地址[1]
該文獻是屬于細粒度圖像識別領域的。文章提到部分先前的方法需要判別性區域的標注先驗信息，標注成本高昂；并且先前方法一般需增加額外模塊，而這些模塊在推斷階段會引入額外的計算負擔。
因此文章引入“拆解與建構學習”機制使分類模塊獲得專家知識，其中“拆解”部分強迫分類模塊著重于判別性區域的區別，“建構”部分建立各局部區域的語義關聯并避免拆解帶來的含噪樣本引發的過擬合現象。文章工作中包括性能對比、消融實驗、控制變量法參數調整實驗、特征可視化等。
一句話概括該文獻：引入“拆解與建構學習”機制，強迫分類模塊著重于判別性區域的區別，并建立各局部區域的語義關聯并避免拆解帶來的含噪樣本引發的過擬合現象，且未引入額外判別性區域標注負擔和推斷階段的額外計算負擔。
基于元學習和AutoML的模型壓縮新方法
這篇文章來自于曠視。曠視內部有一個基礎模型組，孫劍老師也是很看好 NAS 相關的技術，相信這篇文章無論從學術上還是工程落地上都有可以讓人借鑒的地方。回到文章本身，模型剪枝算法能夠減少模型計算量，實現模型壓縮和加速的目的，但是模型剪枝過程中確定剪枝比例等參數的過程實在讓人頭痛。
這篇文章提出了 PruningNet 的概念，自動為剪枝后的模型生成權重，從而繞過了費時的 retrain 步驟。并且能夠和進化算法等搜索方法結合，通過搜索編碼 network 的 coding vector，自動地根據所給約束搜索剪枝后的網絡結構。和 AutoML 技術相比，這種方法并不是從頭搜索，而是從已有的大模型出發，從而縮小了搜索空間，節省了搜索算力和時間。
論文地址[2]?原文地址
學習心得
大煌
本周復現了一篇論文的代碼。復現的效果沒有論文的好。是一個很基礎的版本，歡迎交流和探討。復現代碼地址[3]
奔騰
本周復習了一下概率論，具體是過了一遍葉丙成老師的玩想概率，相對國內過于注重計算，而葉老師的課程很注重概念。最簡單的概念，隨機變量到底是什么，如果這個不清楚的話，可以再認真學學概率，會有新的收獲。
昨夜星辰
本周學習了詞向量的三種：word2vec，fasttext，elmo。代碼如下，放在筆記里面：
?word2vec[4]?fasttext[5]?elmo[6]
大靈
這周了解了一下密集計數。
?聚類計數：基于外觀和運動線索等特征進行聚類，適用于視頻序列，不適用于圖象。缺點：需要視頻，準確率較低?回歸計數：通過檢測計數 兩種：一是使用計算對象的密度來預測密度圖。使用高斯核將點級注釋矩陣轉換為密度圖。挑戰是確定高斯核的最佳大小，這個與對象的大小密切相關。第二種是一瞥（glance）基于網格的計數方法（不太懂） 缺點：受物體的大小變化影響大。??檢測計數：先檢測出對象，再計算數量，比glance和子圖標的表現更差。缺點：如果對象被遮擋效果就不好，其實物體的大小對這個的影響也有，效果可能要看訓練集和實際場景了。
大鵬鵬
本周由于在趕論文，所以自學的不多，主要看了《大話數據結構》中的第三、四章節，以及《數學之美》中的前5章。這兩本書算是入門類型的書籍了，根據之前看別人的經驗帖子，前者適合刷題吃力的小伙伴看，或者適合作為入門自然語言處理的啟蒙教材。
安芯
最近對圖像分析做了一個簡單的小結，我個人把模型訓練的相關流程簡單的總結一下如下：個人研究loss和初始化對模型影響最大除模型結構之外。
呂濤
本周剛開始接觸機器學習，學習了貝葉斯，線性回歸，決策樹，KNN模型，模型的評價方法
1.貝葉斯模型是基于概率的，通過貝葉斯方程和模糊處理，將事件的概率約等于已發生概率的積。2.線性回歸主要采用廣度摸索和深度搜索方法，對已發生事件對應的線性函數進行最優求解3.決策樹主要通過求解不同分割點得信息熵之和，判定每次的最優分割點，最終生成決策樹。4.模型評價主要通過不同緯度來進行，需要視情況而定，如pression，recall，auc等等5.知道了過擬合是什么意思，導致它產生的原因有很多，如數據太少，模型太復雜，數據分布，模型變化太快等等
疑問解答
lstm 激活函數為什么 sigmoid 和 tanh 同時存在[7]
其中一個原因如下：輸入x經過sigmoid函數后均值在0.5左右，不利于后續激活函數的處理。
而tanh的輸出在[-1,1]之間，因此相當于把輸入的均值調整為0，便于后續處理。
因此，tanh一般來說總是比sigmoid函數效果更好。
除了一些特殊情況：比如你想要激活函數的輸出值是一個概率時，顯然sigmoid函數更好。
研究生階段如何規劃
老師，您好。我現在大四學生，現在已經推免，本科和碩士專業為GIS（地理信息系統）。據我了解碩士老板是個大牛，但是其方向主要是系統應用開發，但我對數據科學這塊比較感興趣，將來也有讀博打算，因為前期參加比賽和論文寫作，對數據科學方面有一點了解，現在在系統的學著機器學習，請問研究生階段該如何規劃呢？
你這個問題首先存在以下方面考慮：
?第一：你是否真心喜歡你所在領域，能堅持研究幾年。?第二：你老板很牛是老板很牛，他只能會在你發論文和申請項目及開題幫助較大，寫代碼和推公式等活沒人幫你干只有自己。?第三：你已經推免說明成績在前十自己自學能力ok這點自信還是要有，自信、多嘗試、堅持是做好的思想基礎。系統開發和數據科學不沖突，數據科學只是系統開發一部分。GIS這個方向挺好可以做交通也可以搞地理和其他用途很廣。?第四：作為一名研究生快速成長的方式是完成自己科研任務同時選擇學術方向還是工程方向的決定后再開始深入的做下去。?第五：根據我的了解報送學生時間相對寬裕，我的建議第一年針對GIS方向完成畢業指標論文和三個大數據比賽并獲獎及自己的研究生課程。第二年完成自己的系統及開發。第三年盡量在實習前做出整個基于機器學習的系統開發demo。
總結：以上的建議僅僅代表個人看法，這樣做的好處
?能順利工作和讀博二選一都不影響。?前一兩年做好的數學基礎在系統開發應用起來可以提高開發效率。?面試的時候如果達到以上的水平根據我對各大公司和單位的可以直接拿到ssp的提前批免得進入費力的系統面試階段。
加入我們
公眾號內回復「自學」，即可加入ML自學者俱樂部社群?？梢酝陡迕恐軐W習心得或者優質學習資料，助力團體共同學習進步。
上一期內容References
[1]?論文地址:?http://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Destruction_and_Construction_Learning_for_Fine-Grained_Image_Recognition_CVPR_2019_paper.pdf
[2]?論文地址:?https://arxiv.org/abs/1903.10258
[3]?復現代碼地址:?https://github.com/HaHuangChan/Deep-Mating-for-Portrait-Animation
[4]?word2vec:?https://blog.csdn.net/weixin_43178406/article/details/102461021
[5]?fasttext:?https://blog.csdn.net/weixin_43178406/article/details/102465629
[6]?elmo:?https://blog.csdn.net/weixin_43178406/article/details/102522853
[7]?lstm 激活函數為什么 sigmoid 和 tanh 同時存在:?https://www.zhihu.com/question/46197687/answer/229098444
關于本站
“機器學習初學者”公眾號由是黃海廣博士創建，黃博個人知乎粉絲22000+，github排名全球前110名（32000+）。本公眾號致力于人工智能方向的科普性文章，為初學者提供學習路線和基礎資料。原創作品有：吳恩達機器學習個人筆記、吳恩達深度學習筆記等。
往期精彩回顧
那些年做的學術公益-你不是一個人在戰斗
適合初學者入門人工智能的路線及資料下載
吳恩達機器學習課程筆記及資源（github標星12000+，提供百度云鏡像）
吳恩達深度學習筆記及視頻等資源（github標星8500+，提供百度云鏡像）
《統計學習方法》的python代碼實現（github標星7200+）
精心整理和翻譯的機器學習的相關數學資料
首發：深度學習入門寶典-《python深度學習》原文代碼中文注釋版及電子書
備注：加入本站微信群或者qq群，請回復“加群”
加入知識星球（4300+用戶，ID：92416895），請回復“知識星球”
總結
以上是生活随笔為你收集整理的ML 自学者周刊：第 4 期的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 免费参会！百度智能云：从编码到网络传输，
- 下一篇： 带你少走弯路：强烈推荐的Keras快速入