最近在閱讀幾篇基于CNN的增量學習的論文。

《INCREMENTAL LEARNING WITH PRE-TRAINED CONVOLUTIONAL NEURAL NETWORKS AND BINARY ASSOCIATIVE MEMORIES》

09-19 閱讀

第一篇論文是《INCREMENTAL LEARNING WITH PRE-TRAINED CONVOLUTIONAL NEURAL NETWORKS AND BINARY ASSOCIATIVE MEMORIES》，這篇論文的實現思路算是比較簡單，利用預訓練的CNN作為特征提取器，然后使用PQ對特征編碼，然后使用 Binary associative memories 進行存儲和分類。

首先是介紹了增量學習的四個定義：
1. 新樣本可以學習新的信息；
2. 不需要舊的數據，減少內存使用；
3. 保留學過的信息，避免災變性失憶；
4. 適應新類別數據。

而過去的工作主要使用的方法有：
1. 為新的數據訓練新的分類器，比如 learn++方法；
2. 加入新數據后訓練舊模型得到新的模型；
3. 結合SVMs和learn++的“SVMlearn++”方法，但每次有新數據仍然需要訓練一個新的SVM，并且會丟失部分舊信息。

為了解決這些方法的固有問題，需要重新訓練模型，并且會丟失部分信息，本文的方法就是利用預訓練的CNN作為特征提取器，然后使用PQ對特征編碼，然后使用 Binary associative memories 進行存儲和分類。

整體實現如下圖所示：

這里比較關鍵的是第二步，即特征編碼，作者使用的是PQ（Product Quantization）[1]方法，實現代碼可以參考[2]和[3]，這個方法應該是有個比最近鄰搜索方法要更加高效的方法。

這個方法的做法是對于第一步提取的特征向量xm，用隨機挑選的K個參考點，相互獨立的量化成P個大小相等的子矩陣xmp,1≤p≤P。這里的參考點Yp=yp1,yp2,......,ypK，且有?xm∈X,xmp=yKp。

第二步最終是將特征向量都通過一個字母表（也就是參考點的字母表）轉換成一個固定長度的單詞qmp,1≤p≤P，然后通過一個二進制稀疏的聯合內存(binary sparse
associative memory)[4]將這些點一一聯系到一個輸出的類別，也就是需要將一個對應于qmp的神經元npk關聯到對應輸出類別cm的ηc,1≤c≤C，C是類別的數量。這里就是對應上圖中步驟三的步驟了。

這里第二步的特征編碼方法，其實非常類似于Bag of Words，同樣也是一種特征編碼方法，使用的是kmeans方法，而kmeans需要設置k個中心，這個等同于K個參考點，最終將特征向量變成m?k大小的矩陣，m是樣本數量，而論文的方法，應該是得到P?K，或者應該是P個大小為K的向量，但這只是根據上圖和論文的表達猜測得到的。

此外，訓練過程不會改變預訓練的CNN網絡，而聯合內存會在得到新的樣本或者新類別的樣本后進行修改。

論文選擇了Cifar10和兩個ImageNet的子數據集進行實驗，類別分別從0到10增加，然后也對比使用了最近鄰搜索的方法，最近鄰搜索的方法是比論文使用的PQ的結果要好一些，但是PQ計算更快，內存使用更少，實用性更高。

讀后感：
大概了解整個方法的實現流程，但是還是有些疑惑，如何實現這個增量學習的步驟，訓練部分肯定是按照上圖來一遍的，但是出現新數據后，也是繼續用CNN提取特征，然后特征編碼，再用這個二進制聯合內存來分類，或者是修改這個分類器，如果是這樣的話，其實也就是重新訓練模型了，還是說，修改的是一種映射關系呢，即npk和ηc的對應關系。

參考文獻：
1. Product Quantization for Nearest Neighbor Search
2. Product Quantization for Nearest Neighbor Search論文實驗
3. Github-yahoo/lopq: Training of Locally Optimized Product Quantization (LOPQ) models for approximate nearest neighbor search of high dimensional data in Python and Spark.
4. Sparse Neural Networks With Large Learning Diversity

總結

以上是生活随笔為你收集整理的基于CNN的增量学习论文的读后感的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。