under review as a conference paper at ICLR 2015.

?

Motivation：

本文提出來一種regularization的方法，叫做FaMe (Factored Mean training). The proposed FaMe model aims to apply a similar strategy, yet learns a factorization of each weight matrix such that the factors are robust to noise.

?

具體做法如下：

Standard dropout hidden activation：

?

其中r^(l-1)是dropout noise。

FaMe hidden activation：

?

其中r^(l)也是noise，可以是dropout或者additive/multiplication Gaussian

唯一的區(qū)別在于把weight進(jìn)行matrix factorization可以變成low rank：

?

?

?

一些問題：

說實(shí)話我沒有太明白這個文章的motivation。除了做了一個Matrix factorization之外，基本上和standard dropout差不多。但是Standard dropout作為一種mask noise具有regularization的效果，按照作者自己在abstract里面陳述的，做factorization可以robust to noise。那么問題來了：

Q1：為什么會robust to noise？是因?yàn)閘ow rank嗎？noise對應(yīng)eigenvalue非常小的eigenvector，現(xiàn)在low rank導(dǎo)致非常小的eigenvalue變成0，某種程度上有denoise的效果？

Q2：為什么需要robust to noise呢？就像我前面說的，dropout noise正是帶來regularization效果的東東，是好的。如果robust to noise是Q1里面理解的那樣，有denoise的效果，那為什么要把好的noise給去掉呢？

Q3：V和U這兩個矩陣的參數(shù)怎么求的，我不是很清楚？作者說和standard的NN一樣？

?

實(shí)驗(yàn)部分：

本文測試的dataset有MNIST, CIFAR-10. 從實(shí)驗(yàn)結(jié)果來看，效果并不明顯。

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/yyuanad/p/4326649.html

總結(jié)

以上是生活随笔為你收集整理的Deep Learning 论文笔记 (2): Neural network regularization via robust weight factorization的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。