加法網(wǎng)絡(luò)"宇宙"來了！AdderNet極簡硬件設(shè)計曝光，對此你怎么看？

在深度學(xué)習(xí)里，乘積是個避免不了的運算，比如做圖像識別的卷積層，就需要做大量的乘法。但是，與加法運算相比，乘法運算的計算復(fù)雜度高得多。

現(xiàn)在的深度學(xué)習(xí)在很大程度上依賴于GPU硬件，做大量的乘法運算，限制了它在移動設(shè)備上的應(yīng)用，需要一種更高效的方法。如果能夠拋棄乘法運算，是不是會讓代碼運行速度更快呢？

來自北京大學(xué)、華為諾亞方舟實驗室、鵬城實驗室的研究人員提出了一種加法器網(wǎng)絡(luò)AdderNet，去掉卷積乘法，并設(shè)計一種新的反向傳播算法，結(jié)果也能訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

而且實驗結(jié)果證明了，這種方法在MNIST、CIFAR-10、SVHN上已經(jīng)接近傳統(tǒng)CNN的SOTA結(jié)果。

加法網(wǎng)絡(luò)早已有之，早在2015年，Bengio等人就提出了二元權(quán)重（1或-1）神經(jīng)網(wǎng)絡(luò)，用簡單的累加運算來代替乘法，提高深度學(xué)習(xí)硬件的運行效率。

緊接著在2016年，Bengio等人進一步提出了二元神經(jīng)網(wǎng)絡(luò)（BNN），不僅是權(quán)重，連激活函數(shù)也被設(shè)定為二元形式。盡管將深度神經(jīng)網(wǎng)絡(luò)二元化可以極大地降低了計算成本，但是原始識別精度經(jīng)常無法保持。

另外，二元網(wǎng)絡(luò)的訓(xùn)練過程不穩(wěn)定，并且通常收斂速度較慢。卷積通常作為默認操作從圖像數(shù)據(jù)中提取特征，若引入各種方法來加速卷積，則存在犧牲網(wǎng)絡(luò)性能的風(fēng)險。如何讓避免CNN中的乘法呢？

研究人員使用L1了距離。L1距離是兩點坐標差值的絕對值之和，不涉及乘法。加法運算是L1距離中的主要操作，使用補碼可以輕松地將求差值的運算轉(zhuǎn)化為加法。

研究人員在此基礎(chǔ)上提出了加法器網(wǎng)絡(luò)AdderNet，不同類別的CNN特征按其角度來劃分。由于AdderNet使用L1范數(shù)來區(qū)分不同的類，因此AdderNet的特征傾向于聚集到不同的類中心。

可視化的結(jié)果表明，L1距離可用作深度神經(jīng)網(wǎng)絡(luò)中濾波器與輸入特征之間距離的相似性度量。由此進行優(yōu)化的方法叫做符號SGD（signSGD）。

但是，signSGD幾乎永遠不會沿著最陡的下降方向，并且方向性只會隨著維數(shù)的增長而變差。

最后，在CIFAR-10的圖像分類任務(wù)中，AdderNet相比原始的二元神經(jīng)網(wǎng)絡(luò)BNN性能有大幅的提升，并且性能已經(jīng)接近了傳統(tǒng)CNN的結(jié)果。

這種方法訓(xùn)練的得到的權(quán)重分布也和CNN有很大的不同，AdderNet的權(quán)重服從拉普拉斯分布，而CNN的權(quán)重服從高斯分布。

個人認為，在未來的工作中，他們將研究AdderNet的量化結(jié)果，以實現(xiàn)更高的速度和更低的能耗，以及AdderNet的通用性，不僅用于圖像分類，還將用到目標檢測和語義分割等任務(wù)中。

谷歌人工智能寫作項目：神經(jīng)網(wǎng)絡(luò)偽原創(chuàng)

加法神經(jīng)網(wǎng)絡(luò)的缺陷

網(wǎng)絡(luò)時斷時續(xù)不穩(wěn)定文案狗。黑障是發(fā)生在大氣層的一種特有現(xiàn)象，當衛(wèi)星航天飛船洲際導(dǎo)彈等空間飛行器以很高的速度再入大氣層返回地球時，在一定高度和一定時間內(nèi)與地面通信聯(lián)絡(luò)會嚴重失效，甚至完全中斷。

黑障區(qū)風(fēng)險極高的原因是，由于返回艙跟地面控制中心片刻失去通訊，且與大氣層的摩擦?xí)a(chǎn)生上千攝氏度的高溫，這段期間航天員最危險，如果不采取防熱措施，航天員將無法承受，返回艙結(jié)構(gòu)也會受損毀。

我這么理解神經(jīng)網(wǎng)絡(luò)對嗎

深度學(xué)習(xí)能夠?qū)W會加法嗎

首先，加法（數(shù)值計算）是機器擅長而人類不擅長的，與之相反，模式識別是人類擅長而機器不擅長的。所以題主拿加法作為切入點來衡量深度學(xué)習(xí)能不能媲美人類，出發(fā)點上就錯了，應(yīng)該拿人類擅長的東西來切入。

然后，正面回答問題，一個去掉非線性激活函數(shù)的感知機就可以學(xué)習(xí)加法了，而感知機是神經(jīng)網(wǎng)絡(luò)的構(gòu)建積木，深度學(xué)習(xí)用的就是神經(jīng)網(wǎng)絡(luò)，所以深度學(xué)習(xí)可以學(xué)習(xí)加法——雖然這是殺雞用牛刀的行為。

最后，題主真正疑惑的應(yīng)該不是“深度學(xué)習(xí)能不能模擬人”，而是“深度學(xué)習(xí)能不能模擬機器”，意即模擬非常機械的數(shù)值計算、數(shù)據(jù)結(jié)構(gòu)和算法等。

答案是已經(jīng)有這方面的研究了，叫做神經(jīng)圖靈機（NeuralTuringMachine）：這篇論文的實驗部分用它的模型做了幾個非常“機械”的任務(wù)，包括拷貝、排序、子過程調(diào)用等，這樣就是在模擬機器而非模擬人。

雖然里面沒有專門做加法的實驗，但從上述已經(jīng)做到的任務(wù)可以看出神經(jīng)圖靈機對加法也應(yīng)該是手到擒來的。作者：鄭華濱鏈接：來源：知乎著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。

神經(jīng)網(wǎng)絡(luò)具體是什么？

神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元相互連接而成。每個神經(jīng)元接受線性組合的輸入后，最開始只是簡單的線性加權(quán)，后來給每個神經(jīng)元加上了非線性的激活函數(shù)，從而進行非線性變換后輸出。

每兩個神經(jīng)元之間的連接代表加權(quán)值，稱之為權(quán)重（weight）。不同的權(quán)重和激活函數(shù)，則會導(dǎo)致神經(jīng)網(wǎng)絡(luò)不同的輸出。舉個手寫識別的例子，給定一個未知數(shù)字，讓神經(jīng)網(wǎng)絡(luò)識別是什么數(shù)字。

此時的神經(jīng)網(wǎng)絡(luò)的輸入由一組被輸入圖像的像素所激活的輸入神經(jīng)元所定義。在通過非線性激活函數(shù)進行非線性變換后，神經(jīng)元被激活然后被傳遞到其他神經(jīng)元。重復(fù)這一過程，直到最后一個輸出神經(jīng)元被激活。

從而識別當前數(shù)字是什么字。

神經(jīng)網(wǎng)絡(luò)的每個神經(jīng)元如下基本wx+b的形式，其中x1、x2表示輸入向量w1、w2為權(quán)重，幾個輸入則意味著有幾個權(quán)重，即每個輸入都被賦予一個權(quán)重b為偏置biasg(z)為激活函數(shù)a為輸出如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。

事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據(jù)不同因素、以及各個因素的重要性程度而做決策的模型。舉個例子，這周末北京有一草莓音樂節(jié)，那去不去呢？

決定你是否去有二個因素，這二個因素可以對應(yīng)二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權(quán)重w1、w2表示。

一般來說，音樂節(jié)的演唱嘉賓會非常影響你去不去，唱得好的前提下即便沒人陪同都可忍受，但如果唱得不好還不如你上臺唱呢。所以，我們可以如下表示：x1：是否有喜歡的演唱嘉賓。

x1=1你喜歡這些嘉賓，x1=0你不喜歡這些嘉賓。嘉賓因素的權(quán)重w1=7x2：是否有人陪你同去。x2=1有人陪你同去，x2=0沒人陪你同去。

是否有人陪同的權(quán)重w2=3。這樣，咱們的決策模型便建立起來了：g(z)=g(w1x1+w2x2+b)，g表示激活函數(shù)，這里的b可以理解成為更好達到目標而做調(diào)整的偏置項。

一開始為了簡單，人們把激活函數(shù)定義成一個線性函數(shù)，即對于結(jié)果做一個線性變化，比如一個簡單的線性激活函數(shù)是g(z)=z，輸出都是輸入的線性變換。

后來實際應(yīng)用中發(fā)現(xiàn)，線性激活函數(shù)太過局限，于是引入了非線性激活函數(shù)。

神經(jīng)網(wǎng)絡(luò)中的前向和后向算法

神經(jīng)網(wǎng)絡(luò)中的前向和后向算法看了一段時間的深度網(wǎng)絡(luò)模型，也在tf和theano上都跑了一些模型，但是感覺沒有潛下去，對很多東西的理解都只停留在“這個是干什么的”層次上面。

昨天在和小老師一起看一篇文章的時候，就被問到RNN里面的后向傳播算法具體是怎么推。當時心里覺得BP算法其實很熟悉啊，然后在推導(dǎo)的過程中就一臉懵逼了。

于是又去網(wǎng)上翻了翻相關(guān)內(nèi)容，自己走了一遍，準備做個筆記，算是個交代。準備一個神經(jīng)網(wǎng)絡(luò)模型，比如：其中，[i1,i2]代表輸入層的兩個結(jié)點，[h1,h2]代表隱藏層的兩個結(jié)點，[o1,o2]為輸出。

[b1,b2]為偏置項。連接每個結(jié)點之間的邊已經(jīng)在圖中標出。

來了解一下前向算法：前向算法的作用是計算輸入層結(jié)點對隱藏層結(jié)點的影響，也就是說，把網(wǎng)絡(luò)正向的走一遍：輸入層—->隱藏層—->輸出層計算每個結(jié)點對其下一層結(jié)點的影響。

??例如，我們要算結(jié)點h1的值，那么就是：是一個簡單的加權(quán)求和。這里稍微說一下，偏置項和權(quán)重項的作用是類似的，不同之處在于權(quán)重項一般以乘法的形式體現(xiàn)，而偏置項以加法的形式體現(xiàn)。

??而在計算結(jié)點o1時，結(jié)點h1的輸出不能簡單的使用neth1的結(jié)果，必須要計算激活函數(shù)，激活函數(shù)，不是說要去激活什么，而是要指“激活的神經(jīng)元的特征”通過函數(shù)保留并映射出來。

以sigmoid函數(shù)為例，h1的輸出：于是最后o1的輸出結(jié)果，也就是整個網(wǎng)絡(luò)的一個輸出值是：按照上面的步驟計算出out02，則[outo1,outo2]就是整個網(wǎng)絡(luò)第一次前向運算之后得到的結(jié)果。

后向算法：??在實際情況中，因為是隨機給定的權(quán)值，很大的可能（幾乎是100%）得到的輸出與實際結(jié)果之間的偏差非常的大，這個時候我們就需要比較我們的輸出和實際結(jié)果之間的差異，將這個殘差返回給整個網(wǎng)絡(luò)，調(diào)整網(wǎng)絡(luò)中的權(quán)重關(guān)系。

這也是為什么我們在神經(jīng)網(wǎng)絡(luò)中需要后向傳播的原因。

其主要計算步驟如下：1.計算總誤差2.隱藏層的權(quán)值更新在要更新每個邊的權(quán)重之前，必須要知道這條邊對最后輸出結(jié)果的影響，可以用整體誤差對w5求偏導(dǎo)求出：具體計算的時候，可以采用鏈式法則展開：在計算的時候一定要注意每個式子里面哪些自變量是什么，求導(dǎo)千萬不要求錯了。

??需要講出來的一個地方是，在計算w1的權(quán)重時，Etotal中的兩部分都需要對它進行求導(dǎo)，因為這條邊在前向傳播中對兩個殘差都有影響3.更新權(quán)重這一步里面就沒什么東西了，直接根據(jù)學(xué)習(xí)率來更新權(quán)重：至此，一次正向+反向傳播過程就到此為止，接下來只需要進行迭代，不斷調(diào)整邊的權(quán)重，修正網(wǎng)絡(luò)的輸出和實際結(jié)果之間的偏差（也就是training整個網(wǎng)絡(luò)）。

神經(jīng)網(wǎng)絡(luò)原理怎么樣

神經(jīng)網(wǎng)絡(luò)不僅是現(xiàn)在的思維模式，計算機的將來計算模式，還是簡單的細胞的運算模式。他們沒有真正的思考，而是計算。計算是機器也能夠做到的，因此不管人是否理解或者機器是否知道，都可以從容應(yīng)對。

而不知道的事物如此之多，因此不必擔(dān)心他們會自動的進入圈套。他們不僅是可以識別計策的，還是具有分辨計策的能力的，因此必須留心別進入他們的世界，以免變得面目全非。

神經(jīng)的聯(lián)系來源于突觸，但是這是復(fù)雜的，因此不要把他們變的簡單化，因為這將把神經(jīng)變的難以顯現(xiàn)。沒有這些就沒有自己。

神經(jīng)不僅是可以從一點出發(fā)，到達任何一點的，還是可以從一個神經(jīng)進入另一個神經(jīng)的，因此必須小心不要到達不可及之地。那里是隱私的儲藏地點。那里充滿著機關(guān)算計以及絕殺的危險之地。

?

總結(jié)

以上是生活随笔為你收集整理的神经网络算法中求解的方式,神经网络的求解方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。