《Finding Structure in Time》-1990
作者Jeffrey L.Elman
已經(jīng)于2018年的六月份去世了。
該文的引用量非常之高，目前有9000多，所以也導(dǎo)致有些神經(jīng)網(wǎng)絡(luò)發(fā)展史中把該篇文章視為經(jīng)典論文。

文章目的是：
提出一種新的結(jié)構(gòu)，用來(lái)解決時(shí)序相關(guān)的問(wèn)題。
注意，該文的Section 1不是從Introduction部分開始算起。

$$文章結(jié)構(gòu)=?\begin{array}{r}1.TheProblemwithTime\\ 2.Networkswithmemory\\ 3.Exclusive?OR\\ 4.Strutureinlettersequences\\ 5.Discoveringthenotion"word"\\ 6.Discoveringlexicalclassesfromwordorder\\ 7.Types,tokens,andstructuredrepresentations\\ 8.Conclucions\end{array}$$
section1 講了目前的一些問(wèn)題。
section2 指明本文的方案
論文的中間大部分用來(lái)指明該方案應(yīng)用到現(xiàn)有問(wèn)題上的一些效果。

Section 1的標(biāo)題是：The problem with time.
講了三個(gè)問(wèn)題：
1.現(xiàn)有的神經(jīng)網(wǎng)絡(luò)的使用需要現(xiàn)實(shí)世界與該神經(jīng)網(wǎng)絡(luò)有一個(gè)接口。
怎么讓該神經(jīng)網(wǎng)絡(luò)系統(tǒng)知道接受的內(nèi)容中的哪一部分應(yīng)該作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)？（對(duì)應(yīng)P181的第2段內(nèi)容）
2.現(xiàn)有的系統(tǒng)的輸入端口數(shù)量是固定的，那要是相比較兩個(gè)長(zhǎng)度不一的句子咋辦？（對(duì)應(yīng)P181的第3段內(nèi)容）
3.之前的方案不能準(zhǔn)確地區(qū)分相對(duì)時(shí)序位置，作者這里舉了一個(gè)例子：
[011100000]
[000111000]
怎么讓系統(tǒng)知道這是兩個(gè)不同的輸入呢？

這里稍微總結(jié)下：我個(gè)人理解，這里的前面兩個(gè)問(wèn)題其實(shí)是在說(shuō)同一個(gè)事兒。

Section 2的標(biāo)題是：Networks with Memory.
注意，下面的Figure1，雖然號(hào)稱使用的是Jordan的1986年的文章中的一個(gè)插圖。該文章是：
《Serial order:A parallel distributed processing approach》-1986

但是該篇所謂的1986年的文章在google學(xué)術(shù)中查到是1997年發(fā)表的。
所以可能是86年發(fā)表后，于1997年重映了。
值得一提的是，上圖與《Serial order:A parallel distributed processing approach》-1986的插圖并不一致。
好了，本文作者提出的結(jié)構(gòu)如下：

一句話概括,創(chuàng)新點(diǎn)在哪里：
Fig1中的反饋點(diǎn)是從“輸出層”返回輸入端。
Fig2中的反饋點(diǎn)是從“隱藏層輸出端”返回輸入端。
所以本文創(chuàng)新點(diǎn)就是改了個(gè)“反饋點(diǎn)的位置”，然后后面就是各種實(shí)驗(yàn)和理論分析了。

好了，上圖只是一個(gè)草圖，
這個(gè)神經(jīng)網(wǎng)絡(luò)內(nèi)部到底長(zhǎng)啥樣？
我們來(lái)看Section 3：Exclusive-OR
XOR異或的完整名稱就是“Exclusive-OR”
這個(gè)section在P185
這個(gè)Section下面的第4段提到：

The input stream was presented to the network shown in Figure2(with 1 input unit,2 hidden units,1 output unit,and 2 context units),one bit at a time.
所以上面的Figure2里面的節(jié)點(diǎn)數(shù)我們知道了，但是怎么反饋的，上面的圖就是很抽象的一條線，以及“權(quán)重線”具體怎么連接也沒(méi)有說(shuō)。
作者去世了，所以也無(wú)法聯(lián)系了。

P186的最下方，我們可以得到一丁點(diǎn)信息：
當(dāng)全0或者全1輸入時(shí)，其中一個(gè)hidden unit（就是放激活函數(shù)）會(huì)被激活，另外一個(gè)會(huì)被抑制。
當(dāng)0101…這種不停變換的方式輸入時(shí)，則反過(guò)來(lái),其中一個(gè)hidden unit被抑制，另外一個(gè)hidden unit會(huì)被激活。

因?yàn)檎撐谋旧硪矝](méi)有附帶代碼鏈接，且沒(méi)有講清楚具體的網(wǎng)絡(luò)結(jié)構(gòu)，后面的解讀無(wú)法進(jìn)行下去，也無(wú)法聯(lián)系去世的作者獲知具體細(xì)節(jié)。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Finding Structure in Time论文解读的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。