時(shí)序模式、非線性濾波

以多層感知器為例的靜態(tài)神經(jīng)網(wǎng)絡(luò)的原型應(yīng)用是結(jié)構(gòu)化模式識(shí)別。時(shí)序模式識(shí)別或飛翔性濾波要求對(duì)隨時(shí)間演化的模式進(jìn)行處理，對(duì)特定的時(shí)刻的相應(yīng)不僅依賴于輸入的當(dāng)前值，還依賴于以前的值。簡(jiǎn)單說(shuō)，時(shí)間是有序的量，構(gòu)成了時(shí)序模式識(shí)別任務(wù)中學(xué)習(xí)過(guò)程的重要成分。

對(duì)于動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，它必須以一種或另一種形式給定短期記憶。完成這已修改的一個(gè)簡(jiǎn)單途徑是利用時(shí)間延遲，時(shí)間延遲可以在網(wǎng)絡(luò)內(nèi)部的突觸層或者外部地在網(wǎng)絡(luò)的輸入層上執(zhí)行。確實(shí)，神經(jīng)網(wǎng)絡(luò)中時(shí)間延遲的使用是受神經(jīng)生物學(xué)啟發(fā)的，因?yàn)樵诖竽X中信號(hào)延遲是無(wú)所不在的，且在神經(jīng)生物信息處理中起著重要的作用。時(shí)間可以通過(guò)如下的兩種基本途徑來(lái)嵌入神經(jīng)網(wǎng)絡(luò)的運(yùn)行中：

隱式表示。時(shí)間是通過(guò)其作用于信號(hào)處理的效果以一種隱含方式來(lái)表示的，這由通過(guò)外部方式對(duì)一個(gè)靜態(tài)神經(jīng)網(wǎng)絡(luò)（如多層感知器）提供動(dòng)態(tài)屬性而得到。

顯示表示。在網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)時(shí)間由它自身的特定表示給出。

建立在神經(jīng)網(wǎng)絡(luò)上的非線性濾波：

?

由兩個(gè)子系統(tǒng)的層疊連接組成：短期記憶和靜態(tài)神經(jīng)網(wǎng)絡(luò)（如多層感知器）。這一結(jié)構(gòu)對(duì)于處理規(guī)則提供了明確的分割：靜態(tài)網(wǎng)絡(luò)對(duì)應(yīng)于非線性，記憶對(duì)應(yīng)于時(shí)間。具體來(lái)說(shuō)，假設(shè)給定了具有大小為m的輸入層的多層感知器。那么，在一個(gè)對(duì)應(yīng)的途徑下，記憶是一個(gè)單輸入多輸出（SIMO）的結(jié)構(gòu)，提供對(duì)模擬神經(jīng)網(wǎng)絡(luò)的輸入信號(hào)的m哥不同延遲版本。

通用短視映射定理

任何平移不變的短視動(dòng)態(tài)映射可以包含有兩個(gè)功能塊的結(jié)構(gòu)任意地一致逼近：一組線性濾波器饋給一個(gè)靜態(tài)神經(jīng)網(wǎng)絡(luò)。

NETtalk網(wǎng)絡(luò)結(jié)構(gòu)示意圖

?

NETtalk是將英語(yǔ)語(yǔ)音轉(zhuǎn)化為音速的大規(guī)模并行分布式網(wǎng)絡(luò)的第一個(gè)示范。音素（phoneme）是一個(gè)基本的語(yǔ)言單位。上面顯示了一個(gè)NETtalk系統(tǒng)的示意圖，它建立在一個(gè)多層感知器的基礎(chǔ)上，輸入層由203的感知（源）節(jié)點(diǎn)，隱藏層有80個(gè)神經(jīng)元，輸出層有26個(gè)神經(jīng)元。所有神經(jīng)元都使用sigmoid（logistic）型激活函數(shù)。這個(gè)網(wǎng)絡(luò)的突觸連接有18629個(gè)，每個(gè)神經(jīng)元包含有可變的閾值。閾值時(shí)偏置的負(fù)值。這個(gè)網(wǎng)絡(luò)使用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行訓(xùn)練。這個(gè)網(wǎng)絡(luò)有7組輸入層節(jié)點(diǎn)。每組對(duì)輸入文本的1個(gè)字母進(jìn)行編碼。從而每次將7個(gè)字母組成的串呈現(xiàn)給輸入層。訓(xùn)練過(guò)程的期望相應(yīng)是和7個(gè)字母窗口中央的一個(gè)（第四個(gè)）相聯(lián)系的正確因素。另外6個(gè)字母對(duì)網(wǎng)絡(luò)的每一個(gè)決策來(lái)說(shuō)提供部分的上下文。通過(guò)一個(gè)字母接著一個(gè)字母的方式使文本通過(guò)窗口。在處理的每一步中，網(wǎng)絡(luò)都計(jì)算一個(gè)音速，沒(méi)學(xué)完一個(gè)單詞后，網(wǎng)絡(luò)的突觸權(quán)值就根據(jù)計(jì)算出的發(fā)音與正確的發(fā)音的接近程度進(jìn)行調(diào)整。NETtalk的性能顯示出和觀察到的人類表現(xiàn)的相似之處:

訓(xùn)練遵守有力的規(guī)律（power?law）。

網(wǎng)絡(luò)學(xué)習(xí)的單詞越多，它的泛化性能和對(duì)新詞正確發(fā)音的性能就越好。

當(dāng)網(wǎng)絡(luò)的突觸連接被破壞時(shí)，網(wǎng)絡(luò)性能的下降非常緩慢。

在網(wǎng)絡(luò)遭遇到破壞后，進(jìn)行重新學(xué)習(xí)，學(xué)習(xí)的速度要比原始訓(xùn)練快得多。

總結(jié)

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—时序模式、非线性滤波的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。