時序模式、非線性濾波

以多層感知器為例的靜態神經網絡的原型應用是結構化模式識別。時序模式識別或飛翔性濾波要求對隨時間演化的模式進行處理，對特定的時刻的相應不僅依賴于輸入的當前值，還依賴于以前的值。簡單說，時間是有序的量，構成了時序模式識別任務中學習過程的重要成分。

對于動態神經網絡來說，它必須以一種或另一種形式給定短期記憶。完成這已修改的一個簡單途徑是利用時間延遲，時間延遲可以在網絡內部的突觸層或者外部地在網絡的輸入層上執行。確實，神經網絡中時間延遲的使用是受神經生物學啟發的，因為在大腦中信號延遲是無所不在的，且在神經生物信息處理中起著重要的作用。時間可以通過如下的兩種基本途徑來嵌入神經網絡的運行中：

隱式表示。時間是通過其作用于信號處理的效果以一種隱含方式來表示的，這由通過外部方式對一個靜態神經網絡（如多層感知器）提供動態屬性而得到。

顯示表示。在網絡結構內時間由它自身的特定表示給出。

建立在神經網絡上的非線性濾波：

?

由兩個子系統的層疊連接組成：短期記憶和靜態神經網絡（如多層感知器）。這一結構對于處理規則提供了明確的分割：靜態網絡對應于非線性，記憶對應于時間。具體來說，假設給定了具有大小為m的輸入層的多層感知器。那么，在一個對應的途徑下，記憶是一個單輸入多輸出（SIMO）的結構，提供對模擬神經網絡的輸入信號的m哥不同延遲版本。

通用短視映射定理

任何平移不變的短視動態映射可以包含有兩個功能塊的結構任意地一致逼近：一組線性濾波器饋給一個靜態神經網絡。

NETtalk網絡結構示意圖

?

NETtalk是將英語語音轉化為音速的大規模并行分布式網絡的第一個示范。音素（phoneme）是一個基本的語言單位。上面顯示了一個NETtalk系統的示意圖，它建立在一個多層感知器的基礎上，輸入層由203的感知（源）節點，隱藏層有80個神經元，輸出層有26個神經元。所有神經元都使用sigmoid（logistic）型激活函數。這個網絡的突觸連接有18629個，每個神經元包含有可變的閾值。閾值時偏置的負值。這個網絡使用標準的反向傳播算法進行訓練。這個網絡有7組輸入層節點。每組對輸入文本的1個字母進行編碼。從而每次將7個字母組成的串呈現給輸入層。訓練過程的期望相應是和7個字母窗口中央的一個（第四個）相聯系的正確因素。另外6個字母對網絡的每一個決策來說提供部分的上下文。通過一個字母接著一個字母的方式使文本通過窗口。在處理的每一步中，網絡都計算一個音速，沒學完一個單詞后，網絡的突觸權值就根據計算出的發音與正確的發音的接近程度進行調整。NETtalk的性能顯示出和觀察到的人類表現的相似之處:

訓練遵守有力的規律（power?law）。

網絡學習的單詞越多，它的泛化性能和對新詞正確發音的性能就越好。

當網絡的突觸連接被破壞時，網絡性能的下降非常緩慢。

在網絡遭遇到破壞后，進行重新學習，學習的速度要比原始訓練快得多。

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—时序模式、非线性滤波的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。