[科普中國]-模式間異聯(lián)想

基本概念

聯(lián)想記憶是大腦的一個重要的生物特征，與人腦類似，聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)把一些樣本模式存儲在神經(jīng)元之間的權(quán)值中，利用大規(guī)模的并行計算，能夠使原本不完整的輸入模式逐漸地恢復(fù)到完整的模式。它分為兩種工作方式：自聯(lián)想記憶和模式間異聯(lián)想記憶。自聯(lián)想是指由受損的輸入模式恢復(fù)到完整的模式本身，模式間異聯(lián)想是指由輸入模式獲得與之相關(guān)的其他模式。1

模式間異聯(lián)想記憶是聯(lián)想記憶的一種類型，其輸入與輸出不等。自聯(lián)想神經(jīng)網(wǎng)絡(luò)(Auto-Associative Neural Network，縮寫為AANN)是1992年Kramer提出的，是BP神經(jīng)網(wǎng)絡(luò)的一種特殊情形，其特點是有對稱拓?fù)浣Y(jié)構(gòu)，即輸出量等于輸入量。模式間異聯(lián)想記憶與自聯(lián)想類似，不同之處在于輸出與輸入不等。

模式間異聯(lián)想記憶模型假設(shè)模式間異聯(lián)想記憶模型的X-域和Y-域分別包括N和P個神經(jīng)元，每個神經(jīng)元的狀態(tài)值為+1 或-1，即

在神經(jīng)元和間, 有一連接權(quán)值，然后是一個聯(lián)想過程，其中學(xué)習(xí)算法是關(guān)鍵性的一步。。眾所周知，聯(lián)想記憶神經(jīng)元網(wǎng)絡(luò)的操作包括兩個步驟。首先，由學(xué)習(xí)算法根據(jù)訓(xùn)練模式集確定神經(jīng)元間的連接權(quán)

通常連接權(quán)矩陣W=是由相關(guān)學(xué)習(xí)規(guī)則定義：

在聯(lián)想過程中，對于xi和yi，其動態(tài)演化規(guī)則分別是：

其中xi'和yi'分別是xi和yi下一時刻的狀態(tài)。給定任意一個初始輸入狀態(tài)，可以產(chǎn)生一個有限順序列(x,y),(x,y),(x,y).....，直到穩(wěn)定在某個平衡狀態(tài)，其中

其中T是轉(zhuǎn)置?？梢宰C明，對于任意矩陣W，模式間異聯(lián)想記憶模型是穩(wěn)定的，也就是說，由任意初始狀態(tài)出發(fā)，按照聯(lián)想序列，神經(jīng)元網(wǎng)絡(luò)可以在有限次狀態(tài)改變后收斂于某個穩(wěn)定狀態(tài)。

模式間異聯(lián)想記憶Hopfield神經(jīng)網(wǎng)絡(luò)作為對生物神經(jīng)系統(tǒng)的模擬，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元相互連接而成的動力學(xué)系統(tǒng)，具有大規(guī)模并行處理、容錯性以及學(xué)習(xí)能力的特點。模式間異聯(lián)想記憶神經(jīng)元網(wǎng)絡(luò)是一個兩層非線性神經(jīng)元模型，具有信息存儲和信息聯(lián)想特點，其性能由學(xué)習(xí)算法決定。學(xué)習(xí)算法根據(jù)某種規(guī)則將訓(xùn)練模式集轉(zhuǎn)化為神經(jīng)元間的連接權(quán)值，形成神經(jīng)元網(wǎng)絡(luò)的內(nèi)部表達方式。作為內(nèi)容可訪問存儲器，模式間異聯(lián)想記憶模型具有從噪聲輸人模式反映出某個訓(xùn)練模式的能力。

模式間異聯(lián)想記憶Hopfield神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如下圖所示：

它將全部神經(jīng)元分成兩類：一類是輸入神經(jīng)元即狀態(tài)集S(s1,s2,s3,s4)，另一類是輸出神經(jīng)元即動作A(a1,a2,a3,a4,a5,a6)。s1,s2,s3,s4分別代表狀態(tài)：正前方一步內(nèi)沒有障礙，左前方一步內(nèi)有障礙，右前方一步內(nèi)有障礙，正前方一步內(nèi)有障礙。a1,a2,a3,a4,a5,a6分別代表動作：直走，右前進，左前進，后退，右平移，左平移。

輸出神經(jīng)元不反饋到自身，之反饋到輸入神經(jīng)元的輸入端，權(quán)值連接為，輸入神經(jīng)元的輸出也不反饋到其自身，而是只反饋到神經(jīng)元的輸入端。

在用Hopfield NN來實現(xiàn)模式間異聯(lián)想記憶模式識別時，存在兩方面的困難：一是模式間異聯(lián)想記憶模式識別問題，其一組輸入矢量對應(yīng)著一組輸出矢量，即輸入和輸出代表不同的物理含義，應(yīng)該用不同的神經(jīng)元來表示；二是為實現(xiàn)屬于模式識別問題所構(gòu)造的原型樣本是按照應(yīng)用系統(tǒng)的具體情況來建立的，它們在狀態(tài)空間的分布不能保證是均勻的，更不可能滿足正交的條件2。