1. 有哪些深度神經網路模型
目前經常使用的深度神經網路模型主要有卷積神經網路(CNN) 、遞歸神經網路(RNN)、深信度網路(DBN) 、深度自動編碼器(AutoEncoder) 和生成對抗網路(GAN) 等。
遞歸神經網路實際.上包含了兩種神經網路。一種是循環神經網路(Recurrent NeuralNetwork) ;另一種是結構遞歸神經網路(Recursive Neural Network)，它使用相似的網路結構遞歸形成更加復雜的深度網路。RNN它們都可以處理有序列的問題，比如時間序列等且RNN有「記憶」能力，可以「模擬」數據間的依賴關系。卷積網路的精髓就是適合處理結構化數據。
關於深度神經網路模型的相關學習，推薦CDA數據師的相關課程，課程以項目調動學員數據挖掘實用能力的場景式教學為主，在講師設計的業務場景下由講師不斷提出業務問題，再由學員循序漸進思考並操作解決問題的過程中，幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。這種教學方式能夠引發學員的獨立思考及主觀能動性，學員掌握的技能知識可以快速轉化為自身能夠靈活應用的技能，在面對不同場景時能夠自由發揮。點擊預約免費試聽課。
2. 什麼叫做「聯想網路模型」
亦稱「人的聯想記憶模型」(Human Associative Memory),由安德森和鮑爾提出。主張命題是表徵知識的基本單元,它由五類聯想組成,包括: (1) 上下文-事實聯想; (2) 地點-時間聯想; (3) 主語-謂語聯想; (4) 關系-賓語聯想; (5) 概念-實例聯想。..
《當代西方心理學新詞典》字數(379)
聯想網路模型
associative network model...
聯想網路模型 associative network model
亦稱「聯想網路記憶模型」。認為人們頭腦中的記憶是由一些節點和鏈接組成的網路的理論。
遲滯混沌神經元/網路的模糊滑模控制及應用研究
針對當前人工神經網路研究的熱點——復合型混沌神經網路,以遲滯混沌神經元／網路為對象,對其控制與應用進行研究。目前傳統反饋型神經網路聯想記憶多為二值模式的聯想記憶,記憶網路的存儲能力不高,且很難存儲相關性較強的樣本模式。由此,本文提出了一種基於改進Hebb規則的多值聯想記憶網路並利
3. 深度學習之卷積神經網路經典模型
LeNet-5模型 在CNN的應用中，文字識別系統所用的LeNet-5模型是非常經典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一個成功大規模應用在手寫數字識別問題的卷積神經網路，在MNIST數據集中的正確率可以高達99.2%。
下面詳細介紹一下LeNet-5模型工作的原理。
LeNet-5模型一共有7層，每層包含眾多參數，也就是卷積神經網路中的參數。雖然層數只有7層，這在如今龐大的神經網路中可是說是非常少的了，但是包含了卷積層，池化層，全連接層，可謂麻雀雖小五臟俱全了。為了方便，我們把卷積層稱為C層，下采樣層叫做下采樣層。
首先，輸入層輸入原始圖像，原始圖像被處理成32×32個像素點的值。然後，後面的隱層計在卷積和子抽樣之間交替進行。C1層是卷積層，包含了六個特徵圖。每個映射也就是28x28個神經元。卷積核可以是5x5的十字形，這28×28個神經元共享卷積核權值參數，通過卷積運算，原始信號特徵增強，同時也降低了雜訊，當卷積核不同時，提取到圖像中的特徵不同；C2層是一個池化層，池化層的功能在上文已經介紹過了，它將局部像素值平均化來實現子抽樣。
池化層包含了六個特徵映射，每個映射的像素值為14x14，這樣的池化層非常重要，可以在一定程度上保證網路的特徵被提取，同時運算量也大大降低，減少了網路結構過擬合的風險。因為卷積層與池化層是交替出現的，所以隱藏層的第三層又是一個卷積層，第二個卷積層由16個特徵映射構成，每個特徵映射用於加權和計算的卷積核為10x10的。第四個隱藏層，也就是第二個池化層同樣包含16個特徵映射，每個特徵映射中所用的卷積核是5x5的。第五個隱藏層是用5x5的卷積核進行運算，包含了120個神經元，也是這個網路中卷積運算的最後一層。
之後的第六層便是全連接層，包含了84個特徵圖。全連接層中對輸入進行點積之後加入偏置，然後經過一個激活函數傳輸給輸出層的神經元。最後一層，也就是第七層，為了得到輸出向量，設置了十個神經元來進行分類，相當於輸出一個包含十個元素的一維數組，向量中的十個元素即0到9。
AlexNet模型
AlexNet簡介
2012年Imagenet圖像識別大賽中，Alext提出的alexnet網路模型一鳴驚人，引爆了神經網路的應用熱潮，並且贏得了2012屆圖像識別大賽的冠軍，這也使得卷積神經網路真正意義上成為圖像處理上的核心演算法。上文介紹的LeNet-5出現在上個世紀，雖然是經典，但是迫於種種復雜的現實場景限制，只能在一些領域應用。不過，隨著SVM等手工設計的特徵的飛速發展，LeNet-5並沒有形成很大的應用狀況。隨著ReLU與dropout的提出，以及GPU帶來算力突破和互聯網時代大數據的爆發，卷積神經網路帶來歷史的突破，AlexNet的提出讓深度學習走上人工智慧的最前端。
圖像預處理
AlexNet的訓練數據採用ImageNet的子集中的ILSVRC2010數據集，包含了1000類，共1.2百萬的訓練圖像，50000張驗證集，150000張測試集。在進行網路訓練之前我們要對數據集圖片進行預處理。首先我們要將不同解析度的圖片全部變成256x256規格的圖像，變換方法是將圖片的短邊縮放到 256像素值，然後截取長邊的中間位置的256個像素值，得到256x256大小的圖像。除了對圖片大小進行預處理，還需要對圖片減均值，一般圖像均是由RGB三原色構成，均值按RGB三分量分別求得，由此可以更加突出圖片的特徵，更方便後面的計算。
此外，對了保證訓練的效果，我們仍需對訓練數據進行更為嚴苛的處理。在256x256大小的圖像中，截取227x227大小的圖像，在此之後對圖片取鏡像，這樣就使得原始數據增加了（256-224）x（256-224）x2= 2048倍。最後對RGB空間做PCA，然後對主成分做（0,0.1）的高斯擾動，結果使錯誤率下降1%。對測試數據而言，抽取以圖像4個角落的大小為224224的圖像，中心的224224大小的圖像以及它們的鏡像翻轉圖像，這樣便可以獲得10張圖像，我們便可以利用softmax進行預測，對所有預測取平均作為最終的分類結果。
ReLU激活函數
之前我們提到常用的非線性的激活函數是sigmoid，它能夠把輸入的連續實值全部確定在0和1之間。但是這帶來一個問題，當一個負數的絕對值很大時，那麼輸出就是0；如果是絕對值非常大的正數，輸出就是1。這就會出現飽和的現象，飽和現象中神經元的梯度會變得特別小，這樣必然會使得網路的學習更加困難。此外，sigmoid的output的值並不是0為均值，因為這會導致上一層輸出的非0均值信號會直接輸入到後一層的神經元上。所以AlexNet模型提出了ReLU函數，公式：f(x)=max(0,x)f(x)=max(0,x)。
用ReLU代替了Sigmoid，發現使用 ReLU 得到的SGD的收斂速度會比 sigmoid快很多，這成了AlexNet模型的優勢之一。
Dropout
AlexNet模型提出了一個有效的模型組合方式，相比於單模型，只需要多花費一倍的時間，這種方式就做Dropout。在整個神經網路中，隨機選取一半的神經元將它們的輸出變成0。這種方式使得網路關閉了部分神經元，減少了過擬合現象。同時訓練的迭代次數也得以增加。當時一個GTX580 GPU只有3GB內存，這使得大規模的運算成為不可能。但是，隨著硬體水平的發展，當時的GPU已經可以實現並行計算了，並行計算之後兩塊GPU可以互相通信傳輸數據，這樣的方式充分利用了GPU資源，所以模型設計利用兩個GPU並行運算，大大提高了運算效率。
模型分析
AlexNet模型共有8層結構，其中前5層為卷積層，其中前兩個卷積層和第五個卷積層有池化層，其他卷積層沒有。後面3層為全連接層，神經元約有六十五萬個，所需要訓練的參數約六千萬個。
圖片預處理過後，進過第一個卷積層C1之後，原始的圖像也就變成了55x55的像素大小，此時一共有96個通道。模型分為上下兩塊是為了方便GPU運算，48作為通道數目更加適合GPU的並行運算。上圖的模型里把48層直接變成了一個面，這使得模型看上去更像一個立方體，大小為55x55x48。在後面的第二個卷積層C2中，卷積核的尺寸為5x5x48，由此再次進行卷積運算。在C1，C2卷積層的卷積運算之後，都會有一個池化層，使得提取特徵之後的特徵圖像素值大大減小，方便了運算，也使得特徵更加明顯。而第三層的卷積層C3又是更加特殊了。第三層卷積層做了通道的合並，將之前兩個通道的數據再次合並起來，這是一種串接操作。第三層後，由於串接，通道數變成256。全卷積的卷積核尺寸也就變成了13×13×25613×13×256。一個有4096個這樣尺寸的卷積核分別對輸入圖像做4096次的全卷積操作，最後的結果就是一個列向量，一共有4096個數。這也就是最後的輸出，但是AlexNet最終是要分1000個類，所以通過第八層，也就是全連接的第三層，由此得到1000個類輸出。
Alexnet網路中各個層發揮了不同的作用，ReLU，多個CPU是為了提高訓練速度，重疊pool池化是為了提高精度，且不容易產生過擬合，局部歸一化響應是為了提高精度，而數據增益與dropout是為了減少過擬合。
VGG net
在ILSVRC-2014中，牛津大學的視覺幾何組提出的VGGNet模型在定位任務第一名和分類任務第一名[[i]]。如今在計算機視覺領域，卷積神經網路的良好效果深得廣大開發者的喜歡，並且上文提到的AlexNet模型擁有更好的效果，所以廣大從業者學習者試圖將其改進以獲得更好地效果。而後來很多人經過驗證認為，AlexNet模型中所謂的局部歸一化響應浪費了計算資源，但是對性能卻沒有很大的提升。VGG的實質是AlexNet結構的增強版，它側重強調卷積神經網路設計中的深度。將卷積層的深度提升到了19層，並且在當年的ImageNet大賽中的定位問題中獲得了第一名的好成績。整個網路向人們證明了我們是可以用很小的卷積核取得很好地效果，前提是我們要把網路的層數加深，這也論證了我們要想提高整個神經網路的模型效果，一個較為有效的方法便是將它的深度加深，雖然計算量會大大提高，但是整個復雜度也上升了，更能解決復雜的問題。雖然VGG網路已經誕生好幾年了，但是很多其他網路上效果並不是很好地情況下，VGG有時候還能夠發揮它的優勢，讓人有意想不到的收獲。
與AlexNet網路非常類似，VGG共有五個卷積層，並且每個卷積層之後都有一個池化層。當時在ImageNet大賽中，作者分別嘗試了六種網路結構。這六種結構大致相同，只是層數不同，少則11層，多達19層。網路結構的輸入是大小為224*224的RGB圖像，最終將分類結果輸出。當然，在輸入網路時，圖片要進行預處理。
VGG網路相比AlexNet網路，在網路的深度以及寬度上做了一定的拓展，具體的卷積運算還是與AlexNet網路類似。我們主要說明一下VGG網路所做的改進。第一點，由於很多研究者發現歸一化層的效果並不是很好，而且佔用了大量的計算資源，所以在VGG網路中作者取消了歸一化層；第二點，VGG網路用了更小的3x3的卷積核，而兩個連續的3x3的卷積核相當於5x5的感受野，由此類推，三個3x3的連續的卷積核也就相當於7x7的感受野。這樣的變化使得參數量更小，節省了計算資源，將資源留給後面的更深層次的網路。第三點是VGG網路中的池化層特徵池化核改為了2x2，而在AlexNet網路中池化核為3x3。這三點改進無疑是使得整個參數運算量下降，這樣我們在有限的計算平台上能夠獲得更多的資源留給更深層的網路。由於層數較多，卷積核比較小，這樣使得整個網路的特徵提取效果很好。其實由於VGG的層數較多，所以計算量還是相當大的，卷積層比較多成了它最顯著的特點。另外，VGG網路的拓展性能比較突出，結構比較簡潔，所以它的遷移性能比較好，遷移到其他數據集的時候泛化性能好。到現在為止，VGG網路還經常被用來提出特徵。所以當現在很多較新的模型效果不好時，使用VGG可能會解決這些問題。
GoogleNet
谷歌於2014年Imagenet挑戰賽（ILSVRC14）憑借GoogleNet再次斬獲第一名。這個通過增加了神經網路的深度和寬度獲得了更好地效果，在此過程中保證了計算資源的不變。這個網路論證了加大深度，寬度以及訓練數據的增加是現有深度學習獲得更好效果的主要方式。但是增加尺寸可能會帶來過擬合的問題，因為深度與寬度的加深必然會帶來過量的參數。此外，增加網路尺寸也帶來了對計算資源侵佔過多的缺點。為了保證計算資源充分利用的前提下去提高整個模型的性能，作者使用了Inception模型，這個模型在下圖中有展示，可以看出這個有點像金字塔的模型在寬度上使用並聯的不同大小的卷積核，增加了卷積核的輸出寬度。因為使用了較大尺度的卷積核增加了參數。使用了1*1的卷積核就是為了使得參數的數量最少。
Inception模塊
上圖表格為網路分析圖，第一行為卷積層，輸入為224×224×3 ，卷積核為7x7，步長為2，padding為3，輸出的維度為112×112×64，這裡面的7x7卷積使用了 7×1 然後 1×7 的方式，這樣便有(7+7)×64×3=2,688個參數。第二行為池化層，卷積核為3×33×3，滑動步長為2，padding為 1 ，輸出維度：56×56×64，計算方式：1/2×(112+2×1?3+1)=56。第三行，第四行與第一行，第二行類似。第 5 行 Inception mole中分為4條支線，輸入均為上層產生的 28×28×192 結果：第 1 部分，1×1 卷積層，輸出大小為28×28×64；第 2 部分，先1×1卷積層，輸出大小為28×28×96，作為輸入進行3×3卷積層，輸出大小為28×28×128；第 3部分，先1×1卷積層，輸出大小為28×28×32，作為輸入進行3×3卷積層，輸出大小為28×28×32；而第3 部分3×3的池化層，輸出大小為輸出大小為28×28×32。第5行的Inception mole會對上面是個結果的輸出結果並聯，由此增加網路寬度。
ResNet
2015年ImageNet大賽中，MSRA何凱明團隊的ResialNetworks力壓群雄，在ImageNet的諸多領域的比賽中上均獲得了第一名的好成績，而且這篇關於ResNet的論文Deep Resial Learning for Image Recognition也獲得了CVPR2016的最佳論文，實至而名歸。
上文介紹了的VGG以及GoogleNet都是增加了卷積神經網路的深度來獲得更好效果，也讓人們明白了網路的深度與廣度決定了訓練的效果。但是，與此同時，寬度與深度加深的同時，效果實際會慢慢變差。也就是說模型的層次加深，錯誤率提高了。模型的深度加深，以一定的錯誤率來換取學習能力的增強。但是深層的神經網路模型犧牲了大量的計算資源，學習能力提高的同時不應當產生比淺層神經網路更高的錯誤率。這個現象的產生主要是因為隨著神經網路的層數增加，梯度消失的現象就越來越明顯。所以為了解決這個問題，作者提出了一個深度殘差網路的結構Resial：
上圖就是殘差網路的基本結構，可以看出其實是增加了一個恆等映射，將原本的變換函數H(x)轉換成了F(x)+x。示意圖中可以很明顯看出來整個網路的變化，這樣網路不再是簡單的堆疊結構，這樣的話便很好地解決了由於網路層數增加而帶來的梯度原來越不明顯的問題。所以這時候網路可以做得很深，到目前為止，網路的層數都可以上千層，而能夠保證很好地效果。並且，這樣的簡單疊加並沒有給網路增加額外的參數跟計算量，同時也提高了網路訓練的效果與效率。
在比賽中，為了證明自己觀點是正確的，作者控制變數地設計幾個實驗。首先作者構建了兩個plain網路，這兩個網路分別為18層跟34層，隨後作者又設計了兩個殘差網路，層數也是分別為18層和34層。然後對這四個模型進行控制變數的實驗觀察數據量的變化。下圖便是實驗結果。實驗中，在plain網路上觀測到明顯的退化現象。實驗結果也表明，在殘差網路上，34層的效果明顯要好於18層的效果，足以證明殘差網路隨著層數增加性能也是增加的。不僅如此，殘差網路的在更深層的結構上收斂性能也有明顯的提升，整個實驗大為成功。
除此之外，作者還做了關於shortcut方式的實驗，如果殘差網路模塊的輸入輸出維度不一致，我們如果要使維度統一，必須要對維數較少的進行増維。而增維的最好效果是用0來填充。不過實驗數據顯示三者差距很小，所以線性投影並不是特別需要。使用0來填充維度同時也保證了模型的復雜度控制在比較低的情況下。
隨著實驗的深入，作者又提出了更深的殘差模塊。這種模型減少了各個層的參數量，將資源留給更深層數的模型，在保證復雜度很低的情況下，模型也沒有出現梯度消失很明顯的情況，因此目前模型最高可達1202層，錯誤率仍然控製得很低。但是層數如此之多也帶來了過擬合的現象，不過諸多研究者仍在改進之中，畢竟此時的ResNet已經相對於其他模型在性能上遙遙領先了。
殘差網路的精髓便是shortcut。從一個角度來看，也可以解讀為多種路徑組合的一個網路。如下圖：
ResNet可以做到很深，但是從上圖中可以體會到，當網路很深，也就是層數很多時，數據傳輸的路徑其實相對比較固定。我們似乎也可以將其理解為一個多人投票系統，大多數梯度都分布在論文中所謂的effective path上。
DenseNet
在Resnet模型之後，有人試圖對ResNet模型進行改進，由此便誕生了ResNeXt模型。
這是對上面介紹的ResNet模型結合了GoogleNet中的inception模塊思想，相比於Resnet來說更加有效。隨後，誕生了DenseNet模型，它直接將所有的模塊連接起來，整個模型更加簡單粗暴。稠密相連成了它的主要特點。
我們將DenseNet與ResNet相比較:
從上圖中可以看出，相比於ResNet，DenseNet參數量明顯減少很多，效果也更加優越，只是DenseNet需要消耗更多的內存。
總結
上面介紹了卷積神經網路發展史上比較著名的一些模型，這些模型非常經典，也各有優勢。在算力不斷增強的現在，各種新的網路訓練的效率以及效果也在逐漸提高。從收斂速度上看，VGG>Inception>DenseNet>ResNet,從泛化能力來看，Inception>DenseNet=ResNet>VGG，從運算量看來，Inception<DenseNet< ResNet<VGG，從內存開銷來看，Inception<ResNet< DenseNet<VGG。在本次研究中，我們對各個模型均進行了分析，但從效果來看，ResNet效果是最好的，優於Inception，優於VGG，所以我們第四章實驗中主要採用谷歌的Inception模型，也就是GoogleNet。
4. 層次網路模型的理論評價
層次網路模型較簡潔的說明 了概念間的相互關系，分級存儲可以節省儲存空間，體現出「認知經濟」的原則。這一模型也叫「預存模型」。但是，他所概括的概念間的關系類型較少，因此對說明概念間的關系還是有其不足的一面。「范疇大小效應」支持了該理論，但是也有一些該理論無法解釋的現象，比如熟悉相應、典型性判斷、否定判斷等。許多實驗證實，這種概念結構不一定具有心理的實現性。
5. 層次網路模型的基本內容
Quillian和Collins1969年提出了第一個語義記憶模型（即概念的結構），層次網路模型(Hierarchical Network Model)。這個結構最開始是針對言語理解的計算機模擬提出的，後來被用來說明概念的結構。在這個理論中，概念是以結點（node）的形式儲存在概念網路中，每個概念具有一定的特徵，這些特徵實際上也是概念。各類屬概念按邏輯的上下級關系組織在一起，概念間通過連線表示它們的類屬關系，這樣彼此具有類屬關系的概念組成了一個概念的網路。在網路中，層次越高的概念，其抽象概括的水平也越高。
每個概念的特徵實行分層存儲，即在每一層概念的結點上，只存儲該概念的獨有特徵。而同層各概念共有的特徵，則存儲於上一層的概念結點上。如：當我們提到「金絲雀」、 「鴕鳥」、「燕子」時我們會說它們都「會飛」，因此這一特徵便存儲在「鳥」這一概念結點上。而 「金黃色」、「大塊」、「黑色」是分別是上述三種鳥的獨有特徵（相對這三種而言），這些特徵便存儲在自己的結點上。
6. 簡述記憶的三儲存模型
當前得到公認的解釋記憶儲存的模型是記憶的三存儲模型,該模型認為記憶加工有三個不同的階段,它們分別是感覺記憶,短時記憶和長時記憶.來自環境的信息首先到達感覺記憶.如果這些信息被注意,它們則進入短時記憶.正是在短時記憶中,個體把這些信息加以改組和利用並作出反應.為了分析存人短時記憶的信息,你會調出儲存在長時記憶中的知識.同時,短時記憶中的信息如果需要保存,也可以經過復述存入長時記憶.
一,感覺記憶
感覺記憶又稱感覺寄存器或瞬時記憶,是感覺信息到達感官的第一次直接印象.感覺寄存器只能將來自各個感官的信息保持幾十到幾百毫秒.在感覺寄存器中,信息可能受到注意,經過編碼獲得意義,繼續進入下一階段的加工活動,如果不被注意或編碼,它們就會自動消退.
各種感覺信息在感覺寄存器中以其特有的形式繼續保存一段時間並起作用,這些存儲形式就是視覺表象和聲音表象,稱視象和聲象.它們雖然保存的時間極短,但在生活中也有自己的作用.例如,在看電影時,是視象幫助我們把相繼出現的一組圖片看成是一個平滑連續的畫面.大多數視象持續的時間不會超過一秒鍾,但在有些情況下,一些視象可以持續更長的時間.這取決於刺激的強度(如亮度),視覺剌激的強度越大,視象消失得越慢.
聲象記憶和視象記憶基本上具有相同的性質,只是聲象在感覺寄存器中的持續時間較長,可達幾秒鍾.使得我們能夠有更多的時間加工語音信息,達到詞的意義.研究表明,視象和聲象是物理刺激的忠實復製品,是感覺器官提供的信息的有效拷貝.選擇性注意控制著什麼信息將得到進一步的加工,傳遞到短時記憶.
二,短時記憶
短時記憶(STM)也稱工作記憶,是信息加工系統的核心.在感覺記憶中經過編碼的信息,進入短時記憶後經過進一步的加工,再從這里進入可以長久保存的長時記憶.信息在短時記憶中一般只保持20~30秒,但如果加以復述,便可以繼續保存.復述保證了它的延緩消失.短時記憶中儲存的是正在使用的信息,在心理活動中具有十分重要的作用.首先,短時記憶扮演著意識的角色,使我們知道自己正在接收什麼以及正在做什麼.其次,短時記憶使我們能夠將許多來自感覺的信息加以整合構成完整的圖像.第三,短時記憶在思考和解決問題時起著暫時寄存器的作用.例如在做計算題時每做下一步之前,都暫時寄存著上一步的計算結果供最後利用.最後,短時記憶保存著當前的策略和意願.這一切使得我們能夠採取各種復雜的行為直至達到最終的目標.正因為發現了短時記憶的這些重要作用,在當前大多數研究中被改稱為工作記憶.
http://cache..com/c?word=%BC%C7%D2%E4%3B%B5%C4%3B%C8%FD%3B%B4%A2%B4%E6%3B%C4%A3%D0%CD&url=http%3A//www%2Ejxtvu%2Ecom%2Ecn/kczy05q/UploadFiles/20051021143932945%2Edoc&b=0&a=41&user=
7. 記憶對感官有什麼樣的影響
在購買行為中，消費者藉助於記憶，對過去曾經在生活實踐中感知過的商品、體驗過的情感或有關的知識經驗，在頭腦中進行反映的過程，也是異常復雜的認識過程。它包含對過去所經歷過的事物或情感或知識經驗的識記、保持、回憶和認識等過程，在消費者的購買行為中起著促進購買行為的作用。如果消費者的生活經驗或購買經驗在神經中樞中沒有存貯，或者在消費者的神經中樞中沒有存貯有關商品的任何信息的話，就必然會影響到消費者對商品的認識，使消費者難於完成對商品的認識過程，這樣，就很難促成購買行為。所以，在營銷傳播中，採取強化記憶的手段來強化認知，是相當重要的。
1、記憶的含義
記憶是過去經驗在人腦中的反映。凡是人們感知過的事物、體驗過的情感以及練習過的動作，都可以以映象的形式保留在人的頭腦中，在必要的時候又可把它們再現出來，這個過程就是記憶。記憶既不同於感覺，又不同於知覺。感覺和知覺反映的是當前作用於感官事物，離開當前的客觀事物，感覺和知覺的均不復存在。記憶總是指向過去，它出現在感覺和知覺之後，是人腦對過去經歷過的事物的反映。
（5）記憶過程的幾個環節
復述（Rehearsal）。個體在內心對進入短時記憶的信息或刺激予以默誦或作進一步加工努力，稱為復述。復述具有兩大功能：一是保持信息在短時記憶中被激活，二是將短時記憶中的信息轉移到長時記憶中。
編碼（Encoding）。雖然復述直接影響短時記憶中的信息是否進入長時記憶，對記憶具有重要作用，同樣不容忽視的是信息的編碼，因為後者很大程度上決定著轉換的時間，以及信息在記憶中的存放位置。在復述過程中，消費者可以簡單地對刺激物重復默記，以此將刺激物與長期記憶中已經存在的信息建立聯系。當消費者建立起了這種聯系和對信息編碼日益嫻熟，存貯速度就會加快。
貯存（Storage）。貯存是指將業已編碼的信息留存在記憶中，以備必要時供檢索之用。信息經編碼加工之後，在頭腦中貯存，這種貯存雖然是有秩序、分層次的，但不能理解為像存放在保險櫃里的文件一樣一成不變。隨著時間的推移和經驗的影響，貯存在頭腦中的信息在質和量上均會發生變化。從質的方面看，貯存在記憶中的內容會比原來識記的內容更簡略、更概括，一些不太重要的細節趨於消失，而主要內容及顯著特徵則被保持；同時，原識記內容中的某些特點會更加生動、突出甚至扭曲。
提取(Retrieval)。提取是指將信息從長時記憶中抽取出來的過程。對於熟悉的事物，提取幾乎是自動的和無意識的，比如，當問及現在市面上有哪些牌號的電視機時，消費者可能會脫口而出。對於有些事物或情境，如去年的元旦你在干什麼，恐怕很難立刻回憶出來，往往需要經過復雜的搜尋過程，甚至藉助於各種外部線索和輔助工具，才能完成回憶任務。
幫您打造感官品牌形象，歡迎勾搭！我的微信：finjoe
8. 神經網路Hopfield模型
一、Hopfield模型概述
1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。
Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。
Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。
二、Hopfield模型原理
離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。
正交化的權值設計
這一方法的基本思想和出發點是為了滿足下面4個要求：
1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足
wij=wji，i，j=1，2…，N；
2)保證所有要求記憶的穩定平衡點都能收斂到自己；
3)使偽穩定點的數目盡可能地少；
4)使穩定點的吸引力盡可能地大。
正交化權值的計算公式推導如下：
1)已知有P個需要存儲的穩定平衡點x1，x2…，xP-1，xP，xp∈RN，計算N×(P-1)階矩陣A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)對A做奇異值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中國礦產資源評價新技術與評價新模型
Σ=diαg(λ1，λ2，…，λK)，O為零矩陣。
K維空間為N維空間的子空間，它由K個獨立的基組成：
K=rαnk(A)，
設{u1u2…uK}為A的正交基，而{uK+1uK+2…uN}為N維空間的補充正交基。下面利用U矩陣來設計權值。
3)構造
中國礦產資源評價新技術與評價新模型
總的連接權矩陣為：
Wt=Wp-T·Wm，
其中，T為大於-1的參數，預設值為10。
Wp和Wm均滿足對稱條件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。
4)網路的偏差構造為
bt=xP-Wt·xP。
下面推導記憶樣本能夠收斂到自己的有效性。
(1)對於輸入樣本中的任意目標矢量xp，p=1，2，…，P，因為(xp-xP)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
對於U中任意一個ui，有
中國礦產資源評價新技術與評價新模型
由正交性質可知，上式中
當i=j，
當i≠j，
對於輸入模式xi，其網路輸出為
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)對於輸入模式xP，其網路輸出為
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果輸入一個不是記憶樣本的x，網路輸出為
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因為x不是已學習過的記憶樣本，x-xP不是A中的矢量，則必然有
Wt(x-xP)≠x-xP，
並且再設計過程中可以通過調節Wt=Wp-T·Wm中的參數T的大小來控制(x-xP)與xP的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(Wtx+bt)≠x，使x不能收斂到自身。
用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。
設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。
三、總體演算法
1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法
應用正交化權值設計方法，設計Hopfield網路；
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；
使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。
1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
輸入參數，包括T、h；
2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)對A[N][P-1]作奇異值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])構造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])構造Wm[N][N]；
7)構造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)構造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)構造W[N][N](9～13)，
構造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)構造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)構造
中國礦產資源評價新技術與評價新模型
Uˊ——U的轉置；
16)輸出W[N][N]，b[N]；
17)結束。
2.Hopfield網路預測應用總體演算法
Hopfield網路由一層N個斜坡函數神經元組成。
應用正交化權值設計方法，設計Hopfield網路。
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。
初始輸出為X[N][P]，
計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
進行T次迭代，
返回最終輸出X[N][P]，可以看作初始輸出的分類。
3.斜坡函數
中國礦產資源評價新技術與評價新模型
輸出范圍[-1，1]。
四、數據流圖
Hopfield網數據流圖見附圖3。
五、調用函數說明
1.一般實矩陣奇異值分解
(1)功能
用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。
(2)方法說明
設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使
中國礦產資源評價新技術與評價新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式稱為實矩陣A的奇異值分解式，σi(i=0，1，…，p)稱為A的奇異值。
奇異值分解分兩大步：
第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
j具有如下形式：
中國礦產資源評價新技術與評價新模型
其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，Vj是一個列向量。即
Vj=(υ0，υ1，…，υn-1)，
則
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。
在每一次的迭代中，用變換
中國礦產資源評價新技術與評價新模型
其中變換
在每次迭代時，經過初始化變換V01後，將在第0列的主對角線下方出現一個非0元素。在變換V01中，選擇位移植u的計算公式如下：
中國礦產資源評價新技術與評價新模型
最後還需要對奇異值按非遞增次序進行排列。
在上述變換過程中，若對於某個次對角線元素ej滿足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
則可以認為ej為0。
若對角線元素sj滿足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
則可以認為sj為0(即為0奇異值)。其中ε為給定的精度要求。
(3)調用說明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAVT；若返回的標志值大於0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；
m——整型變數，實矩陣A的行數；
n——整型變數，實矩陣A的列數；
u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；
υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量VT；
esp——雙精度實型變數，給定的精度要求；
ka——整型變數，其值為max(m，n)+1。
2.求實對稱矩陣特徵值和特徵向量的雅可比過關法
(1)功能
用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。
(2)方法說明
雅可比方法的基本思想如下。
設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為apq。利用平面旋轉變換矩陣R0(p，q，θ)對A進行正交相似變換：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素為
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式確定角度θ，
中國礦產資源評價新技術與評價新模型
則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少
綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：
1)令S=In(In為單位矩陣)；
2)在A中選取非對角線元素中絕對值最大者，設為apq；
3)若｜apq｜＜ε，則迭代過程結束。此時對角線元素aii(i=0，1，…，n-1)即為特徵值λi，矩陣S的第i列為與λi相應的特徵向量。否則，繼續下一步；
4)計算平面旋轉矩陣的元素及其變換後的矩陣A1的元素。其計算公式如下
中國礦產資源評價新技術與評價新模型
5)S=S·R(p，q，θ)，轉(2)。
在選取非對角線上的絕對值最大的元素時用如下方法：
首先計算實對稱矩陣A的非對角線元素的平方和的平方根
中國礦產資源評價新技術與評價新模型
然後設置關口υ1=υ0/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ1的元素αpq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ1為止。再設關口υ2=υ1/n，重復這個過程。以此類推，這個過程一直作用到對於某個υk＜ε為止。
(3)調用說明
void cjcbj(double*a，int n，double*v，double eps)。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；
n——整型變數，實矩陣A的階數；
υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λi(即返回的αii，i=0，1，……，n-1)對應的特徵向量；
esp——雙精度實型變數。給定的精度要求。
3.矩陣求逆
(1)功能
用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。
(2)方法說明
高斯-約當法(全選主元)求逆的步驟如下：
首先，對於k從0到n-1做如下幾步：
1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；
2)
3)
4)αij-
5)-
最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。
圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖
(3)調用說明
int brinv(double*a，int n)。
本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err**not inv」；若返回的標志位不為0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A-1；
n——整型變數，矩陣的階數。
六、實例
實例：柴北緣—東昆侖地區銅礦分類預測。
選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。
構置原始變數，並根據原始數據構造預測模型。
HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。
結果分44類(圖8-4，表8-5)。
表8-5 原始數據表及分類結果（部分）
續表