1. 有哪些深度神经网络模型
目前经常使用的深度神经网络模型主要有卷积神经网络(CNN) 、递归神经网络(RNN)、深信度网络(DBN) 、深度自动编码器(AutoEncoder) 和生成对抗网络(GAN) 等。
递归神经网络实际.上包含了两种神经网络。一种是循环神经网络(Recurrent NeuralNetwork) ;另一种是结构递归神经网络(Recursive Neural Network)，它使用相似的网络结构递归形成更加复杂的深度网络。RNN它们都可以处理有序列的问题，比如时间序列等且RNN有“记忆”能力，可以“模拟”数据间的依赖关系。卷积网络的精髓就是适合处理结构化数据。
关于深度神经网络模型的相关学习，推荐CDA数据师的相关课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。
2. 什么叫做“联想网络模型”
亦称“人的联想记忆模型”(Human Associative Memory),由安德森和鲍尔提出。主张命题是表征知识的基本单元,它由五类联想组成,包括: (1) 上下文-事实联想; (2) 地点-时间联想; (3) 主语-谓语联想; (4) 关系-宾语联想; (5) 概念-实例联想。..
《当代西方心理学新词典》字数(379)
联想网络模型
associative network model...
联想网络模型 associative network model
亦称“联想网络记忆模型”。认为人们头脑中的记忆是由一些节点和链接组成的网络的理论。
迟滞混沌神经元/网络的模糊滑模控制及应用研究
针对当前人工神经网络研究的热点——复合型混沌神经网络,以迟滞混沌神经元／网络为对象,对其控制与应用进行研究。目前传统反馈型神经网络联想记忆多为二值模式的联想记忆,记忆网络的存储能力不高,且很难存储相关性较强的样本模式。由此,本文提出了一种基于改进Hebb规则的多值联想记忆网络并利
3. 深度学习之卷积神经网络经典模型
LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达99.2%。
下面详细介绍一下LeNet-5模型工作的原理。
LeNet-5模型一共有7层，每层包含众多参数，也就是卷积神经网络中的参数。虽然层数只有7层，这在如今庞大的神经网络中可是说是非常少的了，但是包含了卷积层，池化层，全连接层，可谓麻雀虽小五脏俱全了。为了方便，我们把卷积层称为C层，下采样层叫做下采样层。
首先，输入层输入原始图像，原始图像被处理成32×32个像素点的值。然后，后面的隐层计在卷积和子抽样之间交替进行。C1层是卷积层，包含了六个特征图。每个映射也就是28x28个神经元。卷积核可以是5x5的十字形，这28×28个神经元共享卷积核权值参数，通过卷积运算，原始信号特征增强，同时也降低了噪声，当卷积核不同时，提取到图像中的特征不同；C2层是一个池化层，池化层的功能在上文已经介绍过了，它将局部像素值平均化来实现子抽样。
池化层包含了六个特征映射，每个映射的像素值为14x14，这样的池化层非常重要，可以在一定程度上保证网络的特征被提取，同时运算量也大大降低，减少了网络结构过拟合的风险。因为卷积层与池化层是交替出现的，所以隐藏层的第三层又是一个卷积层，第二个卷积层由16个特征映射构成，每个特征映射用于加权和计算的卷积核为10x10的。第四个隐藏层，也就是第二个池化层同样包含16个特征映射，每个特征映射中所用的卷积核是5x5的。第五个隐藏层是用5x5的卷积核进行运算，包含了120个神经元，也是这个网络中卷积运算的最后一层。
之后的第六层便是全连接层，包含了84个特征图。全连接层中对输入进行点积之后加入偏置，然后经过一个激活函数传输给输出层的神经元。最后一层，也就是第七层，为了得到输出向量，设置了十个神经元来进行分类，相当于输出一个包含十个元素的一维数组，向量中的十个元素即0到9。
AlexNet模型
AlexNet简介
2012年Imagenet图像识别大赛中，Alext提出的alexnet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。上文介绍的LeNet-5出现在上个世纪，虽然是经典，但是迫于种种复杂的现实场景限制，只能在一些领域应用。不过，随着SVM等手工设计的特征的飞速发展，LeNet-5并没有形成很大的应用状况。随着ReLU与dropout的提出，以及GPU带来算力突破和互联网时代大数据的爆发，卷积神经网络带来历史的突破，AlexNet的提出让深度学习走上人工智能的最前端。
图像预处理
AlexNet的训练数据采用ImageNet的子集中的ILSVRC2010数据集，包含了1000类，共1.2百万的训练图像，50000张验证集，150000张测试集。在进行网络训练之前我们要对数据集图片进行预处理。首先我们要将不同分辨率的图片全部变成256x256规格的图像，变换方法是将图片的短边缩放到 256像素值，然后截取长边的中间位置的256个像素值，得到256x256大小的图像。除了对图片大小进行预处理，还需要对图片减均值，一般图像均是由RGB三原色构成，均值按RGB三分量分别求得，由此可以更加突出图片的特征，更方便后面的计算。
此外，对了保证训练的效果，我们仍需对训练数据进行更为严苛的处理。在256x256大小的图像中，截取227x227大小的图像，在此之后对图片取镜像，这样就使得原始数据增加了（256-224）x（256-224）x2= 2048倍。最后对RGB空间做PCA，然后对主成分做（0,0.1）的高斯扰动，结果使错误率下降1%。对测试数据而言，抽取以图像4个角落的大小为224224的图像，中心的224224大小的图像以及它们的镜像翻转图像，这样便可以获得10张图像，我们便可以利用softmax进行预测，对所有预测取平均作为最终的分类结果。
ReLU激活函数
之前我们提到常用的非线性的激活函数是sigmoid，它能够把输入的连续实值全部确定在0和1之间。但是这带来一个问题，当一个负数的绝对值很大时，那么输出就是0；如果是绝对值非常大的正数，输出就是1。这就会出现饱和的现象，饱和现象中神经元的梯度会变得特别小，这样必然会使得网络的学习更加困难。此外，sigmoid的output的值并不是0为均值，因为这会导致上一层输出的非0均值信号会直接输入到后一层的神经元上。所以AlexNet模型提出了ReLU函数，公式：f(x)=max(0,x)f(x)=max(0,x)。
用ReLU代替了Sigmoid，发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid快很多，这成了AlexNet模型的优势之一。
Dropout
AlexNet模型提出了一个有效的模型组合方式，相比于单模型，只需要多花费一倍的时间，这种方式就做Dropout。在整个神经网络中，随机选取一半的神经元将它们的输出变成0。这种方式使得网络关闭了部分神经元，减少了过拟合现象。同时训练的迭代次数也得以增加。当时一个GTX580 GPU只有3GB内存，这使得大规模的运算成为不可能。但是，随着硬件水平的发展，当时的GPU已经可以实现并行计算了，并行计算之后两块GPU可以互相通信传输数据，这样的方式充分利用了GPU资源，所以模型设计利用两个GPU并行运算，大大提高了运算效率。
模型分析
AlexNet模型共有8层结构，其中前5层为卷积层，其中前两个卷积层和第五个卷积层有池化层，其他卷积层没有。后面3层为全连接层，神经元约有六十五万个，所需要训练的参数约六千万个。
图片预处理过后，进过第一个卷积层C1之后，原始的图像也就变成了55x55的像素大小，此时一共有96个通道。模型分为上下两块是为了方便GPU运算，48作为通道数目更加适合GPU的并行运算。上图的模型里把48层直接变成了一个面，这使得模型看上去更像一个立方体，大小为55x55x48。在后面的第二个卷积层C2中，卷积核的尺寸为5x5x48，由此再次进行卷积运算。在C1，C2卷积层的卷积运算之后，都会有一个池化层，使得提取特征之后的特征图像素值大大减小，方便了运算，也使得特征更加明显。而第三层的卷积层C3又是更加特殊了。第三层卷积层做了通道的合并，将之前两个通道的数据再次合并起来，这是一种串接操作。第三层后，由于串接，通道数变成256。全卷积的卷积核尺寸也就变成了13×13×25613×13×256。一个有4096个这样尺寸的卷积核分别对输入图像做4096次的全卷积操作，最后的结果就是一个列向量，一共有4096个数。这也就是最后的输出，但是AlexNet最终是要分1000个类，所以通过第八层，也就是全连接的第三层，由此得到1000个类输出。
Alexnet网络中各个层发挥了不同的作用，ReLU，多个CPU是为了提高训练速度，重叠pool池化是为了提高精度，且不容易产生过拟合，局部归一化响应是为了提高精度，而数据增益与dropout是为了减少过拟合。
VGG net
在ILSVRC-2014中，牛津大学的视觉几何组提出的VGGNet模型在定位任务第一名和分类任务第一名[[i]]。如今在计算机视觉领域，卷积神经网络的良好效果深得广大开发者的喜欢，并且上文提到的AlexNet模型拥有更好的效果，所以广大从业者学习者试图将其改进以获得更好地效果。而后来很多人经过验证认为，AlexNet模型中所谓的局部归一化响应浪费了计算资源，但是对性能却没有很大的提升。VGG的实质是AlexNet结构的增强版，它侧重强调卷积神经网络设计中的深度。将卷积层的深度提升到了19层，并且在当年的ImageNet大赛中的定位问题中获得了第一名的好成绩。整个网络向人们证明了我们是可以用很小的卷积核取得很好地效果，前提是我们要把网络的层数加深，这也论证了我们要想提高整个神经网络的模型效果，一个较为有效的方法便是将它的深度加深，虽然计算量会大大提高，但是整个复杂度也上升了，更能解决复杂的问题。虽然VGG网络已经诞生好几年了，但是很多其他网络上效果并不是很好地情况下，VGG有时候还能够发挥它的优势，让人有意想不到的收获。
与AlexNet网络非常类似，VGG共有五个卷积层，并且每个卷积层之后都有一个池化层。当时在ImageNet大赛中，作者分别尝试了六种网络结构。这六种结构大致相同，只是层数不同，少则11层，多达19层。网络结构的输入是大小为224*224的RGB图像，最终将分类结果输出。当然，在输入网络时，图片要进行预处理。
VGG网络相比AlexNet网络，在网络的深度以及宽度上做了一定的拓展，具体的卷积运算还是与AlexNet网络类似。我们主要说明一下VGG网络所做的改进。第一点，由于很多研究者发现归一化层的效果并不是很好，而且占用了大量的计算资源，所以在VGG网络中作者取消了归一化层；第二点，VGG网络用了更小的3x3的卷积核，而两个连续的3x3的卷积核相当于5x5的感受野，由此类推，三个3x3的连续的卷积核也就相当于7x7的感受野。这样的变化使得参数量更小，节省了计算资源，将资源留给后面的更深层次的网络。第三点是VGG网络中的池化层特征池化核改为了2x2，而在AlexNet网络中池化核为3x3。这三点改进无疑是使得整个参数运算量下降，这样我们在有限的计算平台上能够获得更多的资源留给更深层的网络。由于层数较多，卷积核比较小，这样使得整个网络的特征提取效果很好。其实由于VGG的层数较多，所以计算量还是相当大的，卷积层比较多成了它最显着的特点。另外，VGG网络的拓展性能比较突出，结构比较简洁，所以它的迁移性能比较好，迁移到其他数据集的时候泛化性能好。到现在为止，VGG网络还经常被用来提出特征。所以当现在很多较新的模型效果不好时，使用VGG可能会解决这些问题。
GoogleNet
谷歌于2014年Imagenet挑战赛（ILSVRC14）凭借GoogleNet再次斩获第一名。这个通过增加了神经网络的深度和宽度获得了更好地效果，在此过程中保证了计算资源的不变。这个网络论证了加大深度，宽度以及训练数据的增加是现有深度学习获得更好效果的主要方式。但是增加尺寸可能会带来过拟合的问题，因为深度与宽度的加深必然会带来过量的参数。此外，增加网络尺寸也带来了对计算资源侵占过多的缺点。为了保证计算资源充分利用的前提下去提高整个模型的性能，作者使用了Inception模型，这个模型在下图中有展示，可以看出这个有点像金字塔的模型在宽度上使用并联的不同大小的卷积核，增加了卷积核的输出宽度。因为使用了较大尺度的卷积核增加了参数。使用了1*1的卷积核就是为了使得参数的数量最少。
Inception模块
上图表格为网络分析图，第一行为卷积层，输入为224×224×3 ，卷积核为7x7，步长为2，padding为3，输出的维度为112×112×64，这里面的7x7卷积使用了 7×1 然后 1×7 的方式，这样便有(7+7)×64×3=2,688个参数。第二行为池化层，卷积核为3×33×3，滑动步长为2，padding为 1 ，输出维度：56×56×64，计算方式：1/2×(112+2×1?3+1)=56。第三行，第四行与第一行，第二行类似。第 5 行 Inception mole中分为4条支线，输入均为上层产生的 28×28×192 结果：第 1 部分，1×1 卷积层，输出大小为28×28×64；第 2 部分，先1×1卷积层，输出大小为28×28×96，作为输入进行3×3卷积层，输出大小为28×28×128；第 3部分，先1×1卷积层，输出大小为28×28×32，作为输入进行3×3卷积层，输出大小为28×28×32；而第3 部分3×3的池化层，输出大小为输出大小为28×28×32。第5行的Inception mole会对上面是个结果的输出结果并联，由此增加网络宽度。
ResNet
2015年ImageNet大赛中，MSRA何凯明团队的ResialNetworks力压群雄，在ImageNet的诸多领域的比赛中上均获得了第一名的好成绩，而且这篇关于ResNet的论文Deep Resial Learning for Image Recognition也获得了CVPR2016的最佳论文，实至而名归。
上文介绍了的VGG以及GoogleNet都是增加了卷积神经网络的深度来获得更好效果，也让人们明白了网络的深度与广度决定了训练的效果。但是，与此同时，宽度与深度加深的同时，效果实际会慢慢变差。也就是说模型的层次加深，错误率提高了。模型的深度加深，以一定的错误率来换取学习能力的增强。但是深层的神经网络模型牺牲了大量的计算资源，学习能力提高的同时不应当产生比浅层神经网络更高的错误率。这个现象的产生主要是因为随着神经网络的层数增加，梯度消失的现象就越来越明显。所以为了解决这个问题，作者提出了一个深度残差网络的结构Resial：
上图就是残差网络的基本结构，可以看出其实是增加了一个恒等映射，将原本的变换函数H(x)转换成了F(x)+x。示意图中可以很明显看出来整个网络的变化，这样网络不再是简单的堆叠结构，这样的话便很好地解决了由于网络层数增加而带来的梯度原来越不明显的问题。所以这时候网络可以做得很深，到目前为止，网络的层数都可以上千层，而能够保证很好地效果。并且，这样的简单叠加并没有给网络增加额外的参数跟计算量，同时也提高了网络训练的效果与效率。
在比赛中，为了证明自己观点是正确的，作者控制变量地设计几个实验。首先作者构建了两个plain网络，这两个网络分别为18层跟34层，随后作者又设计了两个残差网络，层数也是分别为18层和34层。然后对这四个模型进行控制变量的实验观察数据量的变化。下图便是实验结果。实验中，在plain网络上观测到明显的退化现象。实验结果也表明，在残差网络上，34层的效果明显要好于18层的效果，足以证明残差网络随着层数增加性能也是增加的。不仅如此，残差网络的在更深层的结构上收敛性能也有明显的提升，整个实验大为成功。
除此之外，作者还做了关于shortcut方式的实验，如果残差网络模块的输入输出维度不一致，我们如果要使维度统一，必须要对维数较少的进行増维。而增维的最好效果是用0来填充。不过实验数据显示三者差距很小，所以线性投影并不是特别需要。使用0来填充维度同时也保证了模型的复杂度控制在比较低的情况下。
随着实验的深入，作者又提出了更深的残差模块。这种模型减少了各个层的参数量，将资源留给更深层数的模型，在保证复杂度很低的情况下，模型也没有出现梯度消失很明显的情况，因此目前模型最高可达1202层，错误率仍然控制得很低。但是层数如此之多也带来了过拟合的现象，不过诸多研究者仍在改进之中，毕竟此时的ResNet已经相对于其他模型在性能上遥遥领先了。
残差网络的精髓便是shortcut。从一个角度来看，也可以解读为多种路径组合的一个网络。如下图：
ResNet可以做到很深，但是从上图中可以体会到，当网络很深，也就是层数很多时，数据传输的路径其实相对比较固定。我们似乎也可以将其理解为一个多人投票系统，大多数梯度都分布在论文中所谓的effective path上。
DenseNet
在Resnet模型之后，有人试图对ResNet模型进行改进，由此便诞生了ResNeXt模型。
这是对上面介绍的ResNet模型结合了GoogleNet中的inception模块思想，相比于Resnet来说更加有效。随后，诞生了DenseNet模型，它直接将所有的模块连接起来，整个模型更加简单粗暴。稠密相连成了它的主要特点。
我们将DenseNet与ResNet相比较:
从上图中可以看出，相比于ResNet，DenseNet参数量明显减少很多，效果也更加优越，只是DenseNet需要消耗更多的内存。
总结
上面介绍了卷积神经网络发展史上比较着名的一些模型，这些模型非常经典，也各有优势。在算力不断增强的现在，各种新的网络训练的效率以及效果也在逐渐提高。从收敛速度上看，VGG>Inception>DenseNet>ResNet,从泛化能力来看，Inception>DenseNet=ResNet>VGG，从运算量看来，Inception<DenseNet< ResNet<VGG，从内存开销来看，Inception<ResNet< DenseNet<VGG。在本次研究中，我们对各个模型均进行了分析，但从效果来看，ResNet效果是最好的，优于Inception，优于VGG，所以我们第四章实验中主要采用谷歌的Inception模型，也就是GoogleNet。
4. 层次网络模型的理论评价
层次网络模型较简洁的说明 了概念间的相互关系，分级存储可以节省储存空间，体现出“认知经济”的原则。这一模型也叫“预存模型”。但是，他所概括的概念间的关系类型较少，因此对说明概念间的关系还是有其不足的一面。“范畴大小效应”支持了该理论，但是也有一些该理论无法解释的现象，比如熟悉相应、典型性判断、否定判断等。许多实验证实，这种概念结构不一定具有心理的实现性。
5. 层次网络模型的基本内容
Quillian和Collins1969年提出了第一个语义记忆模型（即概念的结构），层次网络模型(Hierarchical Network Model)。这个结构最开始是针对言语理解的计算机模拟提出的，后来被用来说明概念的结构。在这个理论中，概念是以结点（node）的形式储存在概念网络中，每个概念具有一定的特征，这些特征实际上也是概念。各类属概念按逻辑的上下级关系组织在一起，概念间通过连线表示它们的类属关系，这样彼此具有类属关系的概念组成了一个概念的网络。在网络中，层次越高的概念，其抽象概括的水平也越高。
每个概念的特征实行分层存储，即在每一层概念的结点上，只存储该概念的独有特征。而同层各概念共有的特征，则存储于上一层的概念结点上。如：当我们提到“金丝雀”、 “鸵鸟”、“燕子”时我们会说它们都“会飞”，因此这一特征便存储在“鸟”这一概念结点上。而 “金黄色”、“大块”、“黑色”是分别是上述三种鸟的独有特征（相对这三种而言），这些特征便存储在自己的结点上。
6. 简述记忆的三储存模型
当前得到公认的解释记忆储存的模型是记忆的三存储模型,该模型认为记忆加工有三个不同的阶段,它们分别是感觉记忆,短时记忆和长时记忆.来自环境的信息首先到达感觉记忆.如果这些信息被注意,它们则进入短时记忆.正是在短时记忆中,个体把这些信息加以改组和利用并作出反应.为了分析存人短时记忆的信息,你会调出储存在长时记忆中的知识.同时,短时记忆中的信息如果需要保存,也可以经过复述存入长时记忆.
一,感觉记忆
感觉记忆又称感觉寄存器或瞬时记忆,是感觉信息到达感官的第一次直接印象.感觉寄存器只能将来自各个感官的信息保持几十到几百毫秒.在感觉寄存器中,信息可能受到注意,经过编码获得意义,继续进入下一阶段的加工活动,如果不被注意或编码,它们就会自动消退.
各种感觉信息在感觉寄存器中以其特有的形式继续保存一段时间并起作用,这些存储形式就是视觉表象和声音表象,称视象和声象.它们虽然保存的时间极短,但在生活中也有自己的作用.例如,在看电影时,是视象帮助我们把相继出现的一组图片看成是一个平滑连续的画面.大多数视象持续的时间不会超过一秒钟,但在有些情况下,一些视象可以持续更长的时间.这取决于刺激的强度(如亮度),视觉剌激的强度越大,视象消失得越慢.
声象记忆和视象记忆基本上具有相同的性质,只是声象在感觉寄存器中的持续时间较长,可达几秒钟.使得我们能够有更多的时间加工语音信息,达到词的意义.研究表明,视象和声象是物理刺激的忠实复制品,是感觉器官提供的信息的有效拷贝.选择性注意控制着什么信息将得到进一步的加工,传递到短时记忆.
二,短时记忆
短时记忆(STM)也称工作记忆,是信息加工系统的核心.在感觉记忆中经过编码的信息,进入短时记忆后经过进一步的加工,再从这里进入可以长久保存的长时记忆.信息在短时记忆中一般只保持20~30秒,但如果加以复述,便可以继续保存.复述保证了它的延缓消失.短时记忆中储存的是正在使用的信息,在心理活动中具有十分重要的作用.首先,短时记忆扮演着意识的角色,使我们知道自己正在接收什么以及正在做什么.其次,短时记忆使我们能够将许多来自感觉的信息加以整合构成完整的图像.第三,短时记忆在思考和解决问题时起着暂时寄存器的作用.例如在做计算题时每做下一步之前,都暂时寄存着上一步的计算结果供最后利用.最后,短时记忆保存着当前的策略和意愿.这一切使得我们能够采取各种复杂的行为直至达到最终的目标.正因为发现了短时记忆的这些重要作用,在当前大多数研究中被改称为工作记忆.
http://cache..com/c?word=%BC%C7%D2%E4%3B%B5%C4%3B%C8%FD%3B%B4%A2%B4%E6%3B%C4%A3%D0%CD&url=http%3A//www%2Ejxtvu%2Ecom%2Ecn/kczy05q/UploadFiles/20051021143932945%2Edoc&b=0&a=41&user=
7. 记忆对感官有什么样的影响
在购买行为中，消费者借助于记忆，对过去曾经在生活实践中感知过的商品、体验过的情感或有关的知识经验，在头脑中进行反映的过程，也是异常复杂的认识过程。它包含对过去所经历过的事物或情感或知识经验的识记、保持、回忆和认识等过程，在消费者的购买行为中起着促进购买行为的作用。如果消费者的生活经验或购买经验在神经中枢中没有存贮，或者在消费者的神经中枢中没有存贮有关商品的任何信息的话，就必然会影响到消费者对商品的认识，使消费者难于完成对商品的认识过程，这样，就很难促成购买行为。所以，在营销传播中，采取强化记忆的手段来强化认知，是相当重要的。
1、记忆的含义
记忆是过去经验在人脑中的反映。凡是人们感知过的事物、体验过的情感以及练习过的动作，都可以以映象的形式保留在人的头脑中，在必要的时候又可把它们再现出来，这个过程就是记忆。记忆既不同于感觉，又不同于知觉。感觉和知觉反映的是当前作用于感官事物，离开当前的客观事物，感觉和知觉的均不复存在。记忆总是指向过去，它出现在感觉和知觉之后，是人脑对过去经历过的事物的反映。
（5）记忆过程的几个环节
复述（Rehearsal）。个体在内心对进入短时记忆的信息或刺激予以默诵或作进一步加工努力，称为复述。复述具有两大功能：一是保持信息在短时记忆中被激活，二是将短时记忆中的信息转移到长时记忆中。
编码（Encoding）。虽然复述直接影响短时记忆中的信息是否进入长时记忆，对记忆具有重要作用，同样不容忽视的是信息的编码，因为后者很大程度上决定着转换的时间，以及信息在记忆中的存放位置。在复述过程中，消费者可以简单地对刺激物重复默记，以此将刺激物与长期记忆中已经存在的信息建立联系。当消费者建立起了这种联系和对信息编码日益娴熟，存贮速度就会加快。
贮存（Storage）。贮存是指将业已编码的信息留存在记忆中，以备必要时供检索之用。信息经编码加工之后，在头脑中贮存，这种贮存虽然是有秩序、分层次的，但不能理解为像存放在保险柜里的文件一样一成不变。随着时间的推移和经验的影响，贮存在头脑中的信息在质和量上均会发生变化。从质的方面看，贮存在记忆中的内容会比原来识记的内容更简略、更概括，一些不太重要的细节趋于消失，而主要内容及显着特征则被保持；同时，原识记内容中的某些特点会更加生动、突出甚至扭曲。
提取(Retrieval)。提取是指将信息从长时记忆中抽取出来的过程。对于熟悉的事物，提取几乎是自动的和无意识的，比如，当问及现在市面上有哪些牌号的电视机时，消费者可能会脱口而出。对于有些事物或情境，如去年的元旦你在干什么，恐怕很难立刻回忆出来，往往需要经过复杂的搜寻过程，甚至借助于各种外部线索和辅助工具，才能完成回忆任务。
帮您打造感官品牌形象，欢迎勾搭！我的微信：finjoe
8. 神经网络Hopfield模型
一、Hopfield模型概述
1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。
Hopfield人工神经网络是一种反馈网络(Recurrent Network)，又称自联想记忆网络。其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。
Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network，简称CHNN)。离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。
二、Hopfield模型原理
离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。
正交化的权值设计
这一方法的基本思想和出发点是为了满足下面4个要求：
1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足
wij=wji，i，j=1，2…，N；
2)保证所有要求记忆的稳定平衡点都能收敛到自己；
3)使伪稳定点的数目尽可能地少；
4)使稳定点的吸引力尽可能地大。
正交化权值的计算公式推导如下：
1)已知有P个需要存储的稳定平衡点x1，x2…，xP-1，xP，xp∈RN，计算N×(P-1)阶矩阵A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)对A做奇异值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中国矿产资源评价新技术与评价新模型
Σ=diαg(λ1，λ2，…，λK)，O为零矩阵。
K维空间为N维空间的子空间，它由K个独立的基组成：
K=rαnk(A)，
设{u1u2…uK}为A的正交基，而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。
3)构造
中国矿产资源评价新技术与评价新模型
总的连接权矩阵为：
Wt=Wp-T·Wm，
其中，T为大于-1的参数，缺省值为10。
Wp和Wm均满足对称条件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。
4)网络的偏差构造为
bt=xP-Wt·xP。
下面推导记忆样本能够收敛到自己的有效性。
(1)对于输入样本中的任意目标矢量xp，p=1，2，…，P，因为(xp-xP)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
对于U中任意一个ui，有
中国矿产资源评价新技术与评价新模型
由正交性质可知，上式中
当i=j，
当i≠j，
对于输入模式xi，其网络输出为
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)对于输入模式xP，其网络输出为
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果输入一个不是记忆样本的x，网络输出为
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因为x不是已学习过的记忆样本，x-xP不是A中的矢量，则必然有
Wt(x-xP)≠x-xP，
并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(Wtx+bt)≠x，使x不能收敛到自身。
用输入模式给出一组目标平衡点，函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。
设计好网络后，可以应用函数HopfieldSimu( )，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。
三、总体算法
1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法
应用正交化权值设计方法，设计Hopfield网络；
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]；
使Hopfield网络的稳定输出矢量与给定的目标矢量一致。
1)输入P个输入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
输入参数，包括T、h；
2)由X[N][P]构造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)对A[N][P-1]作奇异值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])构造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])构造Wm[N][N]；
7)构造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)构造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)构造W[N][N](9～13)，
构造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值，其余为0)，特征向量矩阵Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)构造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)构造
中国矿产资源评价新技术与评价新模型
Uˊ——U的转置；
16)输出W[N][N]，b[N]；
17)结束。
2.Hopfield网络预测应用总体算法
Hopfield网络由一层N个斜坡函数神经元组成。
应用正交化权值设计方法，设计Hopfield网络。
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]。
初始输出为X[N][P]，
计算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
进行T次迭代，
返回最终输出X[N][P]，可以看作初始输出的分类。
3.斜坡函数
中国矿产资源评价新技术与评价新模型
输出范围[-1，1]。
四、数据流图
Hopfield网数据流图见附图3。
五、调用函数说明
1.一般实矩阵奇异值分解
(1)功能
用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。
(2)方法说明
设A为m×n的实矩阵，则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V，使
中国矿产资源评价新技术与评价新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式称为实矩阵A的奇异值分解式，σi(i=0，1，…，p)称为A的奇异值。
奇异值分解分两大步：
第一步：用豪斯荷尔德变换将A约化为双对角线矩阵。即
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
j具有如下形式：
中国矿产资源评价新技术与评价新模型
其中ρ为一个比例因子，以避免计算过程中的溢出现象与误差的累积，Vj是一个列向量。即
Vj=(υ0，υ1，…，υn-1)，
则
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
第二步：用变形的QR算法进行迭代，计算所有的奇异值。即：用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。
在每一次的迭代中，用变换
中国矿产资源评价新技术与评价新模型
其中变换
在每次迭代时，经过初始化变换V01后，将在第0列的主对角线下方出现一个非0元素。在变换V01中，选择位移植u的计算公式如下：
中国矿产资源评价新技术与评价新模型
最后还需要对奇异值按非递增次序进行排列。
在上述变换过程中，若对于某个次对角线元素ej满足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
则可以认为ej为0。
若对角线元素sj满足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
则可以认为sj为0(即为0奇异值)。其中ε为给定的精度要求。
(3)调用说明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函数返回一个整型标志值，若返回的标志值小于0，则表示出现了迭代60次还未求得某个奇异值的情况。此时，矩阵的分解式为UAVT；若返回的标志值大于0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为m×n。存放m×n的实矩阵A；返回时，其对角线给出奇异值(以非递增次序排列)，其余元素为0；
m——整型变量，实矩阵A的行数；
n——整型变量，实矩阵A的列数；
u——指向双精度实型数组的指针，体积为m×m。返回时存放左奇异向量U；
υ——指向双精度实型数组的指针，体积为n×n。返回时存放右奇异向量VT；
esp——双精度实型变量，给定的精度要求；
ka——整型变量，其值为max(m，n)+1。
2.求实对称矩阵特征值和特征向量的雅可比过关法
(1)功能
用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。
(2)方法说明
雅可比方法的基本思想如下。
设n阶矩阵A为对称矩阵。在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素，设为apq。利用平面旋转变换矩阵R0(p，q，θ)对A进行正交相似变换：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素为
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式确定角度θ，
中国矿产资源评价新技术与评价新模型
则对称矩阵A经上述变换后，其非对角线元素的平方和将减少
综上所述，用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下：
1)令S=In(In为单位矩阵)；
2)在A中选取非对角线元素中绝对值最大者，设为apq；
3)若｜apq｜＜ε，则迭代过程结束。此时对角线元素aii(i=0，1，…，n-1)即为特征值λi，矩阵S的第i列为与λi相应的特征向量。否则，继续下一步；
4)计算平面旋转矩阵的元素及其变换后的矩阵A1的元素。其计算公式如下
中国矿产资源评价新技术与评价新模型
5)S=S·R(p，q，θ)，转(2)。
在选取非对角线上的绝对值最大的元素时用如下方法：
首先计算实对称矩阵A的非对角线元素的平方和的平方根
中国矿产资源评价新技术与评价新模型
然后设置关口υ1=υ0/n，在非对角线元素中按行扫描选取第一个绝对值大于或等于υ1的元素αpq进行平面旋转变换，直到所有非对角线元素的绝对值均小于υ1为止。再设关口υ2=υ1/n，重复这个过程。以此类推，这个过程一直作用到对于某个υk＜ε为止。
(3)调用说明
void cjcbj(double*a，int n，double*v，double eps)。
形参说明：
a——指向双精度实型数组的指针，体积为n×n，存放n阶实对称矩阵A；返回时，其对角线存放n个特征值；
n——整型变量，实矩阵A的阶数；
υ——指向双精度实型数组的指针，体积为n×n，返回特征向量，其中第i列为与λi(即返回的αii，i=0，1，……，n-1)对应的特征向量；
esp——双精度实型变量。给定的精度要求。
3.矩阵求逆
(1)功能
用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。
(2)方法说明
高斯-约当法(全选主元)求逆的步骤如下：
首先，对于k从0到n-1做如下几步：
1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素，并记住此元素所在的行号和列号，再通过行交换和列交换将它交换到主元素位置上，这一步称为全选主元；
2)
3)
4)αij-
5)-
最后，根据在全选主元过程中所记录的行、列交换的信息进行恢复，恢复原则如下：在全选主元过程中，先交换的行、列后进行恢复；原来的行(列)交换用列(行)交换来恢复。
图8-4 东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图
(3)调用说明
int brinv(double*a，int n)。
本函数返回一个整型标志位。若返回的标志位为0，则表示矩阵A奇异，还输出信息“err**not inv”；若返回的标志位不为0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为n×n。存放原矩阵A；返回时，存放其逆矩阵A-1；
n——整型变量，矩阵的阶数。
六、实例
实例：柴北缘—东昆仑地区铜矿分类预测。
选取8种因素，分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。
构置原始变量，并根据原始数据构造预测模型。
HOPFIELD模型参数设置：训练模式维数8，预测样本个数774，参数个数8，迭代次数330。
结果分44类(图8-4，表8-5)。
表8-5 原始数据表及分类结果（部分）
续表