BP神经网络中初始权值和阈值的设定
1、首先需要了解BP神经网络是一种多层前馈网络。2、以看一下在matlab中BP神经网络的训练函数，有梯度下降法traingd,弹性梯度下降法trainrp，自适应lr梯度下降法traingda等。
3、在matlab中命令行窗口中定义输入P，输出T，·通过”newff(minmax(P),[5,1]构建BP神经网络，”[net,tr]=train(net,P,T);”进行网络训练，”sim(net,P)”得到仿真预测值。
4、在命令行窗口按回车键之后，可以看到出现结果弹窗，最上面的NeuralNetwork下面依次代表的是”输入、隐含层、输出层、输出”，隐含层中有5个神经元。
5、Progress下面的Epoch代表迭代次数，Gradient代表梯度，VaildationChecks代表有效性检查，最后的绿色对勾代表性能目标达成。
6、最后将实际曲线和预测曲线绘制出来，可以看到使用BP神经网络预测的结果曲线基本和实际输出曲线一致。
谷歌人工智能写作项目：小发猫
神经网络权值是啥意思？
神经网络的权值是通过对网络的训练得到的 AI爱发猫。如果使用MATLAB的话不要自己设定，newff之后会自动赋值。也可以手动：{}=;{}=。一般来说输入归一化，那么w和b取0-1的随机数就行。
神经网络的权值确定的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。网络是由若干节点和连接这些节点的链路构成，表示诸多对象及其相互联系。
在1999年之前，人们一般认为网络的结构都是随机的。
但随着Barabasi和Watts在1999年分别发现了网络的无标度和小世界特性并分别在世界著名的《科学》和《自然》杂志上发表了他们的发现之后，人们才认识到网络的复杂性。
网络会借助文字阅读、图片查看、影音播放、下载传输、游戏、聊天等软件工具从文字、图片、声音、视频等方面给人们带来极其丰富的生活和美好的享受。
汉语中，”网络”一词最早用于电学《现代汉语词典》（1993年版）做出这样的解释：”在电的系统中，由若干元件组成的用来使电信号按一定要求传输的电路或这种电路的部分，叫网络。
“在数学上，网络是一种图，一般认为专指加权图。网络除了数学定义外，还有具体的物理含义，即网络是从某种相同类型的实际问题中抽象出来的模型。
在计算机领域中，网络是信息传输、接收、共享的虚拟平台，通过它把各个点、面、体的信息联系到一起，从而实现这些资源的共享。网络是人类发展史来最重要的发明，提高了科技和人类社会的发展。
神经网络连接权总数指什么?
神经网络参数如何确定
神经网络各个网络参数设定原则：①、网络节点 网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。
如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1BP神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。
②、初始权值的确定 初始权值是不应完全相等的一组值。已经证明，即便确定 存在一组互不相等的使系统误差更小的权值，如果所设Wji的的初始值彼此相等，它们将在学习过程中始终保持相等。
故而，在程序中，我们设计了一个随机发生器程序，产生一组一0.5~+0.5的随机数，作为网络的初始权值。
③、最小训练速率 在经典的BP算法中，训练速率是由经验确定，训练速率越大，权重变化越大，收敛越快；但训练速率过大，会引起系统的振荡，因此，训练速率在不导致振荡前提下，越大越好。
因此，在DPS中，训练速率会自动调整，并尽可能取大一些的值，但用户可规定一个最小训练速率。该值一般取0.9。④、动态参数 动态系数的选择也是经验性的，一般取0.6~0.8。
⑤、允许误差 一般取0.001~0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，给出结果。⑥、迭代次数 一般取1000次。
由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数。⑦、Sigmoid参数该参数调整神经元激励函数形式，一般取0.9~1.0之间。⑧、数据转换。
在DPS系统中，允许对输入层各个节点的数据进行转换，提供转换的方法有取对数、平方根转换和数据标准化转换。扩展资料：神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。
主要的研究工作集中在以下几个方面：1.生物原型从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
2.建立模型根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
3.算法在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。
参考资料：百度百科-神经网络（通信定义）
BP神经网络一般初始权值和阀值是多少？
。
初始的权值和偏差一般是在0-1之间，随机选取某一0-1之间的值作为某一权值或偏差的值原因在于：1、数据预处理阶段会将所有的数据规范化到0-1之间，并且神经网络的输出也是0-1之间的向量，因此其中的网络结点值也应位于0-1中2、随机初始化的优势在于可有效避免梯度消失或梯度爆炸的问题，增加网络的稳定性。
BP神经网络连接权值如何确定
确认方法：统计学认为，在统计中计算平均数等指标时，对各个变量值具有权衡轻重作用的数值就称为权数。
例子：求下列数串的平均数3、4、3、3、3、2、4、4、3、3、一般求法为（3＋4＋3＋3＋3＋2＋4＋4＋3＋3）／10＝3．2加权求法为（6＊3＋3＊4＋2）／10＝3．2其中3出现6次，4出现3次，2出现1次．6、3、1就叫权数。
这种方法叫加权法。一般说的平均数，就是把所有的数加起来，再除以这些数的总个数。
表示为：(p1+p2+p3+…..+pn)/n;但有的数据记录中有一些相同的数据，在计算的时候，那一个数有几个相同数，就把这个数乘上几，这个几，就叫权，加权，就是乘上几后再加。
平均数还是要除以总个数。
还是以上面的各个数为例：它们每个数都有一些相同数，表示为：k1,k2,k3…….kn;加权平均的公式是：（k1p1+k2p2+k3p3+……knpn）/(k1+k2+k3+…..kn)。
研究人工神经网络的权值分布有什么意义
。
神经网络一般都是非常庞大的，每个边对应一个权值，如果权值不共享的话，数据量就更大了，但是为了提高效率，引入了权值共享，但是还不够，想再次提高效率和精确度，进行主成分分析，把一些重要的权重保留，不重要的舍弃，你这个权值分布就很有意义了，比如权重是5的权值在概率上占到了百分之95，或者说主成分分析的结果前2类权重就占据了百分之80，那么剩下的权值就可以省略，当然这都是理论上的。
神经网络中权值初始化的方法
。
神经网络中权值初始化的方法权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）常量初始化(constant)把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定义高斯分布初始化（gaussian）需要给定高斯函数的均值与标准差positive_unitball初始化让每一个神经元的输入的权值和为1，例如：一个神经元有100个输入，让这100个输入的权值和为1.首先给这100个权值赋值为在（0，1）之间的均匀分布，然后，每一个权值再除以它们的和就可以啦。
这么做，可以有助于防止权值初始化过大，从而防止激活函数（sigmoid函数）进入饱和区。
所以，它应该比较适合simgmoid形的激活函数均匀分布初始化（uniform）将权值与偏置进行均匀分布的初始化，用min与max来控制它们的的上下限，默认为（0，1）xavier初始化对于权值的分布：均值为0，方差为（1/输入的个数）的均匀分布。
如果我们更注重前向传播的话，我们可以选择fan_in，即正向传播的输入个数；如果更注重后向传播的话，我们选择fan_out,因为在反向传播的时候，fan_out就是神经元的输入个数；如果两者都考虑的话，就选average=(fan_in+fan_out)/2。
对于ReLU激活函数来说，XavierFiller初始化也是很适合。关于该初始化方法，具体可以参考文章1、文章2，该方法假定激活函数是线性的。
msra初始化对于权值的分布：基于均值为0，方差为(2/输入的个数)的高斯分布；它特别适合ReLU激活函数，该方法主要是基于Relu函数提出的，推导过程类似于xavier。
双线性初始化（bilinear）常用在反卷积神经网络里的权值初始化。
如何理解卷积神经网络中的权值共享
所谓的权值共享就是说，给一张输入图片，用一个filter去扫这张图，filter里面的数就叫权重，这张图每个位置是被同样的filter扫的，所以权重是一样的，也就是共享。
这么说可能还不太明白，如果你能理解什么叫全连接神经网络的话，那么从一个尽量减少参数个数的角度去理解就可以了。
对于一张输入图片，大小为WH，如果使用全连接网络，生成一张XY的featuremap，需要WHX*Y个参数，如果原图长宽是10^2级别的，而且XY大小和WH差不多的话，那么这样一层网络需要的参数个数是10^8~10^12级别。
这么多参数肯定是不行的，那么我们就想办法减少参数的个数对于输出层featuremap上的每一个像素，他与原图片的每一个像素都有连接，每一个链接都需要一个参数。
但注意到图像一般都是局部相关的，那么如果输出层的每一个像素只和输入层图片的一个局部相连，那么需要参数的个数就会大大减少。
假设输出层每个像素只与输入图片上FF的一个小方块有连接，也就是说输出层的这个像素值，只是通过原图的这个FF的小方形中的像素值计算而来，那么对于输出层的每个像素，需要的参数个数就从原来的WH减小到了FF。
如果对于原图片的每一个FF的方框都需要计算这样一个输出值，那么需要的参数只是WHFF，如果原图长宽是10^2级别，而F在10以内的话，那么需要的参数的个数只有10^5~10^6级别，相比于原来的10^8~10^12小了很多很多。
Original: https://blog.csdn.net/shirley67269/article/details/126427142
Author: 快乐的小肥熊
Title: 神经网络权重是什么意思,神经网络权值和阈值
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/628049/
转载文章受原作者版权保护。转载请注明原作者出处！