神经网络训练10个参数

本文目录一览

• ⒈如何选择神经网络的超参数
• ⒉训练神经网络可以得到什么
• ⒊BP神经网络模型各个参数的选取问题

⒈如何选择神经网络的超参数1.选择神经网络算法的隐藏层
1.1构建方法
首先使用三种方法确定隐藏层数，获取三个隐藏层的数量，找到最小值和最大值，然后一一检查模型预测误差，从最小值开始，直到达到最大值。 最后，选择模型误差最小的隐藏层数。 该方法适用于双隐层网络。
1.2去除方法
只有一层隐含层的网络非线性映射能力较弱。 对于同样的问题，为了达到预定义的映射比例，应该有更多的隐藏层节点来增加可调参数。 网络，所以可以通过删除的方法来使用。
1.3黄金分割法
算法的主要思想：首先找到[a,b]内部理想的隐藏层节点数量，充分保证了网络的近似和泛化能力。 为了满足高精度逼近的要求，根据黄金分割原理扩大搜索区间，即得到区间[b,c]（其中b=0.619*(c-a)+a），并得到最优在区[b,c]内进行搜索。 然后得到具有较强逼近能力的隐含层节点个数。 实际应用中，可以根据需要从中选择一种。

⒉训练神经网络可以得到什么通过训练神经网络可以得到数学模型。 例如，如果你用10个输入变量和10,000条每日温度数据训练一个神经网络，得到的数学模型可以使用这10个变量来计算当天的温度。 ⒊BP神经网络模型各个参数的选取问题不需要太多的样本变量，因为神经网络的信息存储能力是有限的，太多的样本会丢掉一些有用的信息。 如果样本数量过多，则应增加隐含层节点数或隐含层数，以增强学习能力。
1.隐藏层数
一般认为增加隐藏层数可以减少网络误差（有文献也认为不一定能有效减少），提高准确率，但同时也会导致网络复杂度增加，从而增加网络训练时间和趋势“过度拟合”。 一般来说，在设计神经网络时，应优先考虑三层网络（即一个隐藏层）。 一般来说，通过增加隐含层节点数比增加隐含层数更容易实现更低的误差。 对于没有隐藏层的神经网络模型来说，它实际上是一个线性或非线性回归模型（取决于哪个输出层使用线性或非线性传递函数类型）。 因此，一般认为没有隐含层的网络模型应该纳入回归分析，因为这项技术已经非常成熟，不需要在神经网络理论中讨论。
2.隐藏层节点数
在BP网络中，隐藏层节点数的选择非常重要，不仅对所选神经网络模型的性能有重大影响，而且...但它也会导致训练过程中的“过度处理”。 但目前理论上尚无科学、通用的方法进行判定。 目前文献中提出的确定隐含层节点数的计算公式大多是针对训练样本数任意的情况，且大多是针对不利的情况，在一般工程中很难满足练习，不应该使用。 事实上，不同计算公式得到的隐藏层节点数有时相差数倍甚至数百倍。 为了尽可能避免训练过程中出现“过拟合”现象，保证网络足够高性能和泛化能力，确定隐层节点数的基本原则是尽可能采用最紧凑的结构，同时满足精度要求，即取尽可能少的隐藏层节点数。 研究表明，隐含层节点数不仅与I/O层节点数有关，还与待解决问题的复杂程度、传递函数的类型、特性等因素有关。 样本数据。