简单的神经网络模型有哪些

本文目录一览

• I、卷积神经网络的模型有哪些
• II、深入理解BP神经网络
• III、有哪些深度神经网络模型？

I、卷积神经网络的模型有哪些

卷积神经网络模型如下：

1LeNet-5模型

在CNN的应用中，使用LeNet-5模型文本识别系统是一个非常经典的模型。 LeNet-5模型由YannLeCun教授于1998年提出，是第一个成功应用于大规模手写数字识别问题的卷积神经网络，在MNIST数据集上的准确率可达99.2%。 。

LeNet-5模型一共有7层，每层包含很多参数，这些参数都是卷积神经网络中的参数。 虽然层数只有7层，这在当今大型神经网络中是非常少见的，但包含了卷积层、耦合层和全连接层，可以说虽是小麻雀，但五脏俱全。 为了方便起见，我们将卷积层称为C层和下采样层。

2AlexNet模型

在2012年Imagenet图像识别大赛中，Alext提出的alexnet网络模型获得了巨大成功，引发了神经网络应用的热潮，荣获图像识别大赛冠2012年，识别大赛冠，这也使得卷积神经网络真正成为图像处理的基础算法。

上面介绍的LeNet-5出现在上个世纪，虽然是经典，但由于现实生活场景的种种限，只能在某些域应用。 然而，随着SVM等手工设计特征的快速发展，LeNet-5尚未得到广泛应用。

随着ReLU和dropout的引入，以及GPU带来的计算能力的进步和互联网时代大数据的爆发，卷积神经网络带来了历史性的进步，AlexNet的提出深度学习是工智能的一个进步。

II、深入理解BP神经网络BP神经网络是一种多层前馈神经网络。 其主要特点是信号向前传播，误差向后传播。 具体来说，对于如下只有一个隐层的神经网络模型：
BP神经网络的过程主要分为两个阶段。 第一阶段是信号的前向传播，从输入层经过隐层，最终到达输出层；第二阶段是误差的反向传播，从输出层到隐层，最后到输入层。 从隐层到输出层的权重和偏差依次调整，输入层到隐层的权重和偏差依次调整。
神经网络的基本单位是神经元。 神经元的一般模型如图所示。 常用的活函数包括阈值函数、Sigmoid函数和双曲正切函数。
神经元的输出为：
神经网络是多个神经元按照一定规则连接在一起形成的网络，如图所示。
从图中可以看出，神经网络包括输入层、隐层（中间层）和输出层。 输入层的神经元数量与输入数据的维度相同。 输出层的神经元数量与待拟合的数据数量相同。 隐层的神经元数量和层数需要设计者遵循一些规则和目标。 设置。 在深度学习出现之前，隐层的数量通常为一层，即常用的神经网络是3层网络。
BP网络使用的传递函数是非线性变换函数——Sigmoid函数（也称为S函数）。 其特点是函数本身及其导数是连续的，因此处理起来非常方便。 为什么要选择这个函数，后面介绍BP网络的学习算法时会进一步介绍。 S函数有两种类型：单极S形函数和双极S形函数。 单极S形函数定义如下：f(x)=1/1+e−x
其函数曲线如图所示：
双极性sigmoid函数：f(x)=1−e−x/1+e−x
使用sigmoid活函数时，输入：
输出：
输出的导数：
当使用S型活函数时，BP网络的输出及其导数图：
根据图S活函数的：
net的导数在-5~0时为正值，并且导数的值逐渐增大，说明f(x)逐渐变大且变快
当net在0到5之间时，导数的值为正，并且导数的值逐渐减小，说明此时f(x)逐渐变大，但变大的速度变大就是越来越慢
训练神经网络时，我们应该尽量将net的值控在收敛比较快的范围内。
1.定义一个BP神经网络类并设置网络相关参数
2.实例化神经网络并将其构建为3维输出，如下所示。 具有3个隐层的一维BP网络（每个隐层10个节点）；（也可以随意扩展输入、输出维度和隐层相关系数）
3.初始化在构建BP神经网络时，开始初始化各层网络节点的权值、权值动量、误差初始值
4.引入学习训练数据；4组输入输出数据迭代5000次
不断地逐层计算输出节点数据5000次
同时逐层计算误差，反向修改权重值，直至迭代完成；注意误差函数值必须呈现下降趋势
5.引入数据进行结果预测，并将数据带回模型计算结果；最终可以看到预测结果接近0.7
神经网络利用已有的数据找出输入和输出之间的权重关系（近似），然后利用这个权重关系来模拟。 例如，输入一组数据来模拟输出结果。 当然，您的输入必须与用于训练的数据集属于同一类别。 例如天气预报：以温度、湿度、压力作为输入，天气条件作为输出，利用历史输入输出关系来训练神经网络。 然后用这样的神经网络输入今天的温度、湿度和压力来获得即将到来的天气状况。 同理，应用于自动化测试时，测试数据可以用来反映结果的走向，Bug的数量、质量问题等也可以提前预测！
附录： III、有哪些深度神经网络模型？目前，常用的深度神经网络模型主要包括卷积神经网络（CNN）、循环神经网络（RNN）、深度置信网络（DBN）、深度自码器（AutoEncoder）和对抗生成网络（GAN）。
递归神经网络实际上包括两种类型的神经网络。 一是递归神经网络（RecurrentNeuralNetwork）；另一种是结构递归神经网络（RecursiveNeuralNetwork），它使用类似的网络结构递归地训练更复杂的深层网络。 两个RNN都可以处理序列问题，例如时间序列等。 而RNN具有“记忆”能力，可以“模拟”数据之间的依赖关系。 卷积网络的本质是适合处理结构化数据。
深度神经网络模型的相关学习，推荐CDADataEngineer相关课程。 该课程注重场景化教学和项目，培养学生的实际数据掘能力。 您置身于演讲者设计的业务场景中。 不断提出业务问题，然后要求学生一步步思考和行动解决问题，帮助学生掌握优秀的数据掘技能来解决业务问题。 这种教学方法能够发学生的独立思考和主观能动性。 学生掌握的技能和知识可以快速转化为可以灵活运用、在不同场景下自由运用的技能。