神经网络架构算法介绍

---

(-__-)b机器学习之人工神经网络算法

---

机器学习中有一个重要的算法，就是人工神经网络算法。 听到这个名字，相信大家都能想到人体中的神经。 其实这个算法有点类似于人工神经。 当然，这个算法可以解决很多问题，因此在机器学习中具有很高的地位。 下面我们就给大家介绍一下人工神经网络算法的一些知识。
1.神经网络的起源
不久前，我们听说了神经网络。 事实上，神经网络已经存在了一段时间了。 神经网络的诞生源于对大脑工作机制的研究。 早期生物学家使用神经网络来模拟大脑。 机器学习学者利用神经网络进行机器学习实验，发现在视觉和语音识别方面效果都相当不错。 BP算法诞生后，神经网络的发展进入了高潮。
2.神经网络原理
那么神经网络的学习机制是怎样的呢？简单来说，就是分解和整合。 复杂的图像变成进入神经元的大量细节。 神经元对它们进行处理然后整合，最后得出他们所看到的结论是正确的。 这就是大脑视觉识别的机制，也是神经网络的工作机制。 由此可见神经网络具有明显的优势。
3.神经网络的逻辑架构
让我们看一下一个简单的神经网络的逻辑架构。 在该网络中，分为输入层、隐藏层和输出层。 输入层负责接收信号，隐藏层负责分解和处理数据，最终结果整合到输出层。 每层中的圆圈代表一个处理单元，可以将其视为模拟神经元。 几个处理单元组成一个层，几个层组成一个网络，这就是“神经网络”。 在神经网络中，每个处理单元实际上都是一个逻辑回归模型。 逻辑回归模型接收来自上层的输入，并将模型的预测结果作为输出传输到下一层。 通过这样的过程，神经网络可以完成非常复杂的非线性分类。
4.神经网络的应用。
图像识别领域是神经网络的著名应用。 该程序是一个基于多个隐藏层的神经网络。 该程序可以识别多种手写数字，识别精度高，鲁棒性好。 可以看到，随着层次的不断深入，层次越深，处理的细节就越低。 但到了20世纪90年代，神经网络的发展进入了瓶颈期。 主要原因在于，尽管BP算法得到了加速，但神经网络的训练过程仍然很困难。 因此，支持向量机算法在20世纪90年代末取代了神经网络。
在这篇文章中，我们介绍了神经网络的相关知识。 具体内容是神经网络的起源、神经网络的原理、神经网络的逻辑架构以及神经网络的应用。 相信大家看到这里已经对神经网络知识有了一定的了解，希望这篇文章能够对大家有所帮助。

---

∩△∩神经网络算法原理

---

4.2.1概述

人工神经网络的研究和计算机的研究几乎同时发展。 1943年，心理学家麦卡洛克和数学家皮茨合作提出了形式神经元的数学模型。 1982年，Hopfiled引入了能量函数的概念，并提出了一类神经模型。 1986年，Rumelhart和LeCun等科学家提出了多层感知器的反向传播算法。

在众多研究者的努力下，神经网络技术在理论上已经越来越完善，算法的种类也在不断增加。 目前，神经网络已有许多理论研究成果，出版了许多基础理论书籍，仍然是国际上非线性科学研究的热点之一。

神经网络是通过模拟人脑的神经结构来实现人脑智能活动功能的信息处理系统。 它具有人脑的基本功能，但并不是人脑的真实反映。 它是人脑的抽象、简化和模拟模型，因此被称为人工神经网络（卞兆琪，2000）。

人工神经元是神经网络的节点，也是神经网络最重要的组成部分之一。 目前，与神经元相关的模型有很多种。 最常用和最简单的模型是由阈值函数和sigmoid函数组成的模型（图4-3）。

图4-3人工神经元和两种常见的输出函数

神经网络学习识别方法原本是根据人脑神经元的学习和识别过程提出的。 输参数就像接收信号的神经元，通过一定的权重（对应刺激神经兴奋的强度）与神经元连接。 这个过程有点类似于多元线性回归，但模拟的非线性特性体现在下一步，即通过设定一个阈值（神经元激励极限），确定神经元的激励模式，并输出结果。 通过输出运算得到。 当大量样本进入网络系统进行学习训练后，连接输入信号和神经元的权重变得稳定，能够最好地对应训练好的学习样本。 在确认网络结构的合理性和学习效果的高精度后，将待预测样本的输入参数插入到网络中，达到参数预测的目的。

4.2.2反向传播算法（BP法）

到目前为止，神经网络模型不下十几种，例如：如前馈神经网络、感知器、hopfiled网络和径向基函数网络、反向传播算法（BP法）等，但在油藏参数反演方面，目前比较成熟和流行的网络类型是误差反向传播神经网络（BP-安）。

BP网络是在前馈神经网络的基础上发展起来的。 总是有一个输入层（它包含与每个输入变量相对应的节点和一个输出层（它包含与每个输出相对应的节点）。 值）和至少一个具有任意数量节点的隐藏层（也称为中间层）。 在BP-ANN中，相邻层中的节点都通过任意初始权值连接，但同一层中的节点彼此不连接。 对于BP-ANN，隐藏层和输出层节点的基函数必须是连续且单调递增的。 如果输入趋于正无穷大或负无穷大，则应接近某个固定值，即基函数为“.“S”型（Kosko，1992）。 训练BP-ANN是一个有监督的学习过程，它包括两个数据集，即训练数据集和监测数据集。

向网络的输入层提供一组输入信息，使其能够穿过网络并在输出层产生近似期望输出的过程称为网络学习或训练网络。 为了实现这一目标，一步法被称为学习算法。 BP网络的学习过程由两个阶段组成：第一阶段是前向过程，将输入变量通过输入层经过隐含层逐层计算各单元的输出值，是反向传播过程，这是基于逐层输出误差的。 前向计算隐藏层各单元的误差，并利用该误差来修正前一层的权重。 误差信息通过网络传回，按照误差逐渐减小的原则调整权重，直到得到满意的输出。 网络学习完毕后，确定一组合适且稳定的连接权值，将待预测的样本作为输入层参数。 网络可以通过前向传播得到输出结果，这就是网络的预测。

反向传播算法的主要步骤如下：首先选择权重系数的初始值，然后重复以下过程直至收敛（依次计算每个样本）。

（1）从前到后计算各层各单元Oj

储层物性调查与预测

（2）计算输出层δj

储层物性调查与预测

(3）由下式向前计算各隐层δj

储层性质研究与预测

（4）计算及各权重保存修正量

储层物性调查与预测

（5）修正权重

储层物性调查与预测

上述算法对每个样本的权重进行了修正。 它还可以计算每个样本的δj，然后将其求和按“总误差校正权重”。