神经网络的本质归纳

BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或和一些其他问题。 从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。

神经网络的本质是非线性映射，那么深度学习中讨论的线性和非线性是两个变量之间的关系是一次函数关系的图像是直线，这样的两个变量之间的关系就是“线性关系”；如果不是一次函数关系的图像不是直线，就是“非线性关系”。 线性与非线性的区别：线性与非线性，常用于区别函数y=f（x）对自变量x的依赖关系。

神经网络的基本原理是：每个神经元把最初的输入值乘以一定的权重，并加上其他输入到这个神经元里的值（并结合其他信息值），最后算出一个总和，再经过神经元的偏差调整，最后用激励函数把输出值标准化。 基本上，神经网络是由一层一层的不同的计算单位连接起来的。

称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。 人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

卷积神经网络的三个思想根源，分别是局部感受野、权值共享和池化。 1、局部感受野：这个思想是基于生物学视觉系统的工作原理，即视网膜上的每个神经元只能感受到有限的区域，这个感受区域被称为局部感受野。