神经网络架构的示意图(目前常用的神经网络结构)

3、 本文提出了二进制架构搜索(BATS)，这是一个通过神经架构搜索(NAS)大幅缩小二进制神经网络与其实值对应的精度差距的框架。 实验表明，直接将NAS 应用于二进制领域的结果非常糟糕。

1、 2、递归神经网络各节点链接为有向环,而玻尔兹曼机各节点连接成无向完全图。 而受限玻尔兹曼机是什么呢? 最简单的来说就是加入了限制,这个限制就是将完全图变成了二分图。 即由一个显层和一个隐层构成,显层与隐层的神经元之间为双向全连接。

2、 VGG Net 与之前的经典网络结构相比最突出的特征是大量的使用 3x3 （部分架构中还采用了 1x1 ）的小卷积核，并且采用 same padding 来维持卷积前后的 w 和 h，Feature map 的缩放完全交给 2x2 的 max pooling 层来完成，此后基本上所有的卷积神经网络的卷积核都采用 3x3 的尺寸。