如何得出神经网络需要多少隐藏层、每层需要多少神经元？

2018 年 10 月 22 日 论智

来源：datacamp

编译：weakish

编者按：Ahmed Gad介绍了一个决定神经网络深度、网络层大小的简单方法。

该使用多少层隐藏层？使用隐藏层的目的是什么？增加隐藏层/神经元的数目总能给出更好的结果吗？人工神经网络（ANN）初学者常常提出这些问题。如果需要解决的问题很复杂，这些问题的答案可能也会比较复杂。希望读完这篇文章后，你至少可以知道如何回答这些问题。

介绍

在计算机科学中，借鉴了生物神经网络的ANN用一组网络层表示。这些网络层可以分为三类：输入层、隐藏层、输出层。

输入层和输出层的层数、大小是最容易确定的。每个网络都有一个输入层，一个输出层。输入层的神经元数目等于将要处理的数据的变量数。输出层的神经元数目等于每个输入对应的输出数。不过，确定隐藏层的层数和大小却是一项挑战。

下面是在分类问题中确定隐藏层的层数，以及每个隐藏层的神经元数目的一些原则：

在数据上画出分隔分类的期望边界。
将期望边界表示为一组线段。
线段数等于第一个隐藏层的隐藏层神经元数。
将其中部分线段连接起来（每次选择哪些线段连接取决于设计者），并增加一个新隐藏层。也就是说，每连接一些线段，就新增一个隐藏层。
每次连接的连接数等于新增隐藏层的神经元数目。

下面我们将举例说明这一确定隐藏层层数、大小的简单方法。

例一

让我们先来看一个简单的分类问题。每个样本有两个输入和一个表示分类标签的输出，和XOR问题很像。

首先需要回答的问题，是否需要隐藏层。关于这个问题，有一条一般规则：

在神经网络中，当且仅当数据必须以非线性的方式分割时，才需要隐藏层。

回到我们的例子。看起来一条直线搞不定，因此，我们需要使用隐藏层。在这样的情形下，也许我们仍然可以不用隐藏层，但会影响到分类精确度。所以，最好使用隐藏层。

已知需要隐藏层，那么接下来就需要回答两个重要问题：

需要多少层？
每层需要多少神经元？

按照我们之前提到的流程，首先需要画出分割的边界。如下图所示，可能的边界不止一种。我们在之后的讨论中将以下图右部的方案为例。

根据之前的原则，接下来是使用一组线段表示这一边界。

使用一组线段表示边界的想法来自于神经网络的基础构件——单层感知器。单层感知器是一个线性分类器，根据下式创建分界线：

y = w₁x₁ + w₂x₂ + ⋯ + w_ix_i + b

其中x_i是第i项输入，w_i是权重，b是偏置，y是输出。因为每增加一个隐藏单元都会增加权重数，所以一般建议使用能够完成任务的最少数量的隐藏单元。隐藏神经元使用量超出需要会增加复杂度。

回到我们的例子上来，人工神经网络基于多个感知器构建，这就相当于网络由多条直线组成。

因此我们使用一组线段替换边界，以分界曲线变向处作为线段的起点，在这一点上放置方向不同的两条线段。

如下图所示，我们只需要两条线段（分界曲线变向处以空心圆圈表示）。也就是两个单层感知器网络，每个感知器产生一条线段。

只需两条线段就可以表示边界，因此第一个隐藏层将有两个隐藏神经元。

到目前为止，我们有包含两个隐藏神经元的单隐藏层。每个隐藏神经元可以看成由一条线段表示的一个线性分类器。每个分类器（即隐藏神经元）都有一个输出，总共有两个输出。但我们将要创建的是基于单个输出表示分类标签的一个分类器，因此，两个隐藏神经元的输出将被合并为单个输出。换句话说，这两条线段将由另一个神经元连接起来，如下图所示。