「撞脸」一直都是娱乐圈一大笑梗。

要是买火车票的时候碰上孙楠、杨臣刚、王大冶......脸盲症患者可以直接放弃回家，原地暴哭了。

当然，& quot脸撞& quot并不是娱乐圈独有的。还有一些专业术语& quot相似的外表& quot在AI圈子里，这让初学者很困惑，比如DNN、RNN和CNN，这也是我们今晚要科普的。

这三个术语实际上是第三代神经网络中使用的三种算法：DNN(深度神经网络)、RNN(递归神经网络)和CNN(卷积神经网络)。

1、三代神经网络的发展

第一代神经网络又称为感知器，在1950年左右被提出来, its算法只有两层，输入层和输出层，主要是线性结构。它解决不了线性不可分的问题，对稍微复杂的函数也无能为力，比如异或运算。

为了解决第一代神经网络的缺陷，与第一代神经网络相比，输入层间具有多个隐层的在1980年左右Rumelhart、Williams等人提出第二代神经网络多层感知器（MLP）。's第二代感知器可以引入一些非线性结构，解决了以前不能模拟异或逻辑的缺陷。

第二代神经网络让科学家发现，神经网络的层数直接决定了其表达现实的能力。但随着层数的增加，优化函数更容易出现局部最优解的现象。由于梯度消失的问题，深层网络往往难以训练，效果不如浅层网络。

2006年Hinton采取无监督预训练's方法解决了梯度消失的问题，使深层神经网络可训练，将隐含层发展到七层，使神经网络真正& quot深度& quot，开启了深度学习的浪潮，第三代神经网络开始正式兴起。

2、深度神经网络最常用的三大算法

在结构上，DNN：深度神经网络与传统的神经网络没有太大的区别。最大的区别是增加了层数，解决了模型可以训练的问题。

总之，DNN比NN多了一些隐层，但这些隐层的作用是巨大的,的效果非常显著和神奇。

当然，第三代神经网络能够带来神奇的效果，不仅仅是因为它的模型结构和训练方法更加优化，算法更加先进。最重要的是随着移动互联网的普及海量数据的产生和机器计算能力的增强。

"深度& quot在DNN的意思是深度，但是深度学习并没有固定的深度定义或衡量标准，解决不同问题所需的隐含层数自然也不同。就大家比较熟悉的语音识别来说，解决问题可能4层就够了，但是一般的图像识别需要达到20层才能解决问题。

DNN最大的问题是只能看到预设长度的数据，表达语音、语言等时间序列信号的能力仍然有限。在此基础上，提出了RNN模型，即递归神经网络。

RNN：递归神经网络's完全连接DNN有一个无法解决的问题：无法对时间序列上的变化进行建模。.

为了满足这种需求，业界提出了上面提到的递归神经网络RNN。

在一个普通的全连接网络中，DNN的隐层只能在当前时刻接收上层的输入，而在RNN，神经元的输出可以在下一个时间段直接影响自身。换句话说，就是递归神经网络它的隐层不但可以接收到上一层的输入，也可以得到上一时刻当前隐层的输入。

这种变化的意义在于神经网络具有了历史记忆的功能。从原理上讲，它可以看到无限的历史信息，非常适合像语音语言这种具有长期相关性的任务。

CNN：卷积神经网络卷积神经网络主要是模拟人的视觉神经系统提出来的。

以CNN的人脸识别任务为例。首先我们得到一些像素信息，然后从上层得到一些边界信息，然后提取人脸的一些部分，包括眼睛、耳朵、眉毛、嘴巴，最后是人脸识别。这整个过程和人类的视觉神经系统非常相似。

卷积神经网络的结构仍然包括输入层、隐含层和输出层。其中卷积神经网络的隐含层包含卷积层、池化层和全联接层3类常见构筑，,接下来，我们将重点学习卷积和汇集的相关知识点。

卷积层的功能是从输入数据中提取特征，它包含多个卷积核。一个卷积核覆盖的原始图像的范围称为感受野(权重共享)。

一次卷积运算(甚至多次卷积核)提取的特征往往是局部的，很难提取出全局特征，需要在一层卷积的基础上继续卷积计算，这就是多层卷积。

在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。

通过这种池化的操作，能够一定程度上克服图像的一些旋转和局部的细微变化，从而使得特征的表达更加稳定。

好啦，今晚对DNN、CNN和RNN的简单科普到这里就结束了，关于每种网络的用法大家还需要在实际建模中努力探索。

当然不论是哪种算法，它们往往都会混合在一起使用以达到效果的最优化，同学们要做的便是掌握好理论知识，在实践中找到最灵活的组合方式。

同时「AI大学移动端」已经上线了科大讯飞AI研究院王海坤院长的人工智能系列课程，小伙伴们记得戳菜单栏【AI大学】或点击阅读原文，去学习更多AI知识！

AI研究院副院长王海坤博士