卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

2018-09-2310:38:08人工智能与大数据Comments9,701 views字数 1063阅读模式

卷积神经网络的发展主要是为了解决人类视觉问题,不过现在其它方向也都会使用。发展历程主要从Lenet5->Alexnet->VGG->GooLenet->ResNet等。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

Lenet5

上世界80年代发明了卷积层,但由于硬件限制无法构建复杂网络,直到后面90年代才开始有实践。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

1998年LeCun提出卷积层、池化层和完全连接层组合,以此来解决手写数字的识别问题。此时的效果已经很不错了,能与其它经典的机器学习模型相比。架构如下,一个32 x 32的输入,通过卷积提取特征,然后进行下采样,再一次卷积和下采样,后面进行全连接和高斯连接。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

Alexnet

后来随着可用的结构化数据和处理能力呈指数增长,使得模型能进一步增强,特别是Imagenet开源数据集的出现,数百万张被标记分类的图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

2012年的LSVRC挑战赛,Hinton和他学生Alex Krizhevsky开发了Alexnet深度卷积网络,结构类似Lenet5,但是卷积层深度更深,参数总数达数千万。结构如下,多个卷积层且每个网络深度都达数百。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

VGG

2014年LSVRC挑战赛强大的竞争者,由牛津大学视觉几何组织提出的VGG模型。比起Alexnet,它主要是将卷积核缩小了,全部改用3x3。如下图为VGG结构,大体结构一致,但卷积配置可以不同。激活函数使用ReLU,池化使用max pooling,最后使用softmax输出各项概率。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

GoogLenet

2014年,该网络模型赢得LSVRC挑战赛,该系列赛首次由大型公司参赛并获得成功,此后也一直由拥有巨额预算的大公司赢得比赛。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

GoogLenet 主要由9个Inception模块组合而成,其中只进行很小的改动。Inception模块结构如下图,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

GoogLenet参数数量降到了一千多万,并且准确性比Alexnet提高,误差从16.4%降到6.7%。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

2015年随着《重新思考计算机视觉的Inception架构》文章发表,google研究人员发布新的Inception架构,主要解决协方差移位问题,其中将规范化应用于原始输入及每层的输出值。除此之外卷积核大小也有所变化,且增加了网络总体深度及卷积的分解。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

ResNet

2015年ResNet被提出,由原来微软研究院何恺明博士提出,现为Facebook AI研究科学家。ResNet战绩辉煌,当年一下取得5项第一。ResNet网络中的模块如下图,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

该模块的卷积部分第一个1 x 1的卷积把256维降到64维,接着进入3 x 3滤波器层,最后再通过1 x 1卷积恢复256维。组合的形式大致如下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

卷积神经网络发展历程:Lenet5->Alexnet->VGG->GooLenet->ResNet

作者:超人汪小建文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/5279.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/ai/5279.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定