TensorFlow系列推荐阅读：


TensorFlow(一)——基础图模型

TensorFlow(二)——逻辑回归

TensorFlow(三)——卷积神经网络用于手写字识别

TensorFlow(四)——构建自动编码器用于数据压缩及复原




卷积神经网络系列推荐阅读：


我所理解的深度学习（一）——BP图模型算法

我所理解的深度学习（二）——卷积神经网络基础

我所理解的深度学习（三）——卷积神经网络应用①

我所理解的深度学习（四）——卷积神经网络应用②

RNN-maxout+VGG+LSTM组合模型用于声学建模

Prisma修图软件的图片风格转换算法

深度残差学习框架（Deep Residual Learning）




上一期中提到，深度残差学习网络的作用是为了解决深度神经网络中的性能随着层数增加反而降低的弊端，同时也具有加速网络收敛的效果。


那么如何用TensorFlow来实现一个深度残差神经网络（ResNet）呢？最容易想到的无疑就是将ResNet用于机器学习的“Hello World”应用——手写字识别。前面其实也提到过，使用深度卷积神经网络用于手写字识别。那么，这里引入残差神经网络只需要在深度卷积神经网络上作出一点改变即可，即在适当的地方加入残差层。


我们准备构建的是深度残差网络，模仿微软研究院的原始论文，即在几个重复的卷积层后面加上残差层。


首先，我们导入基本的必要库，其中包括二维卷积函数、线性核以及python的自带函数。






接下来我们开始构建整个残差学习网络，我们遵循每3个重复卷积层后面加一残差层。需要注意的是：


namedtuple的作用是把三个元素变成元组

输入数据的维度必须是平方式的

blocks中设置了3个卷积的具体属性

确保残差层输入与输出维度一致

残差层的公式是：net = conv + net

最后采用线性核得到Softmax层，即归一化的概率分布


















接下来，还是和前面的几期一样，解析MNIST数据库并且进行批训练。










最后谈一点自己对深度残差网络的感悟：


1.深度神经网络的应用需要大量数据，因此在使用ResNet的时候应该注意训练数据的规模；

2.ResNet的原理十分简单，仅仅是在普通的CNN上添加了一个shortcut机制；

3.深度残差网络最初应用于计算机视觉，但是也可以用于语音/视频，因为它们也是时序问题，只是需要考虑模型与数据量的权衡。
 
  
 
 
 
来源： Pony 深度学习每日摘要
智造家 查看全部