喷漆李
推荐 0
浏览 832
漫谈RNN之梯度消失及梯度爆炸
昨天提到RNN的训练方法,提到了最流行的算法BPTT,其实训练RNN除了BPTT以外,还有两种算法:Real-timeRecurrentLearning(RTRL)以及ExtendedKalmanFiltering(EKF),不过工业上基本上都被BPTT占领了,所以后面两个算法就不再介绍。那么本期将讲解为什么训练RN
喷漆李
推荐 0
浏览 280
漫谈RNN之训练方法
RNN的训练因其递归性而变得复杂,现在深度学习大多系统中通常采用的是Back-propagationThroughTime算法,本文不打算运用公式来讲解,而是将公式转化成易懂的文字来描述这些算法。阅读本期可以参考我的历史文章:《漫谈RNN之基本概念》《我所理解的深度学习(一)——BP图模型算法》RNN是一个循环递归网
机械设计
推荐 0
浏览 252
Tensorflow|如何保存或导入训练好的模型
在深度学习实践中,我们通常要先搭建好模型如何经过长时间的训练才能使用。那么,对于训练好的模型,我们自然想把它保存起来以便调用。 曾经,我写过一个比较大的深度学习模型,由于每次迭代需要长达1-2个小时,并且用的是nohup在服务器后台上运行,但是鉴于nohup有时会不稳定,因此我的后台程序随时可能会被kill掉,于