7 循环神经网络用于处理序列数据，具有时间依赖性和记忆能力的特点8 注意力机制用于提高网络对重要信息的关注度，常用于自然语言处理和计算机视觉任务中9 迁移学习用于利用已有的模型在新任务上进行快速训练和预测；卷积神经网络中每一层的权重矩阵 W 是不同的，并且在初始化时它们是独立同分布的，因此可以相互抵消，在多层之后一般不会出现严重的数值问题 循环神经网络采用 ReLu 激活函数，只有当 W 的取值在单位矩阵附近时才能取得；2循环神经网络各节点之间构成循环图，可以按照箭头的方向回到初始点循环神经网络具有复杂的动态，难以训练，它模拟连续数据，相当于每个时间片段具有一个隐藏层的深度网络，除了在每个时间片段上使用相同的权重，也有输入；Turing completeness，因此在对序列的非线性特征进行学习时具有一定优势循环神经网络在自然语言处理Natural Language Processing， NLP，例如语音识别语言建模机器翻译等领域有应用，也被用于各类时间序列预报。
RNN是Recurrent Neural Networks的缩写，即循环神经网络，它常用于解决序列问题RNN有记忆功能，除了当前输入，还把上下文环境作为预测的依据它常用于语音识别翻译等场景之中RNN是序列模型的基础，尽管能够直接调用现成的RNN；在神经网络的建模过程中，一般的前馈神经网络，如卷积神经网络，通常接受一个定长的向量作为输入卷积神经网络对文本数据建模时，输入变长的字符串或者单词串，然后通过滑动窗口加池化的方式将原先的输入转换成一个固定长度的向；深度学习常见的3种算法有卷积神经网络循环神经网络生成对抗网络卷积神经网络ConvolutionalNeuralNetworks，CNN是一类包含卷积计算且具有深度结构的前馈神经网络FeedforwardNeuralNetworks，是深度学习的代表算法之一BP算法。
其中 表示非线性函数，可以是一个前馈网络， 和 为超参数 循环神经网络通过使用带自反馈的神经元，能够处理任意长度的时序数据 给定一个输入序列 ，循环神经网络通过下面 公式更新带反馈边的隐藏层的活性值 其中， 为一个非线性函数；2循环神经网络RNN，RNN是一种能够处理序列数据的神经网络，它通过循环连接来处理序列数据中的时序关系，从而能够实现对自然语言，音频等序列数据的处理3长短时记忆网络LSTM，LSTM是一种特殊的RNN，它通过记忆单元和门控。
因此深层循环神经网络要做的就是把多个RNN cell组合起来，换句话说，就是增加从输入 到输出 的路径，使得网络的深度更深如何增加从输入 到输出 的路径呢两种途径堆叠循环神经网络示意图 将网络带入到实际应用场。
