什么是循环神经网络——学习笔记
-
序列模型:以一个句子为例
1 循环网络:通过带有自反馈的神经元,能够处理任意长度的(存在时间关联性)序列;
将过去的信息整合起来,辅助处理当前信息。
-
循环网络的结构以及参数
-
循环网络的前向传播的计算
-
简化表示
-
穿越时间反向传播(第一幅图是前向传播计算损失函数,第二幅图是后向传播调整参数)
2 类型:固定长度序列到可变长度序列(图像到文字),可变长度序列到固定长度序列(文字到情感),可变长度序列到可变长度序列。
-
循环网络举例(语音识别系统和翻译系统的基本组成,将语音或者文本识别出来)
3 变种:
双向循环神经网络(BRNNs):结合过去和未来的信息进行工作,主要用于手写识别及语音识别领域。由两个RNN组成,一个前向处理序列数据,一个后向处理序列数据。
编码-解码网络结构:可变长度序列到可变长度序列,例如机器翻译
4 深度循环网络结构:
RNN一般只是分为三个部分:a. 从输入层到隐藏层;b. 从前一隐藏层到下一隐藏层;c. 从隐藏层到输出层。
实际上还不是深度网络。
5 门控循环神经网络
解决长期依赖(LTD)问题:关键信息在传播过程中逐渐被稀释。(梯度爆炸与梯度消失)
门控循环神经网络种类:长短期记忆网络(LSTM),门控(gated)循环网络
1 长短期记忆网络(LSTM):输入为数据的当前时间片段以及前一时间片段隐藏层的输出
输入门:选择重要的
遗忘门:清除不重要的
输出门:锁住重要的
2 门控(gated)循环网络
门控循环单元(GRUs):使用更新门及重置门
总结
以上是生活随笔为你收集整理的什么是循环神经网络——学习笔记的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: 卷积网络的学习(卷积核,通道,paddi
- 下一篇: 详细推导PCA算法(包括算法推导必备的知