欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 人工智能 > 循环神经网络 >内容正文

循环神经网络

什么是循环神经网络——学习笔记

发布时间:2024/10/14 循环神经网络 147 豆豆
生活随笔 收集整理的这篇文章主要介绍了 什么是循环神经网络——学习笔记 小编觉得挺不错的,现在分享给大家,帮大家做个参考.
  • 序列模型:以一个句子为例

1 循环网络:通过带有自反馈的神经元,能够处理任意长度的(存在时间关联性)序列;

                    将过去的信息整合起来,辅助处理当前信息。

  • 循环网络的结构以及参数

  • 循环网络的前向传播的计算 

 

  • 简化表示

 

  • 穿越时间反向传播(第一幅图是前向传播计算损失函数,第二幅图是后向传播调整参数)

 

 

2 类型:固定长度序列到可变长度序列(图像到文字),可变长度序列到固定长度序列(文字到情感),可变长度序列到可变长度序列。

  • 循环网络举例(语音识别系统和翻译系统的基本组成,将语音或者文本识别出来)

 

 

3 变种:

    双向循环神经网络(BRNNs):结合过去和未来的信息进行工作,主要用于手写识别及语音识别领域。由两个RNN组成,一个前向处理序列数据,一个后向处理序列数据。

    编码-解码网络结构:可变长度序列到可变长度序列,例如机器翻译

4 深度循环网络结构:

        RNN一般只是分为三个部分:a. 从输入层到隐藏层;b. 从前一隐藏层到下一隐藏层;c. 从隐藏层到输出层。

        实际上还不是深度网络。

5 门控循环神经网络

        解决长期依赖(LTD)问题:关键信息在传播过程中逐渐被稀释。(梯度爆炸与梯度消失)

        门控循环神经网络种类:长短期记忆网络(LSTM),门控(gated)循环网络

        1 长短期记忆网络(LSTM):输入为数据的当前时间片段以及前一时间片段隐藏层的输出

输入门:选择重要的

遗忘门:清除不重要的

输出门:锁住重要的

        2 门控(gated)循环网络

门控循环单元(GRUs):使用更新门及重置门

 

 

总结

以上是生活随笔为你收集整理的什么是循环神经网络——学习笔记的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。