时间递归神经网络基础

0

对于时序型的数据，比如猜句子里面的某个词，是要依赖于这个句子上下文信息的，传统的DNN好像对这种情形比较无能为力。为了满足这类需求，就有了时间上的递归神经网络，也就是Recurrent NN，Vanilla的RNN梯度消失的现象很明显，于是在此基础上又有了基于门电路的LSTM和GRU，目前在NLP领域非常火热。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26