Paper (1) 썸네일형 리스트형 Non-local Neural Network[작성중] sequential data를 처리하려면 과거 정보를 기억해 현재 input과 조합하여 output을 도출해야 한다. vanilla RNN에서는 과거 정보를 요약하는 hidden state를 이용해 sequential data를 처리했다. 짧은 문장의 경우 좋은 성능을 보였지만, 한번에 한 neighbor만 처리하는 RNN 특성상 문장의 길이가 길어져 고려해야할 input들의 거리가 멀어질수록 거쳐야 하는 Layer수가 증가하므로 정보의 손실이 많이 일어났다. 이러한 long range dependency를 잡는 문제는 중요한 problem이다. LSTM은 hidden state외에도 추가로 cell state를 두어 과거 정보의 손실을 방지했다. sequential data 처리의 Long range .. 이전 1 다음
