[논문 리뷰] Transformer : Attention Is All You Need

[Transformer의 출현 배경]기존의 순환 신경망(RNN)은 입력 및 출력 시퀀스를 시간 단계(time step)에 따라 순차적으로 처리한다. 이러한 특성 때문에 모든 시간 단계의 출력을 동시에 병렬로 계산할 수 없고, 반드시 이전 단계가 계산된 후에야 다음 단계의 연산이 가능하다. 이로 인해 계산 속도가 느려질 수 밖에 없다. 또한, 긴 시퀀스를 처리하기 위해서는 각 시간 단계의 중간 상태(hidden state)와 그래디언트(gradient)를 모두 저장해야한다. 이는 순환 모델의 구조적 특성 때문인데, RNN은 현재 시간 단계의 출력을 계산할 때, 반드시 이전 시간 단계의 hidden state를 입력으로 받아야 한다. 즉, 각 시간 단계의 출력이 이전 단계의 상태에 의존하는 구조이기 때문에,..
Machine Learning-Deep Learning/Natural Language Processing 2025. 2. 13. 01:44
1