Generative Pre-trained Transformer, 즉 GPT는 특유의 범용성과 확장 가능성으로 다양한 자연어 처리 과제에서 놀라운 성과를 보여 주고 있습니다. 그 이름에서 알 수 있듯, GPT는 'Transformer' 구조에 기초하여 설계되었습니다. Transformer는 2017년, Attention Is All You Need (Vaswani et al.) 논문에서 소개된 이후 엄청난 영향력을 발휘하였는데, 그 다양한 변형들은 자연어 처리 모델뿐만 아니라 시각 모델에도 차용되며 새로운 기술의 최첨단을 만들어냈습니다. GPT는 그 혁신의 한 물결로써, 원본의 Transformer 구조를 변형하여 '생성'이라는 과제에 최적화된 형태를 찾아내었습니다. 비슷하지만 다른 Transformer와..

평일 저녁, 간단히 식사를 마치고 산책을 나섰다고 합시다. 우리는 앞으로 어떤 행동을 하게 될까요? 먼저 현관문을 열고, 계단을 내려갈 것입니다. 또 마주 오는 사람들과 부딪히지 않도록 비켜 걸으며, 신호에 맞춰 횡단보도를 건너기도 할 것입니다. 잠깐 멈춰 서서 고양이를 구경하기도 하고 말이죠. 산책 중에, 우리의 눈은 끊임없이 시각 정보를 수집하여 전달합니다. 전달된 시각 정보로 뇌는 '판단'을 내립니다. 현재 눈에 들어오는 장면에서 '어떤 것'이 '어디에 있는지'를 탐지하고, 그에 맞춰 다음 액션을 결정합니다. 예를 들어, 좁은 길을 걸을 때 마주 오는 사람의 위치를 확인하고, 길의 어느 쪽으로 걸어갈지를 판단하는 것처럼 말입니다. 이처럼 시각 정보를 처리할 때에 '물체의 위치'와 '물체의 종류' 정..

Neural network를 학습할 때, 우리는 보통 더 '깊은' 모델이 더 좋은 성능을 내리라는 기대를 갖습니다. 하지만, 계속해서 layer를 추가하여 일정 깊이에 도달한 모델은, 오히려 그 정확도가 감소하는 현상(degradation)을 보입니다. 이 글에서 설명할 residual connection은 이 문제를 단순하고 효과적으로 해결하여 수많은 모델에 차용되었고, 현재는 대부분의 cnn과 transformer에 이르기까지 neural network architecture에 빠지지 않는 중요한 요소가 되었습니다. Residual connection의 구조 일반적인 feed-forward 방식의 신경망에서, input은 앞에 놓인 layer들을 차례차례 통과하게 됩니다. 각 layer의 input은..