언어와 시간의 흐름을 읽는 AI

Original lesson: SNACK AI 5강: 순환 신경망(RNN)과 생성형 AI Duration: 약 12분

Learning outcomes

• 시계열 데이터와 RNN의 관계를 이해할 수 있어요.
• 언어 모델의 기본 원리를 이해할 수 있어요.
• 최신 생성형 AI(ChatGPT 등)의 기반 기술을 알 수 있어요.

Introduction

문장의 다음 단어를 예측하거나 주식 가격의 흐름을 파악하려면 과거의 정보를 기억해야 합니다.

데이터의 순서와 맥락을 기억하는 신경망, RNN과 그 발전된 형태들에 대해 배워봅시다.

1. RNN(Recurrent Neural Network)이란?

RNN은 이전 단계의 처리 결과가 다시 입력으로 들어가는 "순환" 구조를 가집니다. 이를 통해 과거의 정보를 기억할 수 있어 텍스트나 음성 같은 시퀀스 데이터 처리에 적합합니다.

2. RNN의 한계와 LSTM

기본 RNN은 문장이 길어질수록 앞부분의 정보를 잊어버리는 "장기 의존성(Long-term Dependency)" 문제가 있습니다. 이를 해결하기 위해 중요한 정보를 선택적으로 기억하는 LSTM(Long Short-Term Memory)이 등장했습니다.

3. 생성형 AI와 트랜스포머

최근의 ChatGPT 같은 AI는 RNN을 넘어 "트랜스포머(Transformer)"라는 기술을 사용합니다. 문장 내 모든 단어의 관계를 한꺼번에 파악하여 훨씬 더 자연스러운 문장을 생성해냅니다.

• 어텐션(Attention): 중요한 단어에 더 집중하는 기술
• 병렬 처리: 데이터를 한꺼번에 처리하여 학습 속도 향상

오늘의 핵심 정리

• RNN은 순환 구조를 통해 데이터의 순서를 기억합니다.
• LSTM은 RNN의 단기 기억 문제를 해결한 모델입니다.
• 트랜스포머는 현대 생성형 AI의 핵심 기술입니다.
• 어텐션 메커니즘을 통해 데이터 간의 관계를 효율적으로 파악합니다.

Quiz

Q1. 데이터의 순차적인 흐름과 맥락을 기억하는 신경망은? A. RNN (순환 신경망)

Q2. 현대 생성형 AI의 핵심이 되는 아키텍처 이름은? A. 트랜스포머 (Transformer)