딥러닝의 문제점과 해결책

Original lesson: SNACK AI 3강: 과적합과 제한적 볼츠만 머신 Duration: 약 12분

Learning outcomes

• 과적합(Overfitting)의 개념과 문제점을 이해할 수 있어요.
• 그레디언트 소실 문제를 설명할 수 있어요.
• 제한적 볼츠만 머신(RBM)의 역할을 이해할 수 있어요.

Introduction

딥러닝이 강력한 기술이지만, 몇 가지 심각한 문제점이 있었습니다.

이번 강의에서는 과적합과 그레디언트 소실 문제, 그리고 이를 해결한 제한적 볼츠만 머신에 대해 알아봅니다.

1. 과적합(Overfitting)이란?

과적합은 모델이 훈련 데이터에 너무 잘 맞춰져서, 새로운 데이터에는 제대로 작동하지 않는 현상입니다. 마치 시험 문제만 달달 외워서 응용 문제를 못 푸는 것과 같아요.

• 훈련 데이터: 정확도 99%
• 새로운 데이터: 정확도 60%
• → 이런 경우가 과적합입니다!

2. 그레디언트 소실 문제

그레디언트 소실(Vanishing Gradient)은 신경망이 깊어질수록 학습 신호가 약해지는 문제입니다. 역전파 과정에서 그레디언트가 점점 작아져서 앞쪽 층이 제대로 학습되지 않습니다.

층이 깊어질수록 → 그레디언트가 작아짐 → 앞쪽 층이 학습 안 됨 → 성능 저하

3. 제한적 볼츠만 머신(RBM)

제한적 볼츠만 머신(Restricted Boltzmann Machine)은 이러한 문제들을 해결하기 위해 제안된 방법입니다. 비지도 학습으로 각 층을 미리 훈련시켜 좋은 초기 가중치를 찾습니다.