심층학습 Deep Learning
다층 퍼셉트론에 은닉층을 여러개 추가하면 깊은 신경망이 된다.
심층학습은 깊은 신경망의 학습을 의미한다.
심층학습은 새로운 응용을 창출하고 인공지능 제품의 성능을 향상시킨다.
현대 기계학습을 주도한다.
심층학습의 등장
1980년대에 이미 깊은 신경망의 아이디어가 등장했지만, 당시에 깊은 신경망의 학습이 불가능했다.
- 경사 소멸 Vanishing Gradient
- 적은 훈련집합
- 과다한 연산과 시간의 소요
- 낮은 성능의 범용 컴퓨터
미분으로 오류 역전파 할때 가중치를 갱신할 때 경사 소멸 문제가 발생한다.
중간에 0에 수렴하는 값이 생길때 그레디언트가 희미해진다.
이러한 배경에도 토론토의 연구자들은 지속적인 연구를 통해 심층학습의 이론을 발전시켰다.
- 학습률에 따른 성능 변화 양상
- 모멘텀과 같은 최적 탐색 방법 모색
- 은닉 노드 수에 따른 성능 변화
- 데이터 전처리의 영향
- 활성함수의 영향
- 규제기법의 영향
딥러닝 알고리즘의 등장
- 심층 신경망(Deep Neural Network, DNN)
- 합성곱 신경망(Convolutional Neural Network, CNN)
부분연결과 가중치 공유를 통해서 효율적인 신경망 학습구조 제공
- 순환 신경망(Recurrent Neural Network, RNN)
- 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM)
- 심층 신뢰 신경망 (Deep Belief Network, DBN)
- 경사소멸문제를 해결하기 위해 ReLU 활성함수 도입
- 과잉적합을 방지하는 규제
딥러닝은 종단간에 사람의 개입이 없다.
깊은 신경망의 표현학습 Representation Learning, 특징학습 Feature Learning
낮은 단계의 은닉층은 선과 모서리와 같은 저급 간단한 특징을 추출한다.
높은 단계의 은닉층은 추상적인 형태 Abstractive Representation의 복잡한 고급 특징을 추출한다.
이런 표현학습이 강력해짐에 따라 기존 응용에서의 획기적인 성능 향상이 되었다.
- 영상인식
- 음성인식
- 언어번역
- 응용 분야 창출
분류나 회귀 뿐만 아니라 생성모델이나 화소 수준의 영상 분할도 가능하다.
CNN, LTSM의 혼합학습 모델로 자연 영상에 주석달기도 가능하다.