심층학습 최적화2

활성함수 Activation Function

 

보통 심층학습에서는 ReLU 함수를 많이 사용한다.

ReLU의 단점을 보완하기 위한 변형 ReLU 함수도 나오게 되었다.

최근의 활성함수는 다양한 문제들을 해결하려 한다.

- 포화된 영역의 경사도가 작아지는 문제

- 출력값이 0 중심이 아닌 문제

- 다소 높은 연산량

 

 

 

배치 정규화 Batch Normalization

 

 

배치 단위로 정규화한다.

레이어를 지날 수록 분포가 흐트러지는 모습을 확인할 수 있다.

이런 것들이 학습을 방해하게 된다.

배치정규화는 레이어 단위로 분포를 정규화시킨다.

활성함수를 통과하기 바로 이전에, 선형함수를 통과한 후에 정규화를 적용하는 것이 좋다.

선형 -> 정규화 -> 활성

 

 

미니배치를 수행한 후 전체 평균을 다시 평균낸다.

 

 

규제 Regulation

오버피팅 현상을 방지하기 위함

대부분이 가지고 있는 데이터에 비해 훨씬 큰 용량의 모델을 사용한다

- VGGNet 은 분류층(완전연결층)에 1억 2천 1백만개의 매개변수가 나온다.

- 훈련집합을 단순 암기하는 과잉적합을 주의해야 한다.

 

현대 기계학습의 전략은 충분히 큰 용량의 모델을 설계하고 학습 과정에서 여러 규제 기법을 사용한다.

 

 

수학과 통계학에서 규제를 사용해왔다.

모델 용량에 비해 데이터가 부족한 경우의 부족조건문제 Ill-Posed Problem을 푸는 접근법을 사용했다.

하나의 해를 찾지 못하거나 하나 이상의 여러 해가 나오는 것을 부족 조건 문제라고 한다.

또한 적절한 가정으로 문제를 푼다는 것은 입출력 사이의 변환이 매끄럽다는 사전지식을 기반으로 만들어진다.

대표적인 티호노프의 규제 Tikhonov's Regulation 기법은 매끄러움 가정에 기반을 두었다.

통계에서는 릿지 회귀 Ridge Regression, 기계학습에서는 가중치 감쇄 Weight Decay 등이 있다.

현대 기계학습도 매끄러움 가정을 사용한다.

모델의 구조적 용량을 충분히 크게 하고 수치적 용량을 제한한다.

 

 

규제기법에는 다음과 같은 것들이 있다.

- 가중치 벌칙

- 조기 중단

- 데이터 확대

- 드롭아웃

- 앙상블 기법

 

명시적 규제 : 가중치 감쇠나 드롭아웃처럼 목적함수나 신경망 구조를 직접 수정하는 방식

암시적 규제 : 조기 중단, 데이터 증대, 잡음 추가, 앙상블처럼 간접적으로 영향을 주는 방식

 

 

이것을 MLP와 DMLP에 적용하면

조기 중단 Early Stopping

검증집합의 오류가 최저인 점에서 학습을 멈춘다.

과잉적합이 일어나기 전에 학습이 멈춘다.

 

데이터 확대 Data Augmentation

데이터를 변환하고 이동하고 회전하고 확대하는 것처럼 변형시켜서 데이터의 양을 늘린다.

하지만 수작업으로 변형해야 하며 모든 부류가 같은 변형을 사용할 수 밖에 없다.