CNN AlexNet

AlexNet의 구조

 

컨볼루션층 5개와 완전연결층 3개로 이루어진 구조

8개 층에 290400 - 186624 - 64896 - 43264 - 4096 - 4096 - 1000개의 노드 배치

 

컨볼루션층은 200만개 FC층은 6500만개 가량의 매개변수

완전연결층에 30배 많은 매개변수가 있다.

이 이후에 등장한 CNN구조는 완전 연결층의 매개변수를 줄이는 방향으로 발전했다.

 

 

 

등장 당시에 GPU의 메모리 크기 제한으로 인해 GPU#1, GPU#2 로 분할하여 학습을 수행했다.

3번째 컨볼루션 층은 이 두개의 GPU 연산결과를 함께 사용한다 inter - GPU connections

컨볼루션층을 큰 보폭으로 다운샘플링한다.

 

AlexNet은 ImageNet 이라는 대규모 사진 데이터와 GPU를 사용한 병렬처리로 인해 성공하였다.

 

또다른 성공요인으로는

 

- 활성함수 ReLU 사용

 

- 지역반응 정규화 Local Response Normalization

인간 신경망측면억제 모방 , ReLU 활성화 규제

1번째, 3번째 최대풀링 전 적용

 

- 과잉적합을 방지하는 여러 규제기법 적용

데이터 확대, 드롭아웃

 

- 테스트 단계에서 앙상블 적용

입력된 영상을 잘라내기와 반전을 통해 증가하고, 증가된 영상들의 예측 평균으로 최종 인식

2% - 3%의 오류율 감소효과