728x90
규제 Regulation
드롭아웃 Dropout 규제기법
많은 부분 신경망을 만들고, 앙상블 결합하는 기법으로 볼 수 있다.
앙상블 Ensemble
하이퍼 파라미터 Hyper Parameter 최적화
2차 미분을 통해 최적화하는 방법
- 뉴턴 방법
- 켤레 경사도 방법
- 유사 뉴턴 방법
지금은 잘 사용하지 않지만 발전 가능성이 있는 부분이다.
1차 미분은 그레디언트 디센트, 2차 미분은 뉴턴 방법이다.
켤레 경사도 방법 Conjugate Gradient Method
이전 그레디언트와 현재 그레디언트 값의 중간 값인 P2 값을 찾는다.
유사 뉴턴 방법 Quasi - Newton Methods
728x90
'인공지능 AI > DL' 카테고리의 다른 글
| 심층학습 최적화2 (0) | 2022.02.16 |
|---|---|
| 심층학습 최적화 (0) | 2022.02.15 |
| 목적함수의 종류 (0) | 2022.02.15 |
| 깊은 다층 퍼셉트론 DMLP Deep MLP (0) | 2022.02.09 |
| Deep Learning 심층학습 딥러닝 알고리즘 (0) | 2022.02.09 |