다층 퍼셉트론 인공신경망

인공신경망

사람의 뉴런을 모방하여 만들어진 신경망

세포체 cell body - 연산

수상돌기 dendrite - 수신

축삭 axon - 전송

 

전기적 신호를 합쳐서 일정 이상의 역치를 넘으면 다른 뉴런의 축삭으로 전달

퍼셉트론은 인간의 뉴런을 모방하여 만들어졌다.

 

뉴런	인공신경망
세포체	노드
수상돌기	입력
축삭	출력
시냅스	가중치

인공신경망 artificial neural network, ANN은 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘이다.

전방신경망 forward 한쪽으로 전류가 흐르는 모델

순환신경망 recurrent 양방향으로 전류가 흐르는 모델

얕은신경망 shallow 레이어가 적은 모델

깊은신경망 deep 레이어가 많은 모델

 

결정론적 신경망 Deterministic ANN

모델의 매개변수와 조건에 의해 출력이 완전히 결정

확률론적 신경망 Stochastic ANN

고유의 임의성을 가지고 매개변수와 조건이 같더라도 다른 출력을 가지는 신경망

 

 

 

인공신경망에는 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 지도 학습과 교사 신호를 필요로 하지 않는 비지도 학습으로 나뉘어 있다.

명확한 해답이 있는 경우에는 교사 학습이, 데이터 클러스터링에는 비교사 학습이 이용된다. 

 

다양한 형태의 신경망이 있다

퍼셉트론

입력

i번째 노드는 특징벡터 xi를 담당

항상 1이되는 편향노드 포함

 

입력과 출력 사이에 연산하는 구조를 가진다

i번째 입력노드와 출력노드를 연결하는 변 edge 는 가중치 Wi를 가진다

퍼셉트론은 단일 층 구조라고 간주한다.

 

출력

한개의 노그에 의해 수치 (-1 또는 1)를 출력한다.

 

 

선형연산

입력값과 가중치를 곱하고 모두 더해 s를 구한다, 내적

 

 

비선형연산

활성함수 r을 적용한다

활성함수 r로 계단함수 step function을 사용한다

출력은 y=1 또는 y=-1

 

 

교사학습에서 d차원 공간으로 일반화하여 두 부분공간으로 이분할하는 분류기의 역할을 한다.

2차원 결정직선 Decision Line

3차원 결정평면 Decision Plane

4차원이상 결정초평면 Decision Hyperplane

가중치 w값들은 직선이나 평면의 기울기를 의미하고 w0값은 절편이자 편향을 결정한다.

이 결정경계의 면에서 -1 인지 1 인지 값을 분류하는 기준이 된다.

 

분류기의 학습과정

- 가설 설정, 과업정의

- 해당 분류기의 목적함수 J 정의

- J를 최소화하는 세타값을 찾기 위한 최적화 수행

 

목적함수의 정의

퍼셉트론의 매개변수를 집합 w라고 한다.

- J(W)>=0

- W가 최적이면, 즉 모든 샘플을 맞히면 J(W) = 0 이다

- 틀리는 샘플이 많은 W일수록 J(W)는 큰 값을 가지게 된다

이 식은 세가지 조건을 충족하여 퍼셉트론의 목적함수로 적합하다

1) 임의의 샘플 Xk가 Y에 속한다면, 펴셉트론의 예측 값과 실제값은 부호가 다르다

예측값

실제값

따라서 부호가 서로 다르기 때문에 밑의 식이 항상 양수를 가진다.

2) Y가 클수록 틀린 샘플이 많고 J((W)는 큰 값을 가진다

3) Y가 공집합일때 퍼셉트론이 모든 샘플을 맞추고 J(W) = 0이다

 

경사하강법 Gradient Descent 

최소 J(세타) 기울기를 이용해 반복탐색하여 극 값을 찾는다.

미분이 가능할 때 점진적으로 J 값이 낮아지는 곳으로 스텝을 진행하여 간다.

미분값이 음수인 방향으로 전진

경사도계산

일반화된 가중치 갱신 규칙에 적용하기 위해 경사도 g가 필요하다.

가중치 갱신 규칙

식을 편미분하면

편미분 된 결과를 식에 대입하면

학습률 Learning Rate

스텝이 너무 크면 극값에 제대로 도달하지 못한다.

스텝이 너무 작으면 중간에 끊긴 곳을 지나치지 못한다.