classification 7

컴퓨터 비전 Computer Vision 음성 인식 Speech Recognition 전기 신호로 들어온 음성을 디지털로 메모리에 저장하게 되며 이 과정에서 샘플링을 하게 된다. 숫자로 표현된 샘플들은 중간에 생략된 과정들을 거쳐 벡터로 치환하여 신경망을 통해 처리한다. 신경망과 분류과정을 거쳐서 누구의 음성인지 파악할 수 있게 된다. 영상 인식 Visual Recognition 흑백 영상은 화소 하나씩이 하나의 값이 된다. 모든 위치의 값을 밝기와 비례한 숫자 값으로 치환하여 밝을수록 255에 가까운 값을 가지고, 어두울수록 0과 가까운 값을 가지게 된다. 각 구역은 x와 y의 좌표 값으로 위치를 알게 되고 그 위치의 값인 U(x, y) 가 밝기 값을 가지는 요소가 된다. 2차원의 밝기 값으로 나타낸 ..

이전에 올렸던 Mnist MLP에서 정확도를 높일 수 있는 방법이 무엇인지 알아본다. 우선 optimizer의 경사하강법 함수의 보폭을 r = 0.1 에서 r = 0.01 로 변경해보았다. 정확도가 상승한 것을 확인할 수 있다. 테스트 정확도도 92% 손실값 0.265613 으로 향상된 것을 볼 수 있다. r을 더 줄여서 r = 0.001로 변경해보니 정확도에 큰 차이가 없었다. 속도를 위해 r = 0.01인 것이 낫다는 생각이 들었다. 다시 전체 코드를 원 상태로 만들고, 이번에는 Net class의 ReLU 함수를 두개의 레이어에 대해 적용했다. 원래는 self.fc1에 대한 ReLU 만 작성 되어 있었다. 트레이닝 셋에서 손실값이 0.017782 값으로 눈에 띄게 줄어들었다. 테스트에서는 97%의 ..

Mnist 데이터를 다운로드 받아서 불러온다. 배치 사이즈 만큼의 데이터를 iter하고 화면에 표시한다. 이미지를 세부 묘사하면 흑백의 차이를 숫자로 표현한 것이 보인다. 흑과 백이기 때문에 2차원 벡터로 표현 가능하다. MLP의 Net함수와 forward 순방향전파를 나타낸다. 간단하게 선형 연산과 ReLU 함수로 되어있다. 이부분을 조정해서 정확도를 높일 수 있을까? 손실함수와 최적함수이다. 손실함수는 크로스 엔트로피로 나타낸다. 최적함수는 경사하강법으로 보폭은 0.1로 진행한다. 실제로 훈련데이터를 훈련시켜본다. epoch 반복값은 10으로 정했다. 최적함수의 그레디언트 값을 0으로 초기화 한다. 모델 훈련 후 출력값을 받아서 손실함수를 계산한다. 역전파하여 최적함수를 실행시킨다. 모델에 반영한다...

확률적 식별 모델 Probabilistic Descriminative Models 사후확률을 x에 관한 함수로 파라미터화 시키고, MLE를 통해 파라미터를 구한다. 입력벡터 x 대신 비선형 기저함수를 사용한다. 클래스 C1의 사후확률은 특성벡터의 선형함수가 로지스틱 시그모이드를 통과하는 함수이다 파이가 입력이다 특성벡터가 M 차원이라면 구해야 할 파라미터의 개수는 M개이다 생성모델에서 M(M+5)/2+1 개의 파라미터를 구해야 한다 최대우도해 우도함수 음의 로그우도 The Negative Logarithm of the Likelihood 음의 우도함수를 최소화하는 방식으로 풀 수 있다. p 목표값 이것을 크로스 엔트로피 에러함수 Cross Entropy Error Function 이산확률변수의 경우 일반..

확률적 생성 모델 Probabilistic Generative Models - 연속적 입력값 - 이산적 입력값 두 가지로 나눠서 풀 수 있다. 분류문제를 확률적 관점에서 살펴본다. 선형회귀와 마찬가지로 확률적 모델은 통합적인 관점을 제공한다. 데이터의 분포에 관해 어떤 가정을 두면 선형적인 결정경계가 그 결과로 유도된다. 사전확률과 확률을 모델링하고 베이즈 정리를 통해 사후확률을 구한다. 확률적 모델은 데이터의 분포를 모델링하면서 분류문제를 결과적으로 풀게 된다. 이와 같은 함수를 a에 대한 로지스틱 시그모이드 함수라고 부른다. 이 값은 0에서 1사이의 범위로 정의 된다. 로지스틱 시그모이드 Losigtic Sigmoid 대칭적이고, 로그함수를 통해 역함수를 구할 수 있다. 연속적 입력 Continous..

분류의 목표 입력벡터 x를 K 개의 가능한 클래스 중에 하나의 클래스에 할당하는 것 분류를 위한 결정이론 확률적 모델 Probabilistic Model - 생성모델 Generative Model : 사전확률과 확률을 모델링 한 후, 베이즈 정리를 통해 사후확률을 구한다. 또는 결합확률을 직접 모델링 할 수도 있다. - 식별모델 Discriminative : 사후확률을 직접 모델링 판별함수 Discriminant Function - 입력 x를 클래스로 할당하는 판별함수를 찾는다 - 확률값을 계산하지 않는다 입력 X를 클래스로 할당하는 판별함수를 찾을 때, 함수가 선형함수라면 선형 판별함수는 다음과 같다. 선형판별함수 y(x) 가 0보다 크거나 같을 경우 C1, 0보다 작은 경우 C2로 판별한다. 결정경계..

결정이론 Decision Theory 새로운 값 x가 주어졌을 때 확률모델 P(x, t)에 기반해 최적의 결정을 내리는 것 - 추론단계 : 결합확률분포 P(x, Ck)를 구하는 것 - 결정단계 : 상황에 대한 확률이 주어졌을 때 어떻게 최적의 결정을 내릴 것인가 ex) X-ray 이미지로 암 판별 x-ray image = x 암 = C1 암이 아닌 경우 = C2 P(Ck | x)의 값을 알아낸다. P(Ck | x)를 최대화 시키는 k를 구하는 것이 좋은결정. 이진분류 Binary Classification 결정영역 Decision Region i의 Classification에서 예측 되는 모든 x의 영역 = Ri P( x in R1, C2) 와 P( x in R2, C1) 의 영역인, 그래프에서 색깔이 ..