ML 시스템의 종류 2 배치학습 온라인학습

먼저 학습했던 ML 시스템의 종류 1과 다른 기준으로 ML 시스템을 구분한다면 배치학습과 온라인, 오프라인 학습이 있다.

입력데이터의 스트림 Stream으로부터 점진적으로 학습할 수 있는지 알아본다.

 

 

 

배치학습 Batch Learning

가용한 데이터를 모두 사용하여 훈련하는 방식

시간과 자원을 많이 소모하기 때문에 보통 오프라인에서 수행된다.

시스템을 훈련시키고 제품에 적용하면, 실행되는 동안 학습하지 않는 오프라인 학습을 실행한다.

 

batch란 말에 맞게 훈련이 필요하다면 시스템을 중지하고 새로운 시스템으로 업데이트 한다.

24시간 또는 매주 훈련한다.

 

전체 데이터셋을 훈련시키는 경우 매일 처음부터 새로 훈련시키는 시스템 자동화를 사용하면 자원과 비용이 많이 발생한다.

학습을 위해 오프라인으로 몇시간씩 자원을 활용하지 못하는 스마트폰이나 화성탐사로버의 경우 점진적 온라인 학습이 낫다.

 

 

 

 

 

 

온라인학습 Online Learning

데이터를 순차적으로 한개 또는 미니 배치라는 작은 묶음 단위로 주입하여 시스템을 훈련시킨다.

매 학습 단계가 빠르고 적은 비용이 들어 데이터가 도착하는 즉시 학습한다.

온라인학습

연속적으로 데이터를 받고, 빠른 변화를 적응해야 하는 시스템에 적합하다.

ex)주식 가격 예측, 화성탐사로버

컴퓨팅 자원이 부족한 경우도 괜찮다.

 

온라인 학습 시스템이 새로운 데이터 샘플을 학습하면 이미 사용된 데이터가 필요하지 않기 때문에 재사용하지 않는다면 버릴 수 있고, 많은 자원과 공간을 절약할 수 있다.

대량 메모리 학습

컴퓨터 한대의 메인 메모리에 들어갈 수 없는 아주 큰 데이터셋을 외부 메모리로 학습할때도 온라인 학습을 적용한다.

일부를 읽어서 훈련하는 것을 반복한다.

 

온라인 학습의 단점은 시스템에 나쁜 데이터가 주입되었을 때 그것을 눈치채지 못하고 시스템 성능이 점진적으로 감소할 수 있다는 것이다.

검색엔진을 속이거나 로봇의 오작동센서의 성능이 줄 수 있다.

시스템을 모니터링하고 데이터를 모니터링 해서 비정상 데이터를 잡거나 성능 감소가 감지되면 즉시 학습을 중지시키고 이전 운영상태로 되돌려야 한다.

 

 

학습률 Learning Rate

온라인 학습에서 변화하는 데이터에 얼마나 빠르게 적응하는 지

 

학습률이 높을 때, 시스템이 빠르게 적응하지만 이전 데이터를 빨리 잊는다.

학습률이 낮을 때, 시스템의 관성이 커져 느리게 적응하지만 새로운 데이터에 있는 잡음이나 대표성 없는 데이터포인트에 덜 민감해진다.