Semantic Segmentation 의미론적 분할

의미론적 분할 Semantic Segmentation

같은 의미를 갖는 영역들을 분할한다.

그림에서 보면 사람들은 모두 같은 색상으로, 차량도 같은 색상으로, 보도블럭과 도로간의 구분등

같은 의미를 갖는 물체들을 함께 탐지한다.

 

Instance Segmentation은 의미론적 분할보다 한단계 진화한 형태로 각각의 개체를 인식할 수 있게 된다.

 

객체탐지에 비해서 속도가 느리다.

 

응용 분야에는 자율주행, 인물사진 배경 탐지, 의료영상 등이 있다.

 

 

 

시맨틱 분할에서는 각각의 영역이 나타내는 label 값이 있다.

레이블이 픽셀만큼 주어진다.

이 레이블들은 채널별로 나뉘어서 각자의 영역을 나타낸다.

사람 채널에는 사람이 있는 부분에 1 나머지 부분은 0을 표시하게 된다.

물체의 개수에 따라 채널의 수가 정해지게 된다.

 

클래스의 개수만큼 채널이 늘어난다.

모델의 학습 용이성을 위해 물체를 구분하기 쉽게 만들어 놓은 것이다.

 

 

 

픽셀 별로 로그로스를 손실함수로 사용하여 전체 값을 모두 합치게 된다.

 

 

컨볼루션 망을 지나게 되는데 Scores값에서는 채널들이 모두 모여서 어느 부분이 어떤 클래스를 가지는지 알 수 있다.

입출력 모두 영상이다.

하지만 이런식으로 학습한다면 영상 사이즈 만큼의 컨볼루션 연산을 진행하기 때문에 용량이 너무 커진다.

 

영상을 풀링하며 사이즈를 압축하여 점차 줄이고, 다시 점차 키워서 원래의 사이즈를 회복하는 방식으로 컨볼루션을 실행하여 중간 연산의 용량을 줄여보고자 했다.

사이즈가 줄어드는 부분 High-res -> Med-res -> Low-res를 인코더로 부르고

사이즈가 늘어나는 부분 Low-res -> Med-res -> High-res를 디코더로 부른다.

 

Encoder - Decoder의 구조로 되어있다.