Pose and Face Estimation Visual Recognition

Pose Estimation

영상의 인물의 자세를 측정하는 영상인식

 

인물이 어떤 행동을 하고 있는지 자세를 통해서 유추할 수 있다.

자전거를 타거나 수영을 하는 등의 많은 정보를 얻을 수 있다.

 

또한 노인이 넘어지거나 하는 모션을 탐지하여 구조할 수 있는 등의 강점도 있다.

 

 

관절을 찾는 것에서 시작한다.

 

얼굴의 눈부터 관절들을 판별한다.

각 꼭지점의 위치를 랜드마크 LandMark라고 한다.

 

 

얼굴에 맞는 증강현실과 필터를 씌울수도 있다.

 

사람의 관절을 찾는 것은 heat map을 사용한다.

온도의 차이를 통해 부위를 판별한다.

 

모래시계처럼 생긴 중간이 작은 형태의 의미론적 분석과 비슷한 모델로 학습한다.

 

이것을 여러번 반복했을 때 Stacked Hour Glass Model로 만들어진다.

 

풀링을 거치면서 피쳐맵을 줄였다가 다시 늘리는 Encoder - Decoder의 역할을 여러번 수행한다.

여러번 반복하면서 점점 더 정확한 관절 부위를 찾는다.

 

이 과정에서 손실함수가 매 Hour Glass Model 마다 적용된다.

 

 

 

 

 

Face Estimation

얼굴인식도 자세인식과 동일하게 Landmark를 Heatmap으로 적용하여 인식한다.

눈썹과 눈 입술과 같은 랜드마크의 수 만큼 Output을 산출한다.