Object Tracking 개념 공부

Object Tracking 이란? 🤔

• 비디오 안에 있는 1) object들을 찾고 2) 각각의 object들을 trajectory로 연결하는 작업
• vkdeo tracking, visual tracking, image tracking 등 다양한 종류가 존재한다

Object Tracking 의 종류

• Video tracking : 비디오 안에서 움직이즌 object를 track 하는 task
• Visual tracking : visual target의 미래 위치를 예측하는 task
• Image tracking : salient object을 자동으로 감지하고 track까지 하는 task

Object Tracking 이 어려운 이유

1. Training and Tracking Speed : tracking 정확도를 떠나서 느린 speed가 걸림돌이 된다
   (real-time application을 고려하고 있다면 더더욱 문제가된다)
2. Background Distractions : background가 blurry, cluttered, busy, colorful 하다면 object 추적이 힘들다
3. Multiple Spatial Scales : target object 가 작아졌다 커졌다 크기가 계속 바뀐다
   - Image pyramid (input image를 여러번 rescale하여 input으로 feed) 이나
   - Feature pyramid (multi-scale feature를 weigthd sum) 을 사용하여 어느정도 대처할 수 있음
4. Occlusion : object 끼리 겹쳐서 서로 가려지는 상황
   - 가려졌다 나타난 object를 아예 새 object로 오인하는 문제가 있음

Level of Object Tracking

object tracking 은 추적되는 object의 개수에 따라 여러 종류로 구분할 수 있다.

1. Multiple Object Tracking (MOT)
   • 가장 일반적인 유형, 여러개의 object를 동시에 추적해야함
   • SoTA 로는 DEFT, CenterTrack, SRK ODESA 등이 있다.
2. Single Object Tracking (SOT or Visual Object Tracking)
   • 첫번재 frame에 특정된 단 하나의 object만을 추적해야함 
   • target object 이외에 다양한 object들이 등장할 수는 있음

MOT Algorithm

• 기본적으로 tracking-by-detection 방식으로 동작한다
  1) detector가 frame내 모든 objects를 먼저 찾아내고
  2) 다른 frame과의 비교를 통해 object trajectory를 연결한다
  --> 2)의 과정을 data association이라고 부르는데 또 다음과 같이 분류된다
     [1] Batch method : past & future frame을 전부 사용하여 data association 수행
     [2] Online method : past frames만 사용해서 data association 수행
     (당연히 batch method가 성능은 더 좋다, 하지만 real-time application에는 online method가 적합하다)

MOT Algorithm Stages

대부분의 MOT 알고리즘들은 다음과 같은 stages를 공유한다.

1. Detection (Designation) : objects를 bounding box의 형태로 detect한다.
2. Motion : motion predictor가 target object의 subsequent position을 예측한다
3. Recall : couplets 사이의 similarity score를 계산하고, object에 ID를 부여한다

알고리즘에 따라 각각의 단계가 세분화되거나 합쳐지는 정도의 차이가 있다.

Deep Learning Algorithms for Object Tracking

DeepSORT, MDNet, SiamMask, GOTURN 등의 알고리즘이 있다.
각각의 알고리즘은 별개의 포스트에서 하나하나 알아보도록 하자 😘

+) 야무진 curated list 참고

https://github.com/luanshiyinyang/awesome-multiple-object-tracking

 

 

---

출처

[1] https://viso.ai/deep-learning/object-tracking/

Object Tracking in Computer Vision (2023 Guide) - viso.ai