Measurement processing은 크게 두 가지 과정으로 나타난다.
Visual processing front end, IMU pre-integration
전자는 연속적인 이미지에서 tracking 시도 하는 것이고, 후자는 연속적인 두 이미지에서 pre-integration을 시도 한다.
-KLT sparse optical flow algorithm
먼저 optical flow란 객체 또는 카메라의 움직임으로 인해 발생하는 두 개의 연속 프레임 사이에서 이미지 객체의 명백한 움직임 패턴입니다. 각 벡터가 첫 번째 frame에서 두 번째 frame으로 포인트의 이동을 보여주는 변위 벡터인 2D 벡터 필드입니다.
optical flow는 structure from Motion, Video compression, Video stablization 등에서 쓰인다.
Optical flow는 다음 몇 가지 가정에서 작동된다.
-개체의 픽셀 강도는 연속적인 프레임 사이에서는 변하지 않는다.
-인접한 픽셀은 비슷한 모션을 가진다.
첫 번째 프레임에서의 픽셀 강도 I(x,y,t)를 생각해보자. dt초 시간 이후 미소 변위만큼 움직였다고 하자. 가정에 의해서 I(x,y,t)=I(x+dx,y+dy,t+dt)가 성립한다.
이는 테일러 근사로 f_x u+f_y v+f_t=0을 만족한다.
u=dx/dt;v=dy/dt