1. 개요
컴퓨터 비전 용어. 관측자와 환경 사이의 상대적인 움직임 때문에 일어나는 시각적 변화, 흐름. 사람이 고개를 흔들면 앞에 있는 물체들이 움직이는 것 처럼 보이는데, 그게 광학 흐름이다. 컴퓨터 비전에선 주로 사진 여러장 (최소 2장)으로 움직임을 감지하고 측정하는데 쓰인다.2. 광학 흐름 방정식
이게 뭔 소리인가 싶지만 광학 흐름에는 대표적인 방정식이 있다. 목적은 사진 여러 장이 있을 때, 사진에 보이는 물체들이 얼마나 어디로 이동하고 있는지 알아내기다.2D 영상 (또는 사진 여러장)은 공간과 시간에 대한 함수라고 생각할 수 있다. 인풋이 평면공간을 나타내는 x와 y, 그리고 시간 t, 아웃풋은 픽셀의 밝기(I).
연속으로 찍힌 사진 2장을 고려한다. 그중 첫번째 사진의 픽셀 1개에 주목해보자. 그 픽셀의 밝기를
[math(\displaystyle I(x, y, t) )]
라고 한다.
그렇다면 두번째 사진을 보자. 두번째 사진이 첫번째 사진이 찍힌 직후에 찍혔다면, 픽셀은 아주 찰나의 순간 동안 약간 이동을 했을 것이다. 따라서 픽셀의 새로운 밝기는
[math(\displaystyle I(x + \Delta x, y + \Delta y, t + \Delta t) )]
미적분 (정확히는 테일러 급수)를 사용하면 다음의 식이 성립한다.
[math(\displaystyle I(x + \Delta x, y + \Delta y, t + \Delta t) = I(x, y, t) + \frac{\partial I}{\partial x}\Delta x + \frac{\partial I}{\partial y}\Delta y + \frac{\partial I}{\partial t}\Delta t + err )]
높은 항들인 err은 무시한다. 또한, 픽셀의 밝기는 이 찰나에 순간 변하지 않았다고 가정하자. 한마디로 [math(I(x, y, t) = I(x + \Delta x, y + \Delta y, t + \Delta t))]. 그렇다면
[math(\displaystyle \frac{\partial I}{\partial x}\Delta x + \frac{\partial I}{\partial y}\Delta y + \frac{\partial I}{\partial t}\Delta t = 0 )]
양번을 [math(\Delta t)]로 나누면
[math(\displaystyle \frac{\partial I}{\partial x}\frac{\Delta x}{\Delta t} + \frac{\partial I}{\partial y}\frac{\Delta y}{\Delta t} + \frac{\partial I}{\partial t}\frac{\Delta t}{\Delta t} = 0 )]
[math(\displaystyle \frac{\partial I}{\partial x}v_x + \frac{\partial I}{\partial y}v_y = - \frac{\partial I}{\partial t} )]
델 연산자로 더 간결하게 표현하면
[math(\displaystyle \nabla I \cdot \vec{v} = - \frac{\partial I}{\partial t} )]
사진 2장이 있으므로 시간과 공간에 대한 편미분 근사까지는 가능하지만 식 1개에 변수는 2개라서 픽셀 1개만으로는 속도를 알 수 없다. 실제 이 방정식을 써먹으려면 뭔가가 더 필요하다.
3. Lucas-Kanade 기법
유명한 광학 흐름 색출 기법으로, 위에 나와있는 방정식을 기본으로 한다. 방정식 1개에 변수가 2개인 것을 어떻게 해결할까? 방정식을 더 들고 오면 된다. 픽셀 1개가 아니라 속도가 똑같다고 생각되는 픽셀을 1개 이상 더 추가로 고려하면 방정식 수가 늘어난다. 처음 고른 픽셀 바로 근처에 있는 픽셀들이 같은 속도로 움직일 확률이 높으므로 그 픽셀들을 고른다. 픽셀들이 많아지면 오히려 변수 2개에 방정식이 수두룩 해지는데, 그러면 보통 해를 갖지 않는 연립 선형 방정식[1]이 된다. 마지막으로 least-squares 기법(최소자승법)[2]을 사용해서 고려했던 픽셀들의 속도 벡터를 구한다.4. 관련 문서
컴퓨터 비전미적분
선형대수학