簡(jiǎn)介：在計(jì)算機(jī)視覺中，Lucas–Kanade光流算法是一種兩幀差分的光流估計(jì)算法。它由Bruce D. Lucas 和 Takeo Kanade提出。

光流的概念:(Optical flow or optic flow)

它是一種運(yùn)動(dòng)模式，這種運(yùn)動(dòng)模式指的是一個(gè)物體、表面、邊緣在一個(gè)視角下由一個(gè)觀察者(比如眼睛、攝像頭等)和背景之間形成的明顯移動(dòng)。光流技術(shù)，如運(yùn)動(dòng)檢測(cè)和圖像分割，時(shí)間碰撞，運(yùn)動(dòng)補(bǔ)償編碼，三維立體視差，都是利用了這種邊緣或表面運(yùn)動(dòng)的技術(shù)。

二維圖像的移動(dòng)相對(duì)于觀察者而言是三維物體移動(dòng)的在圖像平面的投影。

有序的圖像可以估計(jì)出二維圖像的瞬時(shí)圖像速率或離散圖像轉(zhuǎn)移。

光流算法：

它評(píng)估了兩幅圖像的之間的變形，它的基本假設(shè)是體素和圖像像素守恒。它假設(shè)一個(gè)物體的顏色在前后兩幀沒有巨大而明顯的變化。基于這個(gè)思路，我們可以得到圖像約束方程。不同的光流算法解決了假定了不同附加條件的光流問題。

Lucas–Kanade算法：

這個(gè)算法是最常見，最流行的。它計(jì)算兩幀在時(shí)間t 到t + δt之間每個(gè)每個(gè)像素點(diǎn)位置的移動(dòng)。 由于它是基于圖像信號(hào)的泰勒級(jí)數(shù)，這種方法稱為差分，這就是對(duì)于空間和時(shí)間坐標(biāo)使用偏導(dǎo)數(shù)。

圖像約束方程可以寫為I (x ,y ,z ,t ) = I (x + δx ,y + δy ,z + δz ,t + δt )

I(x, y,z, t) 為在(x,y,z)位置的體素。

我們假設(shè)移動(dòng)足夠的小，那么對(duì)圖像約束方程使用泰勒公式，我們可以得到：

H.O.T. 指更高階，在移動(dòng)足夠小的情況下可以忽略。從這個(gè)方程中我們可以得到：

或者

我們得到：

V x,V y,V z分別是I(x,y,z,t)的光流向量中x，y，z的組成。

,

,

和

則是圖像在(x ,y ,z ,t )這一點(diǎn)向相應(yīng)方向的差分 。

所以

I xVx+ I yV y+ I zV z= ? I t。

寫做：

這個(gè)方程有三個(gè)未知量，尚不能被解決，這也就是所謂光流算法的光圈問題。那么要找到光流向量則需要另一套解決的方案。而Lucas-Kanade算法是一個(gè)非迭代的算法：

假設(shè)流(Vx,Vy,Vz)在一個(gè)大小為m*m*m(m>1)的小窗中是一個(gè)常數(shù)，那么從像素1...n ,n = m 3 中可以得到下列一組方程：

三個(gè)未知數(shù)但是有多于三個(gè)的方程，這個(gè)方程組自然是個(gè)超定方程，也就是說方程組內(nèi)有冗余，方程組可以表示為：

記作：

為了解決這個(gè)超定問題，我們采用最小二乘法：

or

得到：

其中的求和是從1到n。

這也就是說尋找光流可以通過在四維上圖像導(dǎo)數(shù)的分別累加得出。我們還需要一個(gè)權(quán)重函數(shù)W(i, j,k) ，

來突出窗口中心點(diǎn)的坐標(biāo)。高斯函數(shù)做這項(xiàng)工作是非常合適的，

這個(gè)算法的不足在于它不能產(chǎn)生一個(gè)密度很高的流向量，例如在運(yùn)動(dòng)的邊緣和黑大的同質(zhì)區(qū)域中的微小移動(dòng)方面流信息會(huì)很快的褪去。它的優(yōu)點(diǎn)在于有噪聲存在的魯棒性還是可以的。

補(bǔ)充：opencv里實(shí)現(xiàn)的看上去蠻復(fù)雜，現(xiàn)在還不是太明白。其中LK經(jīng)典算法也是迭代法，是由高斯迭代法解線性方程組進(jìn)行迭代的。

參考文獻(xiàn)：Lucas B and Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision. Proc. Of 7th International Joint Conference on Artificial Intelligence (IJCAI), pp.674-679.是81年發(fā)表的。

opencv中實(shí)現(xiàn)的是84年發(fā)表的算法，

參考文獻(xiàn)：Bruce D. Lucas , "Generalized Image Matching by the Method of Differences," doctoral dissertation, tech. report , Robotics Institute, Carnegie Mellon University, July, 1984

這篇論文是收費(fèi)的，一直都沒下到還。

總結(jié)

以上是生活随笔為你收集整理的lucas–kanade_Lucas–Kanade光流算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。