摘要：本文介紹了一種使用OpenCVSharp對(duì)攝像頭中的綠幕視頻進(jìn)行實(shí)時(shí)“摳人像、替換背景”的方式，對(duì)于項(xiàng)目中的算法進(jìn)行了分析。本文中給出了簡(jiǎn)化OpenCVSharp中Mat、MatExpr等托管資源釋放的方法。本文還介紹了“高效攝像頭播放控件”以及和OpenCVSharp的性能優(yōu)化技術(shù)，包括高效讀寫Mat數(shù)據(jù)、如何避免效率低的代碼等。

?

一、為什么自己開發(fā)實(shí)時(shí)摳圖軟件

由于工作的需要，我需要一個(gè)能夠?qū)τ跀z像頭中的人像進(jìn)行實(shí)時(shí)地“扣除背景、替換背景，并且把替換背景后的圖片顯示到窗口中”的功能。很多會(huì)議直播軟件都有類似的功能，比如Zoom、微軟Teams等都有人像摳圖功能，但是他們的這些功能都只局限于在它們的軟件內(nèi)使用。我又試用了幾個(gè)軟件，包括XSplit Vcam、抖音直播伴侶、OBS，他們的功能都做的很優(yōu)秀，包括很多都還有不需要綠幕的智能摳圖的功能，非常強(qiáng)大，但是他們都無法滿足我的特殊要求。所以我需要自己開發(fā)這樣一款軟件。

典型的人像摳圖需要在被摳圖的物體之后放上綠幕，然后再通過程序把綠幕扣除掉，這樣人像就被保留下來了，再把摳出來的人像繪制到新的背景圖上即可。很多影視制作都是用類似這樣的原理制作出來的。如圖 1所示?[1]。

圖 1

只要環(huán)境光線調(diào)整好了，通過綠幕進(jìn)行摳圖是非常準(zhǔn)確的，不過這種方式的缺點(diǎn)就是對(duì)于場(chǎng)地的布置要求非常高。所以現(xiàn)在流行“無綠幕摳圖”的功能，也就是用人工智能的方法智能識(shí)別前景人像和背景，然后智能的把前景人像識(shí)別出來。XSplit Vcam有這個(gè)功能，而且可以把摳圖的結(jié)果再模擬成一個(gè)虛擬攝像頭進(jìn)行輸出，屬于民用領(lǐng)域中比較強(qiáng)悍的一款軟件，但是如果背景比較復(fù)雜的話，XSplit Vcam移除背景的效果仍然不理想。我個(gè)人在計(jì)算機(jī)視覺方面，特別是結(jié)合人工智能進(jìn)行圖像的智能處理方面，研究很淺，我不認(rèn)為在時(shí)間有限的情況下，能寫出來一個(gè)比Vcam還要強(qiáng)大的軟件，因此我決定仍然用傳統(tǒng)的綠幕形式來實(shí)現(xiàn)我想要的功能，畢竟只要花幾十塊錢買一塊綠幕即可。

在開始講解實(shí)現(xiàn)代碼之前，先展示一下軟件的運(yùn)行效果。圖 2是相機(jī)采集的原始圖像，可以看到背后是一張綠幕，而圖 3則是軟件運(yùn)行后的效果，而且是實(shí)時(shí)摳圖的，目前可以做到大約20FPS（一秒鐘約20幀）。

圖 2沒有摳綠幕

圖 3摳人像、替換背景

?

二、軟件架構(gòu)

軟件使用了OpenCV，它是一個(gè)非常成熟、功能豐富的計(jì)算機(jī)視覺庫。OpenCV支持C/C++、Python、.NET、Java等主流的編程語言。在互聯(lián)網(wǎng)上，使用Python進(jìn)行OpenCV開發(fā)的資料最多。由于個(gè)人不是很喜歡Python的語法，所以這個(gè)軟件我使用C#語言在.NET 5平臺(tái)上進(jìn)行開發(fā)。由于OpenCV在各個(gè)編程語言上用法大同小異，因此這里用C#實(shí)現(xiàn)的代碼改用其他編程語言也非常容易。

.NET平臺(tái)下，有兩個(gè)OpenCV的綁定庫：OpenCVSharp和Emgu CV。由于OpenCVSharp沒有商業(yè)使用限制，因此我這里使用OpenCVSharp。不過，即使您使用的是Emgu CV，這篇文章里的代碼也是簡(jiǎn)單修改后就可以應(yīng)用到Emgu CV中。

?

三、如何獲得源代碼

由于摳綠幕替換背景的功能只是我的軟件的一個(gè)模塊，整個(gè)軟件暫時(shí)不方便開源，所以我把摳綠幕替換背景這部分核心代碼功能剝離到一個(gè)單獨(dú)的開源項(xiàng)目中。

項(xiàng)目開源地址：https://github.com/yangzhongke/Zack.OpenCVSharp.Ext

?代碼中的“GreenScreenRemovalDemo.cs”就是最核心的代碼，也可以在項(xiàng)目頁面底部的【GreenScreenRemovalDemo】中下載各個(gè)操作系統(tǒng)下的可執(zhí)行文件，其中的GreenScreenRemovalDemo就是主程序。

以Windows為例，運(yùn)行GreenScreenRemovalDemo.exe，就會(huì)出現(xiàn)如圖 4所示的控制臺(tái)

圖 4選擇用演示視頻還是攝像頭

?

如果輸入v，就會(huì)自動(dòng)播放一個(gè)內(nèi)置的monster.mp4綠幕視頻文件?[2]，供沒有綠幕環(huán)境的朋友進(jìn)行體驗(yàn)，程序會(huì)從視頻文件中將綠幕剔除掉替換為自定義背景文件bg.png。如果在圖 4這一步輸入數(shù)字，則會(huì)從指定編號(hào)的網(wǎng)絡(luò)攝像頭中讀取畫面進(jìn)行摳圖，如果您的計(jì)算機(jī)中只有一個(gè)攝像頭，那么輸入0即可。體驗(yàn)完畢，在圖形窗口內(nèi)按任意鍵就會(huì)退出程序。

?

如下的圖 5、圖 6和圖 7分辨就是綠幕視頻、背景圖以及合成圖。

圖 5綠幕視頻monster.mp4

?

圖 6背景圖bg.png(新西蘭的伊甸山)

?

圖 7替換背景后的合成圖

?

四、核心原理

圖 8原始幀圖片

?

圖 8是從攝像頭獲取的一幀原始圖片。首先，調(diào)用我編寫的RenderGreenScreenMask(src, matMask)方法，把原始幀src轉(zhuǎn)換為一張黑白圖matMask做為遮罩。matMast中，綠色部分渲染為黑色，其他部分渲染為白色，如圖 9。

RenderGreenScreenMask方法的主要代碼如下?[3]：

private unsafe void RenderGreenScreenMask(Mat src,Mat matMask)

{

?????? int rows= src.Rows;

?????? int cols= src.Cols;

?????? for (intx = 0; x < rows; x++)

?????? {

????????????? Vec3b*srcRow = (Vec3b*)src.Ptr(x);

????????????? byte*maskRow = (byte*)matMask.Ptr(x);

????????????? for(int y = 0; y < cols; y++)

????????????? {

???????????????????? varpData = srcRow + y;

???????????????????? byteblue = pData->Item0;

???????????????????? bytegreen = pData->Item1;

???????????????????? bytered = pData->Item2;

???????????????????? bytemax = Math.Max(red, Math.Max(blue, green));

???????????????????? //ifthis pixel is some green, render the pixel with the same position on matMask asblack

???????????????????? if(green == max && green > 30)

???????????????????? {

??????????????????????????? *(maskRow+ y) = 0;

???????????????????? }

???????????????????? else

???????????????????? {

??????????????????????????? *(maskRow+ y) = 255;//render as white

???????????????????? }

????????????? }

?????? }

}

為了加速圖片的像素點(diǎn)訪問，這里使用指針來操作。C#中可以使用指針操作內(nèi)存，這樣可以大大加速程序的運(yùn)行效率。因?yàn)榄h(huán)境光照的影響，背景綠幕中的各個(gè)點(diǎn)顏色并不完全相同，所以這里使用像素點(diǎn)的green == max (blue,green,red)&& green > 30是否為true來判斷一個(gè)點(diǎn)是否是綠色，30是一個(gè)閾值，可以根據(jù)情況來調(diào)節(jié)識(shí)別效果，這個(gè)閾值選的越大，被認(rèn)為是綠色的范圍越窄。

?

圖 9去掉綠色

?

接下來，調(diào)用OpenCV的FindContoursAsArray()方法找到 圖 9中的若干個(gè)輪廓信息。為了去掉一些綠幕中的褶皺或者光線問題造成的小面積干擾，對(duì)于找到的輪廓信息，需要?jiǎng)h除掉面積較小的輪廓，只保留面積較大的輪廓。使用C#中的LINQ操作可以輕松的完成這個(gè)篩選，代碼如下：

var contoursExternalForeground =Cv2.FindContoursAsArray(matMask, RetrievalModes.External, ContourApproximationModes.ApproxNone)

?????? .Select(c=> new { contour = c, Area = (int)Cv2.ContourArea(c) })

?????? .Where(c=> c.Area >= minBlockArea)

?????? .OrderByDescending(c=> c.Area).Take(5).Select(c => c.contour);

?

這里的minBlockArea代表設(shè)定的一個(gè)“最小允許輪廓區(qū)域的面積”。

接下來新建一個(gè)空的黑色Mat，名字為matMaskForeground，然后把上面得到的大輪廓區(qū)域繪制到這個(gè)matMaskForeground中，并且內(nèi)部填充為白色，代碼如下：

?

matMaskForeground.DrawContours(contoursExternalForeground,-1, new Scalar(255),

??????????????????????????? thickness:-1);

?

matMaskForeground對(duì)應(yīng)的圖片內(nèi)容如圖 10。這樣matMaskForeground中就只包含若干大面積輪廓了，其他小面積的干擾都被排除了。

?

圖 10找到最大幾個(gè)閉合區(qū)域，然后填充為白色

?

接下來，要把圖 9中的手臂、手、肩膀和脖子形成的那些大的鏤空區(qū)域摳出來。因此把圖 9和圖 10做“異或”操作，得到圖 11這樣的鏤空區(qū)域。

?

圖 11前兩張圖片做異或操作，得到身體內(nèi)部的鏤空區(qū)域

?

因?yàn)檠坨R中反射的屏幕中的綠光、或者衣服上的小的綠色可能會(huì)被識(shí)別為小的鏤空區(qū)域，，可以看到圖 11的右下角就有一些小白色區(qū)域，因此再次使用FindContoursAsArray、DrawContours把 圖 11中的小面積的區(qū)域排除掉。然后再把排除掉小面積輪廓的圖 11和圖 10做合并操作，就得到圖 12，就是一個(gè)白色部分為身體區(qū)域，而黑色部分為綠幕背景的的圖片。

圖12把小鏤空區(qū)域去掉，并和身體遮罩做合并

?

接下來使用圖 12做為遮罩對(duì)原始幀圖像圖 8進(jìn)行背景透明處理，得到圖 13， 這樣的圖片就是背景透明的圖片了。主要代碼如下：

public static void AddAlphaChannel(Mat src, Mat dst,Mat alpha)

{

?????? using(ResourceTracker t = new ResourceTracker())

?????? {

????????????? //splitis used for splitting the channels separately

????????????? varbgr = t.T(Cv2.Split(src));

????????????? varbgra = new[] { bgr[0], bgr[1], bgr[2], alpha };

????????????? Cv2.Merge(bgra,dst);

?????? }

}

?

其中src是原始幀圖像，dst是合并結(jié)果，而alpha則是圖 12這個(gè)透明遮罩。

最后把背景透明的圖 13繪制到我們自定義的背景圖上，就得到替換為背景圖的圖 14了。核心代碼如下：

publicunsafe static void DrawOverlay(Mat bg, Mat overlay)

{

?????? int colsOverlay = overlay.Cols;

?????? int rowsOverlay = overlay.Rows;

?

?????? for (int i = 0; i < rowsOverlay; i++)

?????? {

????????????? Vec3b* pBg = (Vec3b*)bg.Ptr(i);

????????????? Vec4b* pOverlay =(Vec4b*)overlay.Ptr(i);

????????????? for (int j = 0; j <colsOverlay; j++)

????????????? {

???????????????????? Vec3b* pointBg = pBg + j;

?????? ????????????? Vec4b*pointOverlay = pOverlay + j;

???????????????????? if (pointOverlay->Item3!= 0)

???????????????????? {

??????????????????????????? pointBg->Item0 =pointOverlay->Item0;

??????????????????????????? pointBg->Item1 =pointOverlay->Item1;

??????????????????????????? pointBg->Item2 =pointOverlay->Item2;

???????????????????? }

????????????? }

?????? }

}

?????? 其中參數(shù)bg就是原始幀圖像圖 8，而overlay則是背景透明的圖 13，經(jīng)過DrawOverlay方法繪制后，bg的內(nèi)容就變成了圖 14，然后就可以輸出到界面上了。

圖 13背景透明圖

?

圖 14最終結(jié)果

上面講述的核心代碼就位于GreenScreenRemovalDemo項(xiàng)目的ReplaceGreenScreenFilter類中。下面列出ReplaceGreenScreenFilter最主干的代碼：

class ReplaceGreenScreenFilter

{

?????? private byte _greenScale = 30;

?????? private double _minBlockPercent = 0.01;

?????? private Mat _backgroundImage;

?????? public void SetBackgroundImage(Mat backgroundImage)

?????? {

????????????? this._backgroundImage = backgroundImage;

?????? }

?

?????? private unsafe void RenderGreenScreenMask(Mat src, MatmatMask)

?????? {

????????????? int rows = src.Rows;

????????????? int cols = src.Cols;

????????????? for (int x = 0; x < rows; x++)

????????????? {

???????????????????? Vec3b* srcRow = (Vec3b*)src.Ptr(x);

???????????????????? byte* maskRow = (byte*)matMask.Ptr(x);

???????????????????? for (int y = 0; y < cols; y++)

???????????????????? {

??????????????????????????? var pData = srcRow + y;

??????????????????????????? byte blue = pData->Item0;

??????????????????????????? byte green = pData->Item1;

??????????????????????????? byte red = pData->Item2;

??????????????????????????? byte max = Math.Max(red, Math.Max(blue,green));

??????????????????????????? if (green == max && green >this._greenScale)

??????????????????????????? {

?????????????????????????????????? *(maskRow + y) = 0;

??????????????????????????? }

??????????????????????????? else

??????????????????????????? {

?????????????????????????????????? *(maskRow + y) = 255;//render aswhite

??????????????????????????? }

???????????????????? }

????????????? }

?????? }

?

?????? public void Apply(Mat src)

?????? {

????????????? using (ResourceTracker t = new ResourceTracker())

????????????? {

???????????????????? Size srcSize = src.Size();

???????????????????? Mat matMask = t.NewMat(srcSize, MatType.CV_8UC1,new Scalar(0));

???????????????????? RenderGreenScreenMask(src, matMask);

???????????????????? //the area is by integer instead of double, sothat it can improve the performance of comparision of areas

???????????????????? int minBlockArea = (int)(srcSize.Width *srcSize.Height * this.MinBlockPercent);

???????????????????? var contoursExternalForeground =Cv2.FindContoursAsArray(matMask, RetrievalModes.External,ContourApproximationModes.ApproxNone)

??????????????????????????? .Select(c => new { contour = c, Area =(int)Cv2.ContourArea(c) })

??????????????????????????? .Where(c => c.Area >= minBlockArea)

???????????????????? ?????? .OrderByDescending(c=> c.Area).Take(5).Select(c => c.contour);

?

???????????????????? //a new Mat used for rendering the selectedContours

???????????????????? var matMaskForeground = t.NewMat(srcSize,MatType.CV_8UC1, new Scalar(0));

???????????????????? //thickness: -1 means filling the inner space

???????????????????? matMaskForeground.DrawContours(contoursExternalForeground,-1, new Scalar(255),

??????????????????????????? thickness: -1);

???????????????????? //matInternalHollow is the inner Hollow parts ofbody part.

???????????????????? var matInternalHollow = t.NewMat(srcSize,MatType.CV_8UC1, new Scalar(0));

???????????????????? Cv2.BitwiseXor(matMaskForeground, matMask,matInternalHollow);

?

???????????????????? int minHollowArea = (int)(minBlockArea *0.01);//the lower size limitation of InternalHollow is less than minBlockArea,because InternalHollows are smaller

???????????????????? //find the Contours of Internal Hollow?

???????????????????? var contoursInternalHollow =Cv2.FindContoursAsArray(matInternalHollow, RetrievalModes.External,ContourApproximationModes.ApproxNone)

??????????????????????????? .Select(c => new { contour = c, Area =Cv2.ContourArea(c) })

??????????????????????????? .Where(c => c.Area >=minHollowArea)

??????????????????????????? .OrderByDescending(c =>c.Area).Take(10).Select(c => c.contour);

???????????????????? //draw hollows

???????????????????? foreach (var c in contoursInternalHollow)

???????????????????? {

??????????????????????????? matMaskForeground.FillConvexPoly(c, newScalar(0));

???????????????????? }

?

???????????????????? var element = t.T(Cv2.GetStructuringElement(MorphShapes.Cross,new Size(3, 3)));

???????????????????? //smooth the edge of matMaskForeground

???????????????????? Cv2.MorphologyEx(matMaskForeground,matMaskForeground, MorphTypes.Close,

??????????????????????????? element, iterations: 6);

?

???????????????????? var foreground = t.NewMat(src.Size(),MatType.CV_8UC4, new Scalar(0));

???????????????????? ZackCVHelper.AddAlphaChannel(src, foreground,matMaskForeground);

???????????????????? //resize the _backgroundImage to the same sizeof src

???????????????????? Cv2.Resize(_backgroundImage, src, src.Size());

???????????????????? //draw foreground(people) on the backgroundimage

???????????????????? ZackCVHelper.DrawOverlay(src, foreground);

????????????? }

?????? }

}

?

五、重要技術(shù)

受限于篇幅，這里不講解OpenCV的基礎(chǔ)知識(shí)，這里只講解項(xiàng)目中的一些重點(diǎn)技術(shù)以及OpenCVSharp使用過程中的一些需要注意的事項(xiàng)。由于我也是剛接觸OpenCVSharp幾天時(shí)間，所以如果存在有問題的地方，請(qǐng)各位指正。

• 簡(jiǎn)化OpenCVSharp對(duì)象的釋放

在OpenCVSharp中，Mat 和 MatExpr等類的對(duì)象擁有非托管資源，因此需要調(diào)用Dispose()方法手動(dòng)釋放。更糟糕的是，+、-、*等運(yùn)算符每次都會(huì)創(chuàng)建一個(gè)新的對(duì)象，這些對(duì)象都需要釋放，否則就會(huì)有內(nèi)存泄露。但是這些對(duì)象釋放的代碼看起來非常啰嗦。

假設(shè)有如下Python中訪問opencv的代碼：

mat1 =np.empty([100,100])

mat3 = 255-mat1*0.8

mats1 = cv2.split(mat3)

mat4=cv2.merge(mats1[0],mats1[2],mats1[2])

?

而在C#中同樣的代碼則像下面這樣啰嗦：

using (Mat mat1 = newMat(new Size(100, 100), MatType.CV_8UC3))

using (Mat mat2 = mat1* 0.8)

using (Mat mat3 =255-mat2)

{

?????? Mat[] mats1 = mat3.Split();

?????? using (Mat mat4 = new Mat())

?????? {

????????????? Cv2.Merge(new Mat[] { mats1[0], mats1[1], mats1[2] },mat4);

?????? }

?????? foreach(var m in mats1)

?????? {

????????????? m.Dispose();

?????? }

}

?

因此我創(chuàng)建了一個(gè)ResourceTracker類用來管理OpenCV的資源。ResourceTracker類的T()方法用于把OpenCV對(duì)象加入跟蹤記錄。T()方法的實(shí)現(xiàn)很簡(jiǎn)單，就是把被包裹的對(duì)象加入跟蹤記錄，然后再把對(duì)象返回。T()方法的核心代碼如下：

public Mat T(Mat obj)

{

?????? if (obj == null)

?????? {

????????????? return obj;

?????? }

?????? trackedObjects.Add(obj);

?????? return obj;

}

?

public Mat[] T(Mat[]objs)

{

?????? foreach (var obj in objs)

?????? {

????????????? T(obj);

?????? }

?????? return objs;

}

?

ResourceTracker實(shí)現(xiàn)了IDisposable接口，當(dāng)ResourceTracker類的 Dispose()方法被調(diào)用后，ResourceTracker跟蹤的所有資源都會(huì)被釋放。T()方法可以跟蹤一個(gè)對(duì)象或者一個(gè)對(duì)象數(shù)組。而NewMat() 這個(gè)方法是T(new Mat(...)) 的一個(gè)簡(jiǎn)化。因?yàn)?#43;、-、*等運(yùn)算符每次都會(huì)創(chuàng)建一個(gè)新的對(duì)象，所以每步運(yùn)算得到的對(duì)象都需要釋放，他們可以使用T()進(jìn)行包裹。例如：t.T(255 - t.T(picMat * 0.8))

?

因此，上面的啰嗦的C#代碼可以簡(jiǎn)化成如下的樣子：

using (ResourceTrackert = new ResourceTracker())

{

?????? Mat mat1 = t.NewMat(new Size(100, 100), MatType.CV_8UC3,newScalar(0));

?????? Mat mat3 = t.T(255-t.T(mat1*0.8));

?????? Mat[] mats1 = t.T(mat3.Split());

?????? Mat mat4 = t.NewMat();

?????? Cv2.Merge(new Mat[] { mats1[0], mats1[1], mats1[2] }, mat4);

}

?

在離開ResourceTracker的using代碼塊之后，所有ResourceTracker對(duì)象管理的Mat、MatExpr等對(duì)象的資源都會(huì)被釋放。

這個(gè)ResourceTracker類我放到了Zack.OpenCVSharp.Ext這個(gè)NuGet包中，可以通過如下NuGet命令安裝：

Install-PackageZack.OpenCVSharp.Ext

項(xiàng)目的源代碼地址：https://github.com/yangzhongke/Zack.OpenCVSharp.Ext

?

• 訪問Mat中數(shù)據(jù)的高效方式

OpenCVSharp中提供了很多訪問Mat中數(shù)據(jù)的方法，經(jīng)過測(cè)試，我發(fā)現(xiàn)，At()方式最慢，GetGenericIndexer也很慢，因?yàn)樗麄兌际峭耆ㄟ^托管代碼的方式進(jìn)行的，性能必然打折扣。而直接訪問內(nèi)存的GetUnsafeGenericIndexer方式快了很多，但是最快的方式還是使用mat.Ptr(x)并使用指針這種方式速度最快，因?yàn)檫@種方式直接通過指針讀寫Mat的內(nèi)存。使用這種方式的方法需要標(biāo)記為unsafe，并且項(xiàng)目要啟用“允許不安全代碼”。由于這種方式是直接讀寫內(nèi)存，所以一定要注意你的代碼，以免造成不正確的內(nèi)存訪問或者AccessViolation，對(duì)指針操作不熟悉的讀者，可以閱讀我出版的圖書《零基礎(chǔ)趣學(xué)C語言》（作者：楊中科，人民郵電出版社），因?yàn)镃#中指針操作和C語言幾乎一模一樣。

這種指針方式的參考代碼請(qǐng)參考上面的RenderGreenScreenMask()、DrawOverlay()兩個(gè)方法，Zack.OpenCVSharp.Ext這個(gè)開源項(xiàng)目中np類的where方法還演示了C#泛型、指針操作以及l(fā)ambda的結(jié)合使用。

OpenCVSharp中，Vec4b、Vec3b、byte等代表不同字節(jié)長(zhǎng)度的內(nèi)存單元，一定要根據(jù)使用的Mat對(duì)象的通道數(shù)等來選擇使用Vec4b、Vec3b、byte等，使用不當(dāng)不僅會(huì)影響性能，而且還可能會(huì)造成數(shù)據(jù)混亂，數(shù)據(jù)混亂的最直接的表現(xiàn)就是圖片顯示錯(cuò)亂、花屏。

?

• CameraPlayer

我的軟件需要從攝像頭采集圖像，并且顯示到界面上，而且在顯示到界面上之前，還要對(duì)圖像進(jìn)行“摳人像、替換背景”的操作。在最開始的時(shí)候，我使用AForge.NET完成攝像頭的圖像采集和顯示，不過性能非常低。因?yàn)樾枰劝袮Forge.NET采集到的Bitmap轉(zhuǎn)換為OpenCVSharp的Mat，摳圖處理完成后再把Mat轉(zhuǎn)換回Bitmap，顯示到界面上。所以我就直接使用OpenCVSharp的VideoCapture類來完成攝像頭圖像的采集，由于它采集到的幀圖像直接用Mat表示，省去了轉(zhuǎn)換環(huán)節(jié)，速度得到了很大的提升。

我把從攝像頭取數(shù)據(jù)以及顯示到界面上的操作封裝了一個(gè)CameraPlayer控件中，同時(shí)提供了.NET Core和.NET Framework版的WinForm控件，可以直接拿來用，而且提供了SetFrameFilter(Action<Mat> frameFilterFunc)方法來允許設(shè)定一個(gè)委托，從而在把幀圖像的Mat繪制到界面前使用OpenCVSharp進(jìn)行處理。

CameraPlayer控件中圖像采集、圖像的處理和圖像的顯示是由不同線程負(fù)責(zé)，各自并行處理，所以性能非常高。

我把這個(gè)CameraPlayer控件開源了，具體用法請(qǐng)參考項(xiàng)目的文檔。

項(xiàng)目地址：https://github.com/yangzhongke/Zack.CameraLib

在開發(fā)CameraPlayer的時(shí)候，我發(fā)現(xiàn)如果不設(shè)定VideoCapture的FourCC屬性（也就是視頻的編碼），取一幀需要100ms，而把FourCC屬性設(shè)置為"MJPG"之后，取一幀只要50ms。我不知道這是否和攝像頭相關(guān)。因此，如果你因?yàn)镕ourCC屬性設(shè)置為"MJPG"之后，讀取圖像的速度反而變慢了，可以嘗試修改一個(gè)不同的FourCC值。

?

• 謹(jǐn)慎使用可能造成性能問題的玩意兒

在實(shí)現(xiàn)RenderGreenScreenMask()這個(gè)方法的時(shí)候，其中有一步是用來“取blue、green、red三個(gè)值中的最大值”，最開始的時(shí)候，我使用.NET中的LINQ擴(kuò)展方法實(shí)現(xiàn)newbyte[]{blue,green,red}.Max();? 但是發(fā)現(xiàn)改成byte max1 = blue > green ? blue : green; byte max =max1>red?max1:red;這種簡(jiǎn)單的方法計(jì)算之后，每一幀的處理時(shí)間減少了50%。

由于LINQ操作涉及到“創(chuàng)建集合對(duì)象、把數(shù)據(jù)放入集合對(duì)象、獲取數(shù)據(jù)”這樣的過程，速度會(huì)比常規(guī)算法慢一些，在普通的數(shù)據(jù)處理中這點(diǎn)性能差距可以忽略不計(jì)，特別是在使用LINQ對(duì)數(shù)據(jù)庫等進(jìn)行操作的時(shí)候，相對(duì)于耗時(shí)的IO操作來講，這點(diǎn)性能差別更是可以忽略不計(jì)。但是由于這里是在雙層循環(huán)中使用，而且執(zhí)行的操作的速度非常快的內(nèi)存讀寫，所以就把性能差距放大了。

因此，在使用OpenCVSharp對(duì)圖像進(jìn)行處理的時(shí)候，要謹(jǐn)慎使用這些可能會(huì)造成性能問題的高級(jí)玩意兒。

?

• Mat內(nèi)存的初始化

在創(chuàng)建空的Mat對(duì)象的時(shí)候，最好初始化Mat對(duì)象的內(nèi)存數(shù)據(jù)，就像在C語言中對(duì)于malloc拿到的內(nèi)存空間最好用memset重置一樣，以免造成內(nèi)存中舊的殘留數(shù)據(jù)干擾我們的操作。比如new Mat(srcSize,MatType.CV_8UC1)這樣創(chuàng)建的空白Mat中的內(nèi)存可能是復(fù)用之前被釋放的其他對(duì)象的內(nèi)存，數(shù)據(jù)是臟的，除非你的下一步操作是把Mat的每一位都重新填充，否則請(qǐng)使用Mat 構(gòu)造函數(shù)的Scalar類型的參數(shù)來初始化內(nèi)存，參考代碼如下：new Mat(srcSize,MatType.CV_8UC1,new Scalar(0))

?

六、未來工作

在以后有時(shí)間的時(shí)候，我可能會(huì)做如下這些工作。

• 提升從攝像頭取一幀的速度。因?yàn)槲夷壳坝玫臄z像頭“羅技C920”標(biāo)稱的是FPS=30，所以理論上來講，取一幀的速度是33ms，而目前我取一幀的速度是50ms，我要研究一下是否能進(jìn)一步提升取一幀圖像的速度。

• 除了我長(zhǎng)得不好看這個(gè)不可控因素之外，摳出來的圖也是原圖，亮度以及邊緣都還有待優(yōu)化，所以考慮增加美顏、瘦臉、亮膚、邊緣優(yōu)化等功能，目前的人像摳圖算法處理一幀需要大約20ms，而從攝像頭取一幀的速度是50ms，因此還有30ms的額外時(shí)間可以用來做這些美化工作。

• 用人工智能算法實(shí)現(xiàn)“無綠幕摳人像、去除背景”。完全自己實(shí)現(xiàn)這個(gè)無疑是比較難的。我發(fā)現(xiàn)一個(gè)很強(qiáng)大的開源項(xiàng)目MODNet，它是一個(gè)python+torch實(shí)現(xiàn)的使用神經(jīng)網(wǎng)絡(luò)做智能人像識(shí)別的庫，包含已經(jīng)訓(xùn)練完成模型。而torch也有對(duì)應(yīng)的.NET移植版，所以理論上這是可以做到的。

?

七、結(jié)論

使用OpenCVSharp的時(shí)候，只要注意使用本文中介紹的高效訪問內(nèi)存的方式，并且合理調(diào)用相關(guān)的函數(shù)，可以非常高性能的進(jìn)行圖像的處理，因此我開發(fā)的軟件可以做到每一幀圖像處理僅需大約20ms。借助于我開發(fā)的Zack.OpenCVSharp.Ext這個(gè)包中的ResourceTracker類，可以讓OpenCVSharp中的資源釋放變得非常簡(jiǎn)單，在幾乎不用修改表達(dá)式、代碼的基礎(chǔ)上，讓資源能夠及時(shí)得到釋放，避免內(nèi)存泄漏。

點(diǎn)擊【閱讀原文】查看項(xiàng)目的Github頁面。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的编程去除背景绿幕抠图，基于.NET+OpenCVSharp的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。