前言

關于摳圖，首先想到的是PS的摳圖，要美工手動一點點的把細節摳出來，摳圖的好壞取決一個美工對PS的熟悉程度，在人像摳圖方面，對頭發的處理更是耗時耗力的一件事，在拍證件照的照像館都有固定的綠幕來擋掉復雜的背景，以免增加后期的工作量，那么有沒有一種完全自動的摳圖辦法呢？ [A Late Fusion CNN for Digital Matting] CVPR 2019 上的一編論文， 作者提出了全自動摳圖這個算法，不需要綠幕，也不需要輸入trimap圖（有了解傳統摳圖算法的應該知道這個圖是干嗎用的），背景圖也不需要。在只需要輸入一張原圖的情況下，就能很好的摳圖。我用Pytorch復現了他的這個算法，并且效果還不錯。

關于人像摳圖的應用場景可謂無所不在，在影視剪輯、直播娛樂、線上教學、視頻會議等場景中都有人像分割的身影，它可以幫助用戶實時、精準地將人物和背景精準識別出來，實現更精細化的人物美顏、背景虛化替換、彈幕穿人等，我那時想復現這編論文也是因為公司想做證件照相關的項目。

我的編譯環境是Windows 10 64位，IDE是VS2019，配置了OpenCV 4.5,實現語言是C++，用OpenCV的dnn來進行模型推理。

模型演示

1.實現代碼

void LFMatting(const cv::Mat& cv_src,cv::Mat &cv_matting, cv::Mat& cv_dst, cv::dnn::Net& net, int target_w = 640, int target_h = 960); void imshow(std::string name, const cv::Mat& img) {cv::namedWindow(name, 0);int max_rows = 500;int max_cols = 600;if (img.rows >= img.cols && img.rows > max_rows) {cv::resizeWindow(name, cv::Size(img.cols * max_rows / img.rows, max_rows));}else if (img.cols >= img.rows && img.cols > max_cols){cv::resizeWindow(name, cv::Size(max_cols, img.rows * max_cols / img.cols));}cv::imshow(name, img); }void mergeImage(std::vector<cv::Mat>& src_vor, cv::Mat& cv_dst, int channel) {cv::Mat img_merge;cv::Size size(src_vor.at(0).cols * src_vor.size(), src_vor.at(0).rows);if (channel == 1){img_merge.create(size, CV_8UC1);}else if (channel == 3){img_merge.create(size, CV_8UC3);}for (int i = 0; i < src_vor.size(); i++){cv::Mat cv_temp = img_merge(cv::Rect(src_vor.at(i).cols * i, 0, src_vor.at(i).cols, src_vor.at(i).rows));src_vor.at(i).copyTo(cv_temp);}cv_dst = img_merge.clone(); }cv::Mat channelSwitching(const cv::Mat& cv_src) {cv::Mat three_channel = cv::Mat::zeros(cv_src.rows, cv_src.cols, CV_8UC3);std::vector<cv::Mat> channels;if (cv_src.channels() == 1){for (int i = 0; i < 3; i++){channels.push_back(cv_src);}merge(&channels[0], channels.size(), three_channel);}return three_channel; }int main(int argc, char* argv[]) {cv::dnn::Net net = cv::dnn::readNet("model/graph_final_960_640.pb", "model/graph_final_960_640.pbtxt");std::string path = "images";std::vector<std::string> filenames;cv::glob(path, filenames, false);for (auto v : filenames){cv::Mat cv_src = cv::imread(v,1);std::vector<cv::Mat> cv_dsts(3);cv::Mat cv_matting, cv_dst;cv_dsts[0] = cv_src.clone();LFMatting(cv_src,cv_matting, cv_dsts[2], net);cv_dsts[1] = channelSwitching(cv_matting);cv_dsts[1].convertTo(cv_dsts[1], CV_8UC3, 255);mergeImage(cv_dsts, cv_dst, 3);cv::imwrite("dst.jpg", cv_dst);//cv::waitKey();}return 0; }void LFMatting(const cv::Mat& cv_src,cv::Mat &cv_matting, cv::Mat& cv_dst, cv::dnn::Net& net, int target_w,int target_h) {cv::Size reso(target_h, target_w);cv::Mat blob = cv::dnn::blobFromImage(cv_src, 1.0, reso,cv::Scalar(127.156207, 115.917443, 106.031127), true, false);net.setInput(blob);std::vector<cv::Mat> outputs;std::vector<std::string> names = {"deFG_side_0_out/ResizeNearestNeighbor","deBG_side_0_out/ResizeNearestNeighbor","fusion_sigmoid_output/Sigmoid"};net.forward(outputs, names);auto t1 = cv::getTickCount();for (size_t i = 0; i < outputs.size(); ++i){outputs[i] = outputs[i].reshape(0, { outputs[i].size[2], outputs[i].size[3] });cv::resize(outputs[i], outputs[i], cv_src.size(), 0.0, 0.0, cv::INTER_LINEAR);}cv::Mat fg = outputs[0];cv::Mat bg = outputs[1];cv::Mat alpha = outputs[2];cv_matting = fg.mul(alpha) + (1.0 - bg).mul(1.0 - alpha);cv_dst = cv::Mat::zeros(cv::Size(cv_src.cols, cv_src.rows), CV_8UC3);const int bg_color[3] = { 219,142,67 };float* alpha_data = (float*)alpha.data;for (int i = 0; i < cv_matting.rows; i++){for (int j = 0; j < cv_matting.cols; j++){float alpha_ = alpha_data[i * cv_matting.cols + j];cv_dst.at < cv::Vec3b>(i, j)[0] = cv_src.at < cv::Vec3b>(i, j)[0] * alpha_ + (1 - alpha_) * bg_color[0];cv_dst.at < cv::Vec3b>(i, j)[1] = cv_src.at < cv::Vec3b>(i, j)[1] * alpha_ + (1 - alpha_) * bg_color[1];cv_dst.at < cv::Vec3b>(i, j)[2] = cv_src.at < cv::Vec3b>(i, j)[2] * alpha_ + (1 - alpha_) * bg_color[2];}} }

2.一些不錯的效果：




3.還有一些是場景處理不是很好。



4. 我現在訓練的樣本在10000張左右，如果加大樣本量或者優化下算法，是可以解決掉這些問題點。
5. 模型和源碼都上傳到CSDN，感興趣的可以下載試玩：https://download.csdn.net/download/matt45m/51419768

總結

以上是生活随笔為你收集整理的智能人像自动抠图——C++ 实现LFM 模型推理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。