搞圖像深度學(xué)習(xí)的童鞋一定碰過圖像數(shù)據(jù)標(biāo)注的東西，當(dāng)我們訓(xùn)練網(wǎng)絡(luò)時(shí)需要訓(xùn)練集數(shù)據(jù)，但在網(wǎng)上又沒有找到自己想要的數(shù)據(jù)集，這時(shí)候就考慮自己制作自己的數(shù)據(jù)集了，這時(shí)就需要對圖像進(jìn)行標(biāo)注。圖像標(biāo)注是件很枯燥又很費(fèi)人力物力的一件事情，但是又不能回避，畢竟搞深度學(xué)習(xí)如果沒有數(shù)據(jù)集那一切都是瞎搞。最近我在參加一個(gè)有關(guān)圖像深度學(xué)習(xí)的比賽，因?yàn)槊}方?jīng)]有給出訓(xùn)練集，所以需要隊(duì)伍自己去標(biāo)注訓(xùn)練集，所以我花點(diǎn)時(shí)間開發(fā)了一些圖像標(biāo)注小工具給我的團(tuán)隊(duì)使用，以減輕標(biāo)注的難度，加快標(biāo)注的速度。

這篇文章我將分享三個(gè)標(biāo)注小工具，分別用于圖像分類、目標(biāo)檢測以及語義分割的圖像標(biāo)注任務(wù)。

圖像分類標(biāo)注小工具

實(shí)現(xiàn)圖像分類的小工具太好開發(fā)了，因?yàn)樗δ芎芎唵?#xff0c;無非是對一個(gè)文件夾內(nèi)的所有圖片進(jìn)行分類，生成每張圖片所對應(yīng)的類別標(biāo)簽，用txt文件存儲起來，當(dāng)然也可以把每一類圖片放在對應(yīng)的該類的文件夾下。

我實(shí)現(xiàn)的這個(gè)圖像分類小工具的功能就是，循環(huán)彈出一個(gè)文件夾內(nèi)所有的圖片，標(biāo)注人員對這張圖片進(jìn)行分類，屬于1類就按1，屬于2類就按2，如此類推，按完相應(yīng)號碼后圖片自動跳到下一張，直至文件夾內(nèi)的圖片都被標(biāo)注完畢。

我們以下面的圖庫為例，將其分為3類。

首先我們需要?jiǎng)?chuàng)建相應(yīng)的文件夾來存儲每個(gè)類的圖片

圖像分類標(biāo)注小工具代碼：

#include "opencv2/imgproc.hpp" #include "opencv2/highgui.hpp" #include <iostream>#define DATA_DIR ".\\dataset\\" #define IMG_MAX_NUM 20using namespace cv; using namespace std;int main() {FILE* fp;FILE* fp_result;fp = fopen("start.txt", "r"); //讀取開始的圖片名字，方便從某一圖片開始標(biāo)注int start_i = 0;fscanf(fp, "%d", &start_i);fclose(fp);fp_result = fopen("classify_record.txt", "a+"); //用于記錄每張圖每個(gè)框的標(biāo)注信息printf("start_i: %d\n", start_i);/*循環(huán)讀取圖片來標(biāo)注*/for (int i = start_i; i < IMG_MAX_NUM; i++){stringstream ss1,ss2,ss3;ss1 << DATA_DIR <<"data\\"<< i << ".jpg";ss3 << i << ".jpg";Mat src = imread(ss1.str());if (src.empty()){continue;}printf("正在操作的圖像: %s\n", string(ss1.str()).c_str());imshow("標(biāo)注", src);char c = 0;c = waitKey(0);while ( c != '1' && c != '2' && c != '3') {c = waitKey(0);printf("invaid input!\n");}ss2 << DATA_DIR << c << "\\" << i << ".jpg";char type = c - '0';printf("分類為: %d\n", c - '0'); imwrite(ss2.str(), src); //copy一份到對應(yīng)類別的文件夾fprintf(fp_result, "%s %d\n", string(ss3.str()).c_str(), type);}fclose(fp_result);return 0; }

利用工具進(jìn)行標(biāo)注

每一類圖片被分到相應(yīng)的文件夾內(nèi)

同時(shí)也生成標(biāo)簽文件，每行以圖片路徑+對應(yīng)的類別的方式呈現(xiàn)。

目標(biāo)檢測圖像標(biāo)注小工具

在目標(biāo)檢測相關(guān)的網(wǎng)絡(luò)訓(xùn)練中，我們需要有帶有以下標(biāo)簽的數(shù)據(jù)集：

我們做標(biāo)注時(shí)不僅僅要把我們想要識別的物體用矩形框?qū)⑵淇虺鰜?#xff0c;還需要記錄這個(gè)框的相關(guān)信息，比如這個(gè)框的左頂點(diǎn)坐標(biāo)、寬度高度等（x,y,w,h)。為了能實(shí)現(xiàn)這個(gè)標(biāo)注任務(wù)，這個(gè)標(biāo)注小工具必須具備框圖和自動記錄（x,y,w,h)信息的功能。

利用opencv我們可以快速實(shí)現(xiàn)用矩形框框出對應(yīng)物體的功能，再加上將每個(gè)矩形框的信息有序記錄在txt文件的功能，一個(gè)用于檢測圖像標(biāo)注小工具就算開發(fā)好了。

目標(biāo)檢測圖像標(biāo)注小工具代碼：

#include "opencv2/imgproc.hpp" #include "opencv2/highgui.hpp" #include <iostream>#define DATA_DIR ".\\cut256\\" #define IM_ROWS 5106 #define IM_COLS 15106 #define ROI_SIZE 256using namespace cv; using namespace std;Point ptL, ptR; //鼠標(biāo)畫出矩形框的起點(diǎn)和終點(diǎn),矩形的左下角和右下角 Mat imageSource, imageSourceCopy; FILE* fp_result;struct UserData {Mat src;vector<Rect> rect; };void OnMouse(int event, int x, int y, int flag, void *dp) {UserData *d = (UserData *)dp;imageSourceCopy = imageSource.clone();if (event == CV_EVENT_LBUTTONDOWN) //按下鼠標(biāo)右鍵，即拖動開始{ptL = Point(x, y);ptR = Point(x, y);}if (flag == CV_EVENT_FLAG_LBUTTON) //拖拽鼠標(biāo)右鍵，即拖動進(jìn)行{ptR = Point(x, y);imageSourceCopy = imageSource.clone();rectangle(imageSourceCopy, ptL, ptR, Scalar(0, 255, 0));imshow("標(biāo)注", imageSourceCopy);}if (event == CV_EVENT_LBUTTONUP) //拖動結(jié)束{if (ptL != ptR){rectangle(imageSourceCopy, ptL, ptR, Scalar(0, 255, 0));imshow("標(biāo)注", imageSourceCopy);int h = ptR.y - ptL.y;int w = ptR.x - ptL.x;printf("選擇的信息區(qū)域是:x:%d y:%d w:%d h:%d\n", ptL.x, ptL.y, w, h);d->rect.push_back(Rect(ptL.x, ptL.y, w, h));//d->src(imageSourceCopy);}}//點(diǎn)擊右鍵刪除一個(gè)矩形if (event == CV_EVENT_RBUTTONDOWN){if (d->rect.size() > 0){Rect temp = d->rect.back();printf("刪除的信息區(qū)域是:x:%d y:%d w:%d h:%d\n", temp.x, temp.y, temp.width, temp.height);d->rect.pop_back();for (int i = 0; i < d->rect.size(); i++){rectangle(imageSourceCopy, d->rect[i], Scalar(0, 255, 0), 1);}}}}void DrawArea(Mat& src, string img_name, string path_name) {Mat img = src.clone();char c = 'x';UserData d;d.src = img.clone();while (c != 'n'){Mat backup = src.clone();imageSource = img.clone();namedWindow("標(biāo)注", 1);imshow("標(biāo)注", imageSource);setMouseCallback("標(biāo)注", OnMouse, &d);c = waitKey(0);if (c == 'a'){printf("rect size: %d\n", d.rect.size());for (int i = 0; i < d.rect.size(); i++){rectangle(backup, d.rect[i], Scalar(0, 255, 0), 1);}img = backup.clone();}}fprintf(fp_result, "%s\n", img_name.c_str());fprintf(fp_result, "%d\n", d.rect.size());for (int i = 0; i < d.rect.size(); i++){Rect t = d.rect[i];fprintf(fp_result, "%d %d %d %d\n", t.x, t.y, t.width, t.height);}imwrite(path_name, img);} int main() {FILE* fp;fp = fopen("start.txt", "r");int start_i = 0;int start_j = 0;fscanf(fp, "%d %d", &start_i, &start_j);fclose(fp);fp_result = fopen("record.txt", "a+");printf("start_i: %d, start_j: %d\n", start_i, start_j);/*循環(huán)讀取圖片來標(biāo)注*/for (int i = start_i; i< IM_ROWS / ROI_SIZE + 1; i++){for (int j = start_j; j<IM_COLS / ROI_SIZE; j++){stringstream ss1, ss2;ss1 << DATA_DIR << "2017\\" << i << "_" << j << "_" << ROI_SIZE << "_.jpg";ss2 << DATA_DIR << "label_img\\" << i << "_" << j << "_" << ROI_SIZE << "_.jpg";cout << ss1.str() << endl;string str(ss1.str());string str2(ss2.str());cv::Mat src = cv::imread(ss1.str());DrawArea(src, str,str2);}}fclose(fp_result);return 0; }

以標(biāo)注建筑物為例子吧！

然后在txt文件中可以看到我們標(biāo)記的矩形信息記錄，第一行是圖片路徑+框的個(gè)數(shù)，第二行開始是每個(gè)矩形的x,y,w,h。

語義分割圖像標(biāo)注小工具

語義分割的標(biāo)注相比上面的標(biāo)注要復(fù)雜得多，所以標(biāo)注工具開發(fā)起來也略難一點(diǎn)。

比如有這么一個(gè)任務(wù)，我們需要把圖像中的建筑物給標(biāo)注出來，生成一個(gè)mask圖。

比如這樣子

然后我們以后就可以根據(jù)這些mask圖作為label來進(jìn)行語義分割網(wǎng)絡(luò)的訓(xùn)練了。

實(shí)現(xiàn)這么一個(gè)工具還是不算太復(fù)雜，主要功能的實(shí)現(xiàn)就在于使用了opencv的多邊形的生成與填充函數(shù)。標(biāo)注人員只需要在要標(biāo)注的物體邊緣打點(diǎn)，然后工具就會自動填充該區(qū)域，進(jìn)而生成黑白mask圖。

#include <iostream> #include <sstream> #include <vector> #include <opencv2/opencv.hpp> using namespace std;#define DATA_DIR ".\\cut256\\"#define IM_ROWS 5106 #define IM_COLS 15106 #define ROI_SIZE 256 struct UserData {cv::Mat src;vector<cv::Point> pts; };FILE* fpts_set;void on_mouse(int event, int x, int y, int flags, void *dp) {UserData *d = (UserData *)dp;if (event == CV_EVENT_LBUTTONDOWN){d->pts.push_back(cv::Point(x, y));}if (event == CV_EVENT_RBUTTONDOWN){if (d->pts.size()>0)d->pts.pop_back();}cv::Mat temp = d->src.clone();if (d->pts.size()>2){const cv::Point* ppt[1] = { &d->pts[0] };int npt[] = { static_cast<int>(d->pts.size()) };cv::fillPoly(temp, ppt, npt, 1, cv::Scalar(0, 0, 255), 16);}for (int i = 0; i<d->pts.size(); i++){cv::circle(temp, d->pts[i], 1, cv::Scalar(0, 0, 255), 1, 16);}cv::circle(temp, cv::Point(x, y), 1, cv::Scalar(0, 255, 0), 1, 16);cv::imshow("2017", temp);}void WriteTxT(vector<cv::Point>& pst) {for (int i = 0; i < pst.size(); i++){fprintf(fpts_set, "%d %d", pst[i].x, pst[i].y);if (i == pst.size() - 1){fprintf(fpts_set, "\n");}else{fprintf(fpts_set, " ");}} }int label_img(cv::Mat &src, cv::Mat &mask, string& name) {char c = 'x';vector<vector<cv::Point> > poly_point_set;while (c != 'n'){UserData d;d.src = src.clone();cv::namedWindow("2017", 1);cv::setMouseCallback("2017", on_mouse, &d);cv::imshow("2017", src);c = cv::waitKey(0);if (c == 'a'){if (d.pts.size()>0){const cv::Point* ppt[1] = { &d.pts[0] };int npt[] = { static_cast<int>(d.pts.size()) };cv::fillPoly(src, ppt, npt, 1, cv::Scalar(0, 0, 255), 16);cv::fillPoly(mask, ppt, npt, 1, cv::Scalar(255), 16);poly_point_set.push_back(d.pts);}}}fprintf(stdout, "%s %d\n", name.c_str(), poly_point_set.size());fprintf(fpts_set, "%s %d\n", name.c_str(), poly_point_set.size());//將點(diǎn)集寫入文件for (int i = 0; i < poly_point_set.size(); i++){WriteTxT(poly_point_set[i]);}return 0; } int main() {FILE* fp;fp = fopen("start.txt", "r");int start_i = 0;int start_j = 0;fscanf(fp, "%d %d", &start_i, &start_j);fclose(fp);fpts_set = fopen("semantic_label.txt", "a+");printf("start_i: %d, start_j: %d\n", start_i, start_j);for (int i = start_i; i<IM_ROWS / ROI_SIZE + 1; i++){for (int j = start_j; j<IM_COLS / ROI_SIZE; j++){stringstream ss1,ss2,ss3;cv::Mat mask(256, 256, CV_8UC1);mask.setTo(0);ss1 << DATA_DIR << "2017\\" << i << "_" << j << "_" << ROI_SIZE << "_.jpg";ss2 << DATA_DIR << "label\\" << i << "_" << j << "_" << ROI_SIZE << "_.jpg";ss3 << i << "_" << j << "_" << ROI_SIZE << "_.jpg";cout << ss1.str() << endl;cv::Mat src = cv::imread(ss1.str());label_img(src, mask, string(ss3.str()));// label based on tinycv::imwrite(ss2.str(), mask);}}fclose(fpts_set);return 0; }

所以我們可以利用這個(gè)標(biāo)注工具對任意形狀的物體進(jìn)行標(biāo)注，原理就是利用多邊形的逼近。看看效果吧

生成的mask圖

當(dāng)然我們也可以根據(jù)需求把每個(gè)標(biāo)注的每個(gè)圖形的邊緣點(diǎn)記錄下來

希望這三款小工具能給你帶來一點(diǎn)小幫助和小啟發(fā)~

總結(jié)

以上是生活随笔為你收集整理的OpenCV探索之路（二十五）：制作简易的图像标注小工具的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。