YOLO+PaddleOCR實現車牌檢測識別

本篇文章將會使用Keras-YOLOV3來訓練自己的車牌檢測的模型，結合PaddleOCR來識別車牌，最終使用OpenCV將其整體進行串聯。

技術簡介

Keras

Keras 是一個用 Python 編寫的高級神經網絡 API，它能夠以 TensorFlow, CNTK, 或者 Theano 作為后端運行。Keras 的開發重點是支持快速的實驗。能夠以最小的時延把你的想法轉換為實驗結果，是做好研究的關鍵。
Keras中文網

YOLOV3

YOLO是“You Only Look Once”的簡稱，它雖然不是最精確的算法，但在精確度和速度之間選擇的折中，效果也是相當不錯。YOLOv3借鑒了YOLOv1和YOLOv2，雖然沒有太多的創新點，但在保持YOLO家族速度的優勢的同時，提升了檢測精度，尤其對于小物體的檢測能力。YOLOv3算法使用一個單獨神經網絡作用在圖像上，將圖像劃分多個區域并且預測邊界框和每個區域的概率。
Keras-YOLOV3 GitHub地址

PaddleOCR

PaddleOCR是百度飛槳下的一款OCR工具庫，使用簡單，識別率高。
飛槳PaddleOCR官網地址

實現過程

整體的實現過程大致為，克隆Keras-YOLOV3源代碼–>下載YOLOV3預訓練權重–>將YOLOV3預訓練權重轉為Keras所需要的.h5類型的模型文件–>標注數據集–>訓練模型–>測試模型。以下將為大家詳細介紹實現過程。

環境搭建

Python環境

我這里使用的是Anaconda3，Python3.6的版本，可以在Anaconda官網上根據不同的系統環境，下載相應的軟件版本。基本上都是一鍵安裝，所以安裝過程就不在這里贅述了。
安裝完成后，可以使用

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

添加清華源，方便后面下載依賴使用。

克隆Keras-YOLOV3

Keras-YOLOV3 GitHub地址如果無法使用Github克隆的話，這里我已經將完整的Keras-YOLOV3的代碼拷貝到了Gitee上，方便大家克隆：Keras-YOLOV3 Gitee地址

git clone https://github.com/qqwweee/keras-yolo3.git

安裝所需依賴

首先我們需要進入到上一步克隆下來的keras-yolo3目錄中：

cd keras-yolo3

使用conda創建虛擬環境

conda create -n keras-yolov3 python==3.7 # 激活虛擬環境 conda activate keras-yolov3

安裝所需依賴
如果有GPU的同學請下載tensorflow-gpu的版本

pip install tensorflow==1.13.1 keras==2.2 pillow opencv-python==3.4.2.17 matplotlib==2.2.2 numpy==1.16.4 pyparsing==2.4.7 'h5py<3.0.0' -i https://pypi.douban.com/simple

下載yolov3權重，轉換成.h5文件

wget https://pjreddie.com/media/files/yolov3.weights # 下載完后執行，將yolov3文件轉換成.h5文件 python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5

轉換完成后，會在model_data/下生成一個yolo.h5的文件

使用PyCharm打開

配置項目的Interpreter

選擇剛剛創建的虛擬環境，一般情況下會在anaconda3/envs目錄下，根據實際情況進行配置。

目前的目錄結構，且沒有任何報錯，如果依賴報錯，請查驗以上步驟

環境測試

在keras-yolo3跟目錄下創建一個img目錄，并放上一張自己的圖片，yolov3，目前已有檢測的對象包括：
飛機，自行車，汽車，馬，牛等等。
在這里，我放了一張馬的圖片，進行環境的測試。

在根目錄下編寫一個測試文件：yolo_test.py

from yolo import YOLO from PIL import Imageyolo = YOLO()image = Image.open('img/horse.jpeg') rel_image = yolo.detect_image(image) rel_image.show()yolo.close_session()

測試結果：
可以看到以下測試結果，檢測出了兩匹馬，并且置信度都為1，很準確。

訓練數據集

創建目錄結構

mkdir -p VOCdevkit/VOC2007/Annotations VOCdevkit/VOC2007/ImageSets/Main VOCdevkit/VOC2007/JPEGImages

準備數據集

可以在百度圖片中下載汽車并且帶有車牌的圖片，并將圖片放到VOCdevkit/VOC2007/JPEGImages目錄下。
編寫腳本對圖片數據預處理，把所有圖片的后綴改成.jpg格式，并將圖片統一轉為(416, 416)的大小格式，因為yolov3模型默認輸入的圖片尺寸為(416, 416)。
convert_img.py

import os import glob import cv2img_paths = glob.glob('VOCdevkit/VOC2007/JPEGImages/*')for (index, img_path) in enumerate(img_paths):img = cv2.imread(img_path)resize = cv2.resize(img, (416, 416), cv2.INTER_AREA)img_dir = img_path[:img_path.rindex('/') + 1]resize_img_path = '{}car_{}.jpg'.format(img_dir, index)cv2.imwrite(resize_img_path, resize)os.remove(img_path)

數據標注

使用labelImg對數據進行標注，安裝過程就不再贅述了，請自行查找。
使用快捷鍵w，快速創建選區，并填寫label的名稱

使用快捷鍵d，對標注存儲并且下一張，將標注文件保存到VOCdevkit/VOC2007/Annotations目錄下

以下數據以此類推，我這里準備了84張汽車的圖片，進行標注。

劃分數據文件

編寫腳本劃分train.txt，test.txt，val.txt數據label，只包含圖片文件名部分，8:1:1；生成完之后放到VOCdevkit\VOC2007\ImageSets\Main目錄下

import globdef gen_data_txt(data_list, file_name):with open('VOCdevkit/VOC2007/ImageSets/Main/{}'.format(file_name), 'w') as f:for data in data_list:f.write('{}\n'.format(data[data.rindex('/') + 1:data.rindex('.')]))img_paths = glob.glob('/Users/junweiwang/workerspace/keras-yolo3/VOCdevkit/VOC2007/JPEGImages/*')train_data_paths = img_paths[:int(len(img_paths) * 0.8)] test_data_paths = img_paths[len(train_data_paths):len(train_data_paths) + int((len(img_paths) - len(train_data_paths)) / 2)] val_data_paths = img_paths[len(train_data_paths) + len(test_data_paths):]gen_data_txt(train_data_paths, 'train.txt') gen_data_txt(test_data_paths, 'test.txt') gen_data_txt(val_data_paths, 'val.txt')

文件生成后，將文件末尾的空行刪掉。
運行voc_annotation.py文件注意在訓練自己的數據集時，需要將里面的classes換成自己的，例如，“classes = [“car_license”]”，其他的不需要改變。

執行完成后會在根目錄下，生成2007_train.txt，2007_test.txt，2007_val.txt三個文件，需要將文件名中的2007_部分刪除，如：

修改model_data

1.修改“根目錄下\model_data”的目錄中“coco_classes.txt、
voc_classes.txt”這兩個文件，將 car_license 類別填入進去，并且刪除其它的label。

開始訓練

由于我的機器沒有GPU，所以是租用了GPU的服務器，來訓練車牌檢測的模型。
也是我意外發現，找到了這個GPU租用服務的平臺。矩池云官網，有需要的可以看看，在此聲明，沒有任何利益關系。
在根目錄下創建logs\000目錄，用來存放訓練完成的權重文件
將model_data下的yolo.h5文件重命名為yolo_weights.h5
調整訓練參數batch_size，epochs，由于我這里的數據集只有八十多張，比較少，所以把batch_size=1，這里的epochs暫時就不做調整了。
最后執行根目錄下的train.py進行訓練，這個過程比較長，請耐心等待。

最終達到loss：13.1307–val_loss：13.5433不再下降，提前結束訓練，在logs/000目錄下有每個階段和最終的權重文件，將trained_weights_final.h5放到跟目錄的model_data中

模型測試

找一張帶有車牌的汽車圖片進行測試，需要將yolo.py文件中的model_path改為剛剛訓練好的模型。

_defaults = {"model_path": 'model_data/trained_weights_final.h5',"anchors_path": 'model_data/yolo_anchors.txt',"classes_path": 'model_data/coco_classes.txt',"score" : 0.3,"iou" : 0.45,"model_image_size" : (416, 416),"gpu_num" : 1,}

創建一個測試腳本

from yolo import YOLO from PIL import Imageyolo = YOLO()image = Image.open('img/car02.jpeg') rel_image = yolo.detect_image(image) rel_image.show()yolo.close_session()

可以看到車牌位置已經被檢測出來了，由于訓練的數據集數量有限，其檢測的置信度不是特別高。

車牌識別

車牌識別使用的是飛槳PaddleOCR。首先我們先安裝PaddleOCR的依賴。

pip install --upgrade pip -i https://pypi.douban.com/simple pip install paddlepaddle -i https://pypi.douban.com/simple pip install PaddleOCR -i https://pypi.douban.com/simple

修改一下yolo.py文件中的detect_image方法，將外接矩形框的四個點返回，以便截取車牌位置

編寫識別腳本：

from yolo import YOLO from PIL import Image from paddleocr import PaddleOCR import cv2 import numpy as npyolo = YOLO() ocr = PaddleOCR(use_angle_cls=True, lang="ch")def show(image):cv2.namedWindow('test', 0)cv2.imshow('test', image)# 0任意鍵終止窗口cv2.waitKey(0)cv2.destroyAllWindows()image = cv2.imread('img/car01.jpeg') img_copy = image.copy() detect_image = Image.fromarray(cv2.cvtColor(image, cv2.COLOR_RGB2BGR)) rel_image, (label, (left, top), (right, bottom)) = yolo.detect_image(detect_image)target_img = img_copy[top:bottom, left:right] result = ocr.ocr(target_img) print(result) show(cv2.cvtColor(np.asarray(rel_image), cv2.COLOR_RGB2BGR))yolo.close_session()

可以看到，識別的效果還是很不錯的，如果訓練的數據集更多一些，效果當然會更好，車牌的檢測也會更準確。

結語

當然也可以用PaddleOCR中的文字檢測模型來訓練車牌檢測，不過其PaddleOCR底層也有一些模型用到了YOLO，所以，在此，使用的YOLO進行車牌檢測訓練的。可以根據此流程舉一反三，通過YOLO做更多內容的檢測。
最后放上完整項目的網盤鏈接：
鏈接: https://pan.baidu.com/s/1pC3aEjBCL-74o9EbJDZtjw 提取碼: q68n

總結

以上是生活随笔為你收集整理的YOLO+PaddleOCR实现车牌检测识别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。