cnn验证码识别代码_中文项目:快速识别验证码,CNN也能为爬虫保驾护航
原標題:中文項目:快速識別驗證碼,CNN也能為爬蟲保駕護航
機器之心專欄
作者:Nick Li
隨著卷積網絡的推廣,現在有各種各樣的快捷應用,例如識別驗證碼和數學公式等。本文介紹了一個便捷的驗證碼識別項目,讀者可以借助它快速訓練模型與識別驗證碼。
本項目使用卷積神經網絡識別字符型圖片驗證碼,其基于 TensorFlow 框架。它封裝了非常通用的校驗、訓練、驗證、識別和調用 API,極大地減低了識別字符型驗證碼花費的時間和精力。
項目地址:https://github.com/nickliqian/cnn_captcha
1 項目介紹
1.1 關于驗證碼識別
驗證碼識別大多是爬蟲會遇到的問題,也可以作為圖像識別的入門案例。這里介紹一下使用傳統的圖像處理和機器學習算法,它們都涉及多種技術:
圖像處理
前處理(灰度化、二值化)
圖像分割
裁剪(去邊框)
圖像濾波、降噪
去背景
顏色分離
旋轉
機器學習
KNN
SVM
使用這類方法對使用者的要求較高,且由于圖片的變化類型較多,處理的方法不夠通用,經常花費很多時間去調整處理步驟和相關算法。
而使用卷積神經網絡,只需要通過簡單的前處理,就可以實現大部分靜態字符型驗證碼的端到端識別,效果很好、通用性很高。
這里列出目前常用的驗證碼生成庫:
1.2 目錄結構
1.3 依賴項
tensorflow
flask
requests
PIL
matplotlib
pip3install tensorflow flask requests PIL matplotlib
1.4 模型結構
2 如何使用
2.1 數據集
原始數據集可以存放在./sample/origin 目錄中,為了便于處理,圖片最好以 2e8j_17322d3d4226f0b5c5a71d797d2ba7f7.jpg 格式命名(標簽_序列號. 后綴)。
2.2 配置文件
創建一個新項目前,需要自行修改相關配置文件:
圖片文件夾
sample_conf.origin_image_dir = "./sample/origin/"# 原始文件
sample_conf.train_image_dir = "./sample/train/"# 訓練集
sample_conf.test_image_dir = "./sample/test/"# 測試集
sample_conf.api_image_dir = "./sample/api/"# api接收的圖片儲存路徑
sample_conf.online_image_dir = "./sample/online/"# 從驗證碼url獲取的圖片的儲存路徑
# 模型文件夾
sample_conf.model_save_dir = "./model/"# 訓練好的模型儲存路徑
# 圖片相關參數
sample_conf.image_width = 80 # 圖片寬度
sample_conf.image_height = 40 # 圖片高度
sample_conf.max_captcha = 4 # 驗證碼字符個數
sample_conf.image_suffix = "jpg"# 圖片文件后綴
# 驗證碼字符相關參數
# 驗證碼識別結果類別
sample_conf.char_set = [ '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i',
'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z']
# 驗證碼遠程鏈接
sample_conf.remote_url = "https://www.xxxxx.com/getImg"
具體配置的作用會在使用相關腳本的過程中提到。
2.3 驗證和拆分數據集
執行下面的文件會校驗原始圖片集的尺寸和測試圖片是否能打開,并按照 19:1 的比例拆分出訓練集和測試集。所以需要分別創建和指定三個文件夾:origin,train,test 用于存放相關文件。
也可以修改為不同的目錄,但是最好修改為絕對路徑。文件夾創建好之后,執行以下命令即可:
python3verify_and_split_data.py
2.4 訓練模型
創建好訓練集和測試集之后,就可以開始訓練模型了,這里不具體介紹 tensorflow 安裝相關問題,讀者可查看官網。確保圖片相關參數和目錄設置正確后,執行以下命令開始訓練:
python3train_model.py
也可以調用類開始訓練或執行一次簡單的識別演示:
from train_model import TrainModel
from sample import sample_conf
# 導入配置
train_image_dir = sample_conf[ "train_image_dir"]
char_set = sample_conf[ "char_set"]
model_save_dir = sample_conf[ "model_save_dir"]
tm = TrainModel(train_image_dir, char_set, model_save_dir)
tm.train_cnn() # 執行訓練
tm.recognize_captcha() # 識別演示
2.5 批量驗證
使用測試集的圖片進行驗證,輸出準確率。
python3test_batch.py
也可以調用類進行驗證:
from test_batch import TestBatch
from sample import sample_conf
# 導入配置
test_image_dir = sample_conf[ "test_image_dir"]
model_save_dir = sample_conf[ "model_save_dir"]
char_set = sample_conf[ "char_set"]
total = 100 # 驗證的圖片總量
tb = TestBatch(test_image_dir, char_set, model_save_dir, total)
tb.test_batch() # 開始驗證
2.6 啟動 WebServer
項目已經封裝好加載模型和識別圖片的類,啟動 web server 后調用接口就可以使用識別服務。啟動 web server:
python3recognize_api.py
接口 url 為 http://127.0.0.1:6000/b
2.7 調用接口
使用 requests 調用接口:
url= "http://127.0.0.1:6000/b"
files= { 'image_file': (image_file_name, open( 'captcha.jpg', 'rb'), 'application')}
r= requests.post(url=url, files=files)
返回的結果是一個 json:
{
'time': '1542017705.9152594',
'value': 'jsp1',
}
文件 recognize_online.py 是使用接口在線識別的例子。
本文為機器之心專欄,轉載請聯系本公眾號獲得授權。返回搜狐,查看更多
責任編輯:
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的cnn验证码识别代码_中文项目:快速识别验证码,CNN也能为爬虫保驾护航的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql pxc测试_Mysql同步机
- 下一篇: osg动态加载模型不显示_OSG仿真案例