本人平時比較喜歡玩數獨，但比較難的數獨經常一做就是半個多小時。這學期選了一門”計算機視覺”課，課程最后要做一個項目，正好我就想能不能寫一個程序，用手機拍個照或者截個圖，放進程序里跑一下，自動就把題目識別然后解出來了，and it was so.

先來看一個opencv里自帶的數獨圖片：

程序的最終目的就是將這種圖像轉化為一個矩陣或者說二維數組，來要告訴計算機在9x9的方格中哪個位置有數字、數字是什么，就像下面的形式：

[[0 0 0 6 0 4 7 0 0][7 0 6 0 0 0 0 0 9][0 0 0 0 0 5 0 8 0][0 7 0 0 2 0 0 9 3][8 0 0 0 0 0 0 0 5][4 3 0 0 1 0 0 7 0][0 5 0 2 0 0 0 0 0][3 0 0 0 0 0 2 0 8][0 0 2 3 0 1 0 0 0]]

在這個二維數組里，用0表示要填寫的數字，用1-9表示識別出來的題目數字。

了解主要任務之后，下面就是具體的步驟了：

圖像預處理

識別邊框

圖像校正

提取數字

識別數字

計算答案

這里使用的語言及版本如下，關于開發環境的配置可以參考本人另一篇文章：

• Python 版本：3.6.3 （Anaconda 3）
• OpenCV 版本：3.3.1

第一篇文章主要講解圖像預處理部分，并給出使用 matplotlib 顯示 OpenCV 圖像的方法。

---

圖像預處理

首先是使用 cv2.imread() 函數讀取原圖片，然后使用 cv2.cvtColor() 灰度化，因為顏色信息不重要。之后是使用濾波算法進行降噪處理，因為濾波處理對于識別效果有很大影響。常用的有均值濾波、高斯濾波、中值濾波、雙邊濾波等，具體使用方法可以參考這里。本文使用高斯濾波及中值濾波，但是濾波參數不能適用于所有情況的圖像， 必須根據圖像尺寸和清晰度做調整 。

img_original = cv2.imread('./images/p1.png') img_gray = cv2.cvtColor(img_original, cv2.COLOR_BGR2GRAY) img_Blur = cv2.medianBlur(img_gray, 3) img_Blur = cv2.GaussianBlur(img_Blur, (3, 3), 0)

可以看到，Python 版本的 OpenCV 與 C++ 版本有個很大的區別，就是處理后的圖像一般作為函數的返回值（之一），而C++需要將原圖像和處理后圖像的地址作為參數傳入，這是 Python 中函數可以返回多個值的特點決定的。

此圖片在預處理階段要解決的主要問題是亮度不均衡，圖像左下角比較暗，如果直接進行二值化效果較差，對濾波后圖像取100作為閾值處理得到中間的圖像，左下部分圖像缺失；若進行自適應閾值操作，可以得到較好的效果，但左下部分線條亦有缺失：

參考 stackflow 上一位大神的方法，以圓形作為結構化元素進行閉操作，將灰度圖像除以閉操作后圖像，再進行歸一化。

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (11, 11)) close = cv2.morphologyEx(img_Blur, cv2.MORPH_CLOSE, kernel) div = np.float32(img_Blur) / close img_brightness_adjust = np.uint8(cv2.normalize(div, div, 0, 255, cv2.NORM_MINMAX))

第一句使用cv2.getStructuringElement() 獲取結構元素，可以使用橢圓、矩形、十字形三種，這里使用橢圓。第二句使用cv2.morphologyEx() 對原圖使用剛才的結構元素進行閉操作。將灰度圖像除以閉操作后圖像，但要先轉換成 float32 類型才能除，/ 運算符相當于調用numpy中的divide函數，即點除，又即每個像素點分別相除，且只保留整數部分。最后將除的結果歸一化到 [0, 255] 區間內，并轉換回 無符號8位整數（uint8） 類型。

結果如下圖，效果拔群：

下一步是二值化，OpenCV中二值化有簡單閾值、自適應閾值、Otsu’s二值化等方法，可以參考這里。簡單閾值是一種全局性的閾值，整個圖像都和這個閾值比較。而自適應閾值可以看成一種局部性的閾值，通過規定一個區域大小，比較這個點與區域大小里面像素點的平均值（或者其他特征）的大小關系確定這個像素點是屬于黑或者白。這里使用自適應閾值方法，代碼如下：

img_thresh = cv2.adaptiveThreshold(img_brightness_adjust, 255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY_INV, 11, 7)

使用 cv2.adaptiveThreshold() 函數， 其中 cv2.ADAPTIVE_THRESH_GAUSSIAN_C 代表在小區域內閾值選取為加權和，以高斯分布確定權重。cv2.THRESH_BINARY_INV 代表二值化的結果取反，為下一步形態學處理做準備。

---

使用 matplotlib 顯示 OpenCV 圖像

Matplotlib是Python中最常用的可視化工具之一，可以非常方便地創建海量類型地2D圖表和一些基本的3D圖表。也可以方便地顯示圖像。

眾所周知，OpenCV 中彩色圖像的像素是以 Bule Green Red 為順序的，也就是BGR，而普通的圖像則是采用RGB順序，因此要在其他地方（如Qt、matplotlib 中）使用 OpenCV 的彩色圖像，就必須轉換格式。

我將使用 matplotlib 顯示 OpenCV 圖像的功能寫成了一個函數：

def plotImg(img, title=""):if img.ndim == 3:b, g, r = cv2.split(img)img = cv2.merge([r, g, b])plt.imshow(img), plt.axis("off")else:plt.imshow(img, cmap='gray'), plt.axis("off")plt.title(title)plt.show()

這里先判斷輸入圖像是不是3維，即彩色圖，是的話進行轉換，不是的話作為灰度圖顯示。轉換代碼中分割再重新組合的方法，還可以使用 img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) 。注意如果灰度圖不加 cmap='gray' 這個參數，會顯示為“熱度圖”。

當然不要忘了開頭加上：

import cv2 from matplotlib import pyplot as plt

matplotlib 還可以像 MATLAB 里一樣方便的顯示多個圖像，例如這里并列顯示兩幅圖像：

def plotImgs(img1, img2):if img1.ndim == 3:b, g, r = cv2.split(img1)img1 = cv2.merge([r, g, b])plt.subplot(121), plt.imshow(img1), plt.axis("off")else:plt.subplot(121), plt.imshow(img1, cmap='gray'), plt.axis("off")if img2.ndim == 3:b, g, r = cv2.split(img2)img2 = cv2.merge([r, g, b])plt.subplot(122), plt.imshow(img2), plt.axis("off")else:plt.subplot(122), plt.imshow(img2, cmap='gray'), plt.axis("off")plt.show()

其中 plt.subplot(121) 就代表一行兩列圖像中的第一個。

編寫計算機視覺程序時可以使用上述函數將中間過程圖像顯示出來，方便觀察與調試。例如：

總結

以上是生活随笔為你收集整理的基于OpenCV及Python的数独问题识别与求解（一）图像预处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。