CTPN CRNN-Pytorch 銀行卡號識別

經過利用keras以及一些自定義函數進行數據加強, CTPN進行文字定位，CRNN進行文字識別以及Flask Web實現銀行卡號碼識別
Github地址

因爲我並非機器學習方向，完成此項目只是學校課程須要
因此文章可能只是如何開始並完成這個項目，至於深層次的原理，推薦兩篇中文博文

【OCR技術系列之五】天然場景文本檢測技術綜述（CTPN, SegLink, EAST）
【OCR技術系列之七】端到端不定長文字識別CRNN算法詳解

構建基礎運行環境

硬件設備以及部分驅動和依賴以下：
Ubuntu18.04 + CUDA 8.0.61 + GeForce GTX 960M + NVIDIA Driver 430.14 + Python3.6 + Tensorflow-gpu

NVIDIA 430.14驅動下載
CUDA 8.0下載

安裝完成後，能夠經過下面命令在你的設備中檢查

克隆源代碼，並生成Python3虛擬環境

git clone https://github.com/bay1/card-crnn-ctpn.git

python3 -m virtualenv venv

source venv/bin/activate # 激活虛擬環境

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package # 安裝項目依賴，指定清華源

配置warpctc-pytorch

項目中用到了warpctc-pytorch，須要咱們手動安裝
注意這裏的命令須要在Python虛擬環境中執行

git clone https://github.com/SeanNaren/warp-ctc.git
cd warp-ctc
mkdir build; cd build
cmake ..
make

你可能會遇到以下錯誤，這是由於你的gcc版本太高，須要低於5.0版本

/usr/local/cuda-8.0/include/host_config.h:119:2: error: #error -- unsupported GNU version! gcc versions later than 5 are not supported!
 #error -- unsupported GNU version! gcc versions later than 5 are not supported!
  ^~~~~

若是你係統中有多個gcc版本，你能夠執行下面的命令指定"gcc"命令連接的具體指令
好比我指定我係統中存在的另外一個gcc版本： gcc-4.9

sudo rm /usr/bin/gcc
sudo ln -s /usr/bin/gcc-4.9  /usr/bin/gcc

你也可能會遇到以下錯誤

/usr/bin/ld: CMakeFiles/test_gpu.dir/tests/test_gpu_generated_test_gpu.cu.o: relocation R_X86_64_32S against `.bss' can not be used when making a PIE object; recompile with -fPIC
/usr/bin/ld: 最後的鏈結失敗: 輸出不可表示的節
collect2: error: ld returned 1 exit status
CMakeFiles/test_gpu.dir/build.make:98: recipe for target 'test_gpu' failed
make[2]: *** [test_gpu] Error 1
CMakeFiles/Makefile2:146: recipe for target 'CMakeFiles/test_gpu.dir/all' failed
make[1]: *** [CMakeFiles/test_gpu.dir/all] Error 2
Makefile:129: recipe for target 'all' failed
make: *** [all] Error 2

根據報錯內容，咱們能夠直接修改目錄下的CMakeCache.txt

CMAKE_CXX_FLAGS:STRING=-fPIC # 39 行

而後咱們根據warp-ctc說明，執行下面命令

cd ../pytorch_binding
python setup.py install

此時你可能會遇到以下錯誤

src/binding.cpp:6:10: fatal error: torch/extension.h: 沒有那個文件或目錄
 #include <torch/extension.h>
          ^~~~~~~~~~~~~~~~~~~
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

根據前人的經驗，https://github.com/SeanNaren/warp-ctc/issues/101
咱們直接切換之前的版本便可

git checkout ac045b6

CTPN

文本位置定位，我直接借用的此項目以及其訓練的模型text-detection-ctpn
其實做者訓練的模型效果不算很好，不過我手裏並無模型數據，本身訓練仍是須要下載這位做者的訓練數據
因此乾脆直接使用做者訓練好的模型數據便可，能夠從下面兩種方式下載做者的ckpt file

googl drive
baidu雲

將此文件夾放到ctpn/，而後執行以下命令

cd ctpn/utils/bbox
chmod +x make.sh
./make.sh

PS： 若是你想要本身訓練CTPN模型數據，你能夠執行ctpn文件夾下的train.py文件

其中text-detection-ctpn只是針對文本進行位置的定位
而咱們針對銀行卡號進行具體定位，因此仍是須要進行一些自定義的處理
個人思路是對選取出來的全部Box進行長寬的計算，而後根據長寬的比例來進行截取卡號區域
固然這種效果的前提是，咱們可以將卡號部分檢測出來，不過這樣實現的效果仍是至關不錯的

def get_wh(box_coordinate):
    """
    計算box座標寬高
    box格式： [xmin, ymin, xmax, ymin, xmax, ymax, xmin, ymax, score]
    """
    xmin = box_coordinate[0]
    xmax = box_coordinate[2]
    ymin = box_coordinate[1]
    ymax = box_coordinate[5]
    width = xmax - xmin
    height = ymax - ymin
    return width, height

CRNN

此時須要回到項目根目錄，首先對我獲得的圖片數據進行簡單的處理
即將原始圖片數據，即data/images的圖片，轉化爲生成lmdb須要的形式

python crnn/handle_images.py # 後續優化後，在此命令前須要執行數據加強

圖片路徑以及正確標籤文本:

• crnn/to_lmdb/train.txt
• crnn/to_lmdb/test.txt

處理後的圖片新路徑:

• crnn/to_lmdb/train_images
• crnn/to_lmdb/test_images

而後咱們就須要將咱們手中的數據轉換成train所須要的lmdb文件
執行下面命令

python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/train_images -l crnn/to_lmdb/train.txt -s crnn/to_lmdb/train_lmdb/
python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/test_images -l crnn/to_lmdb/test.txt -s crnn/to_lmdb/test_lmdb/

生成的lmdb文件目錄:

• crnn/to_lmdb/train_lmdb
• crnn/to_lmdb/test_lmdb

這時候咱們就能夠具體訓練咱們手中的數據

python crnn/train.py

模型保存目錄: crnn/expr

自定義參數

這個項目有各類自定義的數據目錄，以及訓練模型的參數
若是你想修改這些參數或者數據路徑,你能夠到下面兩個文件中

• ctpn/params.py
• crnn/params.py

其中crnn訓練模型的參數詳解

--random_sample      是否使用隨機採樣器對數據集進行採樣, action='store_true'
--keep_ratio         設置圖片保持橫縱比縮放, action='store_true'
--adam               使用adma優化器, action='store_true'
--adadelta           使用adadelta優化器, action='store_true'
--saveInterval       設置多少次迭代保存一次模型
--valInterval        設置多少次迭代驗證一次
--n_test_disp        每次驗證顯示的個數
--displayInterval    設置多少次迭代顯示一次
--experiment         模型保存目錄
--alphabet           設置檢測分類
--crnn               選擇預訓練模型
--beta1            
--lr                 學習率
--niter              訓練回合數
--nh                 LSTM隱藏層數
--imgW               圖片寬度
--imgH               圖片高度, default=32
--batchSize          設置batchSize大小, default=64
--workers            工做核數, default=2
--trainroot          訓練集路徑
--valroot            驗證集路徑
--cuda               使用GPU, action='store_true'

可視化

訓練CRNN完成以後，crnn測試加載模型路徑默認是: crnn/trained_models/crnn_Rec_done.pth
即咱們須要把咱們訓練好的模型重命名放到這個目錄
而後咱們就能夠在項目根目錄執行以下命令

python run.py

瀏覽器打開連接：http://127.0.0.1:5000

效果展現

這是本地迭代了300次的效果,有待繼續改進

測試集圖片, 識別其中的一張銀行卡號

後續

數據加強

百度百科-數據加強
深度學習與計算機視覺(PB-02)-數據加強

數據加強模塊，將數據集中的每一張圖片使用數據加強方式拓展爲n張圖片(n,設置crnn/params.py中的total_num)
這樣作的好處還能夠爲以後的圖像識別訓練提供充足的數據樣本

而咱們要作的目的是識別銀行卡卡號，對於現有數據和實際識別中卡號的樣式
我的認爲，咱們須要作的數據加強方式不該該包括角度旋轉，水平翻轉，大幅度平移
同時銀行卡較不容易識別的是帶有複雜背景圖的卡面，因此雜色，噪點的增長是必要的
因此在keras的基礎上咱們自定義一些其餘函數

完成上述設置以後，在handle_images.py以前執行下面的命令

python crnn/augmentation.py

生成的數據文件夾以下，理論上會生成86720項(猜想是文件名重複致使)

效果

data文件夾中的測試圖片，幾乎可以識別全部的銀行卡號，預估測試正確率達85%+
訓練過程當中170屢次迭代的acc，最高升至0.77

colab google免費訓練

後來發現了，google提供的一種免費線上訓練網站，GPU環境是K80配置，速度比本地快多了
並且能夠省去不少配置環境的麻煩，這種線上環境的cuda版本是10.0，仍是須要進行稍微調整
首先咱們在colab中添加以下的單元格

!git clone https://github.com/bay1/card-crnn-ctpn.git
  
%cd /content/card-crnn-ctpn
!pip install -r requirements.txt
!pip install --upgrade tensorflow-gpu
!pip install https://download.pytorch.org/whl/cu100/torch-1.0.1.post2-cp36-cp36m-linux_x86_64.whl

!cp /content/train.py /content/card-crnn-ctpn/crnn

!python crnn/augmentation.py
!python crnn/handle_images.py
!python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/train_images -l crnn/to_lmdb/train.txt -s crnn/to_lmdb/train_lmdb/
!python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/test_images -l crnn/to_lmdb/test.txt -s crnn/to_lmdb/test_lmdb/

!python /content/card-crnn-ctpn/crnn/train.py

你可能注意到了這裏升級了tensorflow-gpu和tourch版本以適配線上環境的硬件
pytorch.org在這裏你能夠找到相應的tourch對應的cuda版本安裝方法

而後手動下載 card-crnn-ctpn/crnn/train.py 文件
因爲tourch1.0版本直接支持CTCLoss,因此咱們就不須要安裝warpctc_pytorch,修改train.py文件以下
即註釋warpctc引用的CTCLoss，直接改成torch中的CTCLoss

10 # from warpctc_pytorch import CTCLoss
158 # criterion = CTCLoss()
159 criterion = torch.nn.CTCLoss()

此時若是你想修改params.py文件，也能夠像train.py同樣修改
修改完成後上傳到目錄，在單元格代碼中添加相應的替換命令便可
最後執行代碼執行程序，享受速度

PS：
參考crnn.pytorch
why my accuracy is always 0