TensorFlow驗證碼識別

時間 2019-11-17

標籤 tensorflow 驗證碼識別简体版

原文原文鏈接

本節咱們來用TensorFlow來實現深度學習模型，用來實現驗證碼識別的過程，這裏咱們識別的驗證碼是圖形驗證碼，首先咱們會用標註好的數據來訓練一個模型，而後再用模型來實現這個驗證碼的識別。

驗證碼

首先咱們來看下驗證碼是怎樣的，這裏咱們使用Python的captcha庫來生成便可，這個庫默認是沒有安裝的，因此這裏咱們須要先安裝這個庫，另外咱們還須要安裝pillow庫，使用pip3便可：

1	pip3 install captcha pillow

安裝好以後，咱們就能夠用以下代碼來生成一個簡單的圖形驗證碼了：

12345678from captcha.image import ImageCaptchafrom PIL import Image text = '1234'image = ImageCaptcha()captcha = image.generate(text)captcha_image = Image.open(captcha)captcha_image.show()複製代碼

運行以後便會彈出一張圖片，結果以下：

能夠看到圖中的文字正是咱們所定義的text內容，這樣咱們就能夠獲得一張圖片和其對應的真實文本，這樣咱們就能夠用它來生成一批訓練數據和測試數據了。

預處理

在訓練以前確定是要進行數據預處理了，如今咱們首先定義好了要生成的驗證碼文本內容，這就至關於已經有了label了，而後咱們再用它來生成驗證碼，就能夠獲得輸入數據x了，在這裏咱們首先定義好咱們的輸入詞表，因爲大小寫字母加數字的詞表比較龐大，設想咱們用含有大小寫字母和數字的驗證碼，一個驗證碼四個字符，那麼一共能夠的組合是（26 + 26 + 10）^ 4 = 14776336種組合，這個數量訓練起來有點大，因此這裏咱們精簡一下，只使用純數字的驗證碼來訓練，這樣其組合個數就變爲10 ^ 4 = 10000種，顯然少了不少。

因此在這裏咱們先定義一個詞表和其長度變量：

123VOCAB = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']CAPTCHA_LENGTH = 4VOCAB_LENGTH = len(VOCAB)複製代碼

這裏VOCAB就是詞表的內容，即0到9這10個數字，驗證碼的字符個數即CAPTCHA_LENGTH是4，詞表長度是VOCAB的長度，即10。

接下來咱們定義一個生成驗證碼數據的方法，流程相似上文，只不過這裏咱們將返回的數據轉爲了Numpy形式的數組：

123456789101112131415from PIL import Imagefrom captcha.image import ImageCaptchaimport numpy as np def generate_captcha(captcha_text):    """ get captcha text and np array :param captcha_text: source text :return: captcha image and array """    image = ImageCaptcha()    captcha = image.generate(captcha_text)    captcha_image = Image.open(captcha)    captcha_array = np.array(captcha_image)    return captcha_array複製代碼

這樣調用此方法，咱們就能夠獲得一個Numpy數組了，這個實際上是把驗證碼轉化成了每一個像素的RGB，咱們調用一下這個方法試試：

12captcha = generate_captcha('1234')print(captcha, captcha.shape)複製代碼

內容以下：html

123456789[[[239 244 244]  [239 244 244]  [239 244 244]  ...,   ...,   [239 244 244]  [239 244 244]  [239 244 244]]] (60, 160, 3)複製代碼

能夠看到它的形狀是（60,160,3），這其實表明驗證碼圖片的高度是60，寬度是160，是60×160像素的驗證碼，每一個像素都有RGB值，因此最後一維即爲像素的RGB值。

接下來咱們須要定義label，因爲咱們須要使用深度學習模型進行訓練，因此這裏咱們的標籤數據最好使用One-Hot編碼，即若是驗證碼文本是1234，那麼應該詞表索引位置置1，總共的長度是40，咱們用程序實現一下One-Hot編碼和文本的互相轉換：

12345678910111213141516171819202122232425262728def text2vec(text):    """ text to one-hot vector :param text: source text :return: np array """    if len(text) > CAPTCHA_LENGTH:        return False    vector = np.zeros(CAPTCHA_LENGTH * VOCAB_LENGTH)    for i, c in enumerate(text):        index = i * VOCAB_LENGTH + VOCAB.index(c)        vector[index] = 1    return vector  def vec2text(vector):    """ vector to captcha text :param vector: np array :return: text """    if not isinstance(vector, np.ndarray):        vector = np.asarray(vector)    vector = np.reshape(vector, [CAPTCHA_LENGTH, -1])    text = ''    for item in vector:        text += VOCAB[np.argmax(item)]    return text複製代碼

這裏text2vec（）方法就是將真實文本轉化爲One-Hot編碼，vec2text（）方法就是將One-Hot編碼轉回真實文本。

例如這裏調用一下這兩個方法，咱們將1234文本轉換爲One-Hot編碼，而後在將其轉回來：

123vector = text2vec('1234')text = vec2text(vector)print(vector, text)複製代碼

運行結果以下：
python

1234[ 0.  1.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  1.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  1.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  1.  0.  0.  0.  0.  0.]1234複製代碼

這樣咱們就能夠實現文本到One-Hot編碼的互轉了。

接下來咱們就能夠構造一批數據了，x數據就是驗證碼的numpy數組，y數據就是驗證碼的文本的一個熱門編碼，生成內容以下：

1234567891011121314151617181920212223242526272829303132333435363738import randomfrom os.path import join, existsimport pickleimport numpy as npfrom os import makedirs DATA_LENGTH = 10000DATA_PATH = 'data' def get_random_text():    text = ''    for i in range(CAPTCHA_LENGTH):        text += random.choice(VOCAB)    return text def generate_data():    print('Generating Data...')    data_x, data_y = [], []     # generate data x and y for i in range(DATA_LENGTH): text = get_random_text() # get captcha array captcha_array = generate_captcha(text) # get vector vector = text2vec(text) data_x.append(captcha_array) data_y.append(vector) # write data to pickle if not exists(DATA_PATH): makedirs(DATA_PATH) x = np.asarray(data_x, np.float32) y = np.asarray(data_y, np.float32) with open(join(DATA_PATH, 'data.pkl'), 'wb') as f: pickle.dump(x, f) pickle.dump(y, f)複製代碼

這裏咱們定義了一個get_random_text（）方法，能夠隨機生成驗證碼文本，而後接下來再利用這個隨機生成的文原本產生對應的x，y數據，而後咱們再將數據寫入到pickle文件裏，這樣就完成了預處理的操做。

構建模型

有了數據以後，咱們就開始構建模型吧，這裏咱們仍是利用train_test_split（）方法將數據分爲三部分，訓練集，開發集，驗證集：

1234567with open('data.pkl', 'rb') as f:    data_x = pickle.load(f)    data_y = pickle.load(f)    return standardize(data_x), data_y train_x, test_x, train_y, test_y = train_test_split(data_x, data_y, test_size=0.4, random_state=40)dev_x, test_x, dev_y, test_y, = train_test_split(test_x, test_y, test_size=0.5, random_state=40)複製代碼

接下來咱們使用者三個數據集構造三個數據集對象：git

123456789# train and dev datasettrain_dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y)).shuffle(10000)train_dataset = train_dataset.batch(FLAGS.train_batch_size) dev_dataset = tf.data.Dataset.from_tensor_slices((dev_x, dev_y))dev_dataset = dev_dataset.batch(FLAGS.dev_batch_size) test_dataset = tf.data.Dataset.from_tensor_slices((test_x, test_y))test_dataset = test_dataset.batch(FLAGS.test_batch_size)複製代碼

而後初始化一個迭代器，並綁定到這個數據集上：github

12345# a reinitializable iteratoriterator = tf.data.Iterator.from_structure(train_dataset.output_types, train_dataset.output_shapes)train_initializer = iterator.make_initializer(train_dataset)dev_initializer = iterator.make_initializer(dev_dataset)test_initializer = iterator.make_initializer(test_dataset)複製代碼

接下來就是關鍵的部分了，在這裏咱們使用三層卷積和兩層全鏈接網絡進行構造，在這裏爲了簡化寫法，直接使用TensorFlow的圖層模塊：

1234567891011121314151617# input Layerwith tf.variable_scope('inputs'): # x.shape = [-1, 60, 160, 3] x, y_label = iterator.get_next()keep_prob = tf.placeholder(tf.float32, [])y = tf.cast(x, tf.float32)# 3 CNN layersfor _ in range(3): y = tf.layers.conv2d(y, filters=32, kernel_size=3, padding='same', activation=tf.nn.relu) y = tf.layers.max_pooling2d(y, pool_size=2, strides=2, padding='same') # y = tf.layers.dropout(y, rate=keep_prob) # 2 dense layersy = tf.layers.flatten(y)y = tf.layers.dense(y, 1024, activation=tf.nn.relu)y = tf.layers.dropout(y, rate=keep_prob)y = tf.layers.dense(y, VOCAB_LENGTH)複製代碼

這裏卷積核大小爲3，padding使用SAME模式，激活函數使用relu。

通過全鏈接網絡變換以後，y的形狀就變成了[batch_size，n_classes]，咱們的標籤是CAPTCHA_LENGTH個One-Hot向量拼合而成的，在這裏咱們想使用交叉熵來計算，可是交叉熵計算的時候，標籤參數向量最後一維各個元素之和必須爲1，否則計算梯度的時候會出現問題。詳情參見TensorFlow的官方文檔：

https://www.tensorflow.org/api_docs/python/tf/nn/

softmax_cross_entropy_with_logits：

注：雖然這些類是互斥的，但它們的機率不必定是。

全部須要的是每行標籤是有效的機率分佈。

若是它們不是，則梯度的計算將不正確。

可是如今的標籤參數是CAPTCHA_LENGTH個One-Hot向量拼合而成，因此這裏各個元素之和爲CAPTCHA_LENGTH，因此咱們須要從新reshape一下，確保最後一維各個元素之間爲1：

1 2	y_reshape = tf.reshape(y, [-1, VOCAB_LENGTH]) y_label_reshape = tf.reshape(y_label, [-1, VOCAB_LENGTH])

這樣咱們就能夠確保最後一維是VOCAB_LENGTH長度，而它就是一個One-Hot向量，因此各元素之和一定爲1。

而後損失和準確就好計算了：

1234567# losscross_entropy = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=y_reshape, labels=y_label_reshape))# accuracymax_index_predict = tf.argmax(y_reshape, axis=-1)max_index_label = tf.argmax(y_label_reshape, axis=-1)correct_predict = tf.equal(max_index_predict, max_index_label)accuracy = tf.reduce_mean(tf.cast(correct_predict, tf.float32))複製代碼

再接下來執行訓練便可：api

12345678910111213141516171819# traintrain_op = tf.train.RMSPropOptimizer(FLAGS.learning_rate).minimize(cross_entropy, global_step=global_step)for epoch in range(FLAGS.epoch_num): tf.train.global_step(sess, global_step_tensor=global_step) # train sess.run(train_initializer) for step in range(int(train_steps)): loss, acc, gstep, _ = sess.run([cross_entropy, accuracy, global_step, train_op], feed_dict={keep_prob: FLAGS.keep_prob}) # print log if step % FLAGS.steps_per_print == 0: print('Global Step', gstep, 'Step', step, 'Train Loss', loss, 'Accuracy', acc) if epoch % FLAGS.epochs_per_dev == 0: # dev sess.run(dev_initializer) for step in range(int(dev_steps)): if step % FLAGS.steps_per_print == 0: print('Dev Accuracy', sess.run(accuracy, feed_dict={keep_prob: 1}), 'Step', step)複製代碼

在這裏咱們首先初始化train_initializer，將iterator綁定到train數據集上，而後執行train_op，得到損失，acc，gstep等結果並輸出。

訓練

運行訓練過程，結果相似以下：

12345678910...Dev Accuracy 0.9580078 Step 0Dev Accuracy 0.9472656 Step 2Dev Accuracy 0.9501953 Step 4Dev Accuracy 0.9658203 Step 6Global Step 3243 Step 0 Train Loss 1.1920928e-06 Accuracy 1.0Global Step 3245 Step 2 Train Loss 1.5497207e-06 Accuracy 1.0Global Step 3247 Step 4 Train Loss 1.1920928e-06 Accuracy 1.0Global Step 3249 Step 6 Train Loss 1.7881392e-06 Accuracy 1.0...複製代碼

驗證集準確率95％以上。

測試

訓練過程咱們還能夠每隔幾個Epoch保存一下模型：

123# save modelif epoch % FLAGS.epochs_per_save == 0: saver.save(sess, FLAGS.checkpoint_dir, global_step=gstep)複製代碼

固然也能夠取驗證集上準確率最高的模型進行保存。

驗證時咱們能夠從新刷新一下模型，而後進行驗證：

1234567891011# load modelckpt = tf.train.get_checkpoint_state('ckpt')if ckpt: saver.restore(sess, ckpt.model_checkpoint_path) print('Restore from', ckpt.model_checkpoint_path) sess.run(test_initializer) for step in range(int(test_steps)): if step % FLAGS.steps_per_print == 0: print('Test Accuracy', sess.run(accuracy, feed_dict={keep_prob: 1}), 'Step', step)else: print('No Model Found')複製代碼

驗證以後其準確率基本是差很少的。

若是要進行新的Inference的話，能夠替換下test_x便可。