場景文本識別——基於圖像序列識別的端到端可訓練神經網絡模型

時間 2019-11-06

標籤場景文本識別基於圖像序列訓練神經網絡模型简体版

原文原文鏈接

1. 背景介紹

1.1 主題介紹

因爲神經網絡的強大復興，特別是深度卷積神經網絡（DCNN）模型在各類視覺任務中的巨大成功的推進，最近大多數與深度神經網絡相關的工做主要致力於檢測或分類對象類別。基於圖像的序列識別問題一直是計算機視覺中長期存在的研究課題。本文將介紹由 Baoguang Shi 等人發表的一篇論文 An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition。在該論文中，做者研究了場景文本識別的問題，這是基於圖像的序列識別中最重要和最具備挑戰性的任務之一。相較於通常的對象識別任務，基於圖像序列識別任務中的識別對象每每是以序列的形式出現，而不是孤立地出現。所以，識別這樣的對象一般須要系統預測一系列標籤而不是單個標籤。序列對象另外一個獨特之處在於它們的長度可能發生較大的變化。 php

1.2 研究背景

對於特定的序列對象（例如場景文本），人們已經作過一些嘗試來解決此類對象的識別問題。例如，利用某種算法檢測出單個字符，而後利用訓練好的 DCNN 模型來識別檢測到的單個字符。此類方法一般須要訓練強大的字符檢測器，以便從原始單詞圖像中精確地檢測和裁剪每一個字符。另外，一些其餘方法將場景文本識別視爲圖像分類問題，爲每一個英文單詞（總共 9 萬個單詞）分配一個類標籤。運用此類方法產生的模型將有衆多的類標籤，所以很難泛化到其餘類型的序列對象。例如，中文文本、音樂配樂等序列對象擁有上百萬種類標籤，該模型很難泛化到此類序列對象。所以，基於 DCNN 的系統不能直接用於基於圖像的序列識別。循環神經網絡（RNN）模型是深度神經網絡家族中另外一個重要分支，用於處理序列問題。RNN 的一大優點是在訓練和測試的時候，不須要序列對象圖像中每個元素的位置信息。然而，將輸入圖像轉換成圖像特徵序列的預處理步驟是必須的。預處理步驟獨立於 RNN 模型的流程步驟，所以基於RNN的現有系統不能以端到端的方式進行訓練和優化。
除了深度神經網絡以外，一些傳統的場景文本識別方法也爲這一領域帶來了一些新穎的想法，而且取得了優異的表現。例如，將單詞圖像和文本字符串嵌入到公共向量子空間並將詞識別轉化爲檢索問題、利用中層特徵進行場景文本識別等方法在標準數據集上取得了有效的性能。可是此類方法與基於神經網絡的算法相比較而言，模型的表現仍是較差。
在這篇文章中，做者提出了一種將特徵提取、序列建模和轉錄整合到統一框架中的新型神經網絡模型——專門用於基於圖像的圖像序列的識別。這種神經網絡模型被稱爲卷積循環神經網絡（CRNN）模型，由於它是 DCNN 模型和 RNN 模型的組合。 html

2. 網絡結構

如圖 1 所示，CRNN模型的網絡架構由三部分組成，包括卷積層、循環層和轉錄層（由下到上）。在 CRNN 的底部，卷積層自動從每一個輸入圖像中提取特徵序列。在卷積網絡層之上，構建一個對卷積層特徵序列的每一幀進行預測的循環網絡層。在 CRNN 頂部的轉錄層將循環層輸出的幀預測轉化爲標籤序列。CRNN 模型雖然由不一樣類型的網絡架構組成，但能夠經過一個損失函數進行聯合訓練。
前端

圖 1. 網絡架構
架構包括三個部分：1）卷積層，從輸入圖像中提取特徵序列；2）循環層，預測每一幀的標籤分佈；3）轉錄層，將每一幀的預測變爲最終的標籤序列。

2.1 特徵序列提取

在 CRNN 模型中，卷積層部分由標準 CNN 模型中的卷積層和最大池化層組成。這一部分用來提取表示輸入圖片的序列特徵。在輸入到網絡以前，全部的的圖片須要被縮放到同一高度。而後，一些列的特徵向量從特徵圖譜中被提取出來。這些特徵圖譜由卷積層產生，做爲循環層的輸入。值得注意的是，每一個特徵序列的特徵向量在特徵圖譜中從左到右一列一列地產生。這意味着第 i 個特徵向量是全部特徵圖譜第 i 列向量的聯合體。在該論文中，每列的寬度被固定設置爲單個像素。
卷積、最大池化和激活函數做用在局部區域，具備平移不變性。所以，特徵圖譜的每一列與原始圖片中的一塊矩形區域對應，咱們稱之爲感覺野。這些矩形區域從左到右和特徵圖譜中的列向量一一對應。如圖 2 所示，特徵序列中的每個向量與對應的感覺野相關聯，被看作是相應區域的圖像描述符。
git

圖 2. 局部感覺野
提取出的特徵序列中的每個向量與輸入圖像中的感覺野相關聯，它們能夠被認爲是對應區域的特徵向量。
因爲具備較高的魯棒性和良好的可訓練性，深層卷積特徵已經被普遍運用於各類視覺識別任務。一些之前的方法都利用 CNN 來學習一個具備較好魯棒性的表示。然而，這些方法一般經過 CNN 提取整個圖像的所有表示，而後收集局部深度特徵來識別序列對象的每一個份量。因爲 CNN 要求將輸入圖像縮放到固定尺寸以知足其固定的輸入尺寸，因此它不適合序列對象，並且它們長度變化較大。在 CRNN 中，咱們將深度特徵傳遞到序列表示中，以便對序列對象的長度變化保持不變。

2.2 序列標記

在卷積層之上是一個深度雙向循環神經網絡來做爲循環層。循環層爲特徵序列的每一幀預測一個標籤分佈。循環層的優勢有三重。首先，RNN 具備很強的捕獲序列上下文信息的能力。因爲使用了上下文信息，基於圖像的序列識別變得更加穩定有效，相比於僅僅單獨使用每一個標誌而言。以場景文本識別爲例，較寬的字符可能須要一些連續的幀來描述。此外，在觀察完上下文信息以後，一些模糊的字符會更容易區分。例如，咱們在識別 "il" 的時候，經過對比兩個字母的高度，咱們能夠更加容易地識別出它們。其次，RNN 能夠將偏差值反向傳播到其輸入層，即卷積層。從而容許咱們在統一的網絡中共同訓練循環層和卷積層。最後，RNN 可以從頭至尾對任意長度的序列進行操做。
github

圖 3. （a）基本的 LSTM 單元結構。LSTM 包括單元模塊和三個門，即輸入門、輸出門和遺忘門；（b）論文中使用的深度雙向 LSTM 結構。合併前向和後向 LSTM 的結果到雙向 LSTM中。堆疊多個雙向 LSTM 產生一個深度雙向 LSTM 結構。
傳統 RNN 單元在其輸入和輸出層之間具備自動鏈接的隱藏層。每次接收到序列中的幀

時，它將使用非線性函數來更新其內部狀態

，該非線性函數同時接收當前輸入

和過去狀態

做爲其輸入：

。
那麼預測是基於

的。以這種方式，過去的上下文

被捕獲並用於預測。然而，傳統的 RNN 單元有梯度消失的問題，這限制了其可存儲的上下文範圍，而且給訓練過程增長了負擔。長短時間記憶網絡（LSTM）是一種專門設計用於解決梯度消失問題的 RNN單元。LSTM 由一個存儲單元和三個門組成，即輸入門、輸出門和遺忘門。在概念上，存儲單元存儲過去的上下文，而且輸入門和輸出門容許其長時間存儲。同時，存儲單元中的存儲內容能夠被遺忘門清除。LSTM 的特殊設計容許它捕獲長距離依賴，這常常發生在基於圖像的序列中。
LSTM 是定向的，它只使用過去的上下文。在基於圖像的序列中，兩個方向的上下文是互補的。所以，咱們將兩個不一樣方向的 LSTM 組合到一個雙向 LSTM 中。此外，能夠將多個雙向 LSTM 堆疊起來，獲得圖 3.b 所示的雙向 LSTM。深層結構容許相比淺層結構可以獲得一個更高層次的抽象，而且在語音識別任務中取得顯著的性能改進。
在循環層中，偏差在圖 3.b 所示箭頭的相反方向傳播，即基於時間的反向傳播（BPTT）。在循環層的底部，傳播的微分序列被鏈接成圖譜，反轉了將特徵圖譜轉換爲特徵序列的操做，而且被反饋至卷積層。實際上，咱們建立了一個稱爲「 Map-to-Sequence」的自定義網絡層，做爲卷積層和循環層之間的橋樑。

2.3 轉錄

轉錄是將 RNN 所作的每幀預測轉換成標籤序列的過程。數學上，轉錄是根據每幀預測找到具備最高几率的標籤序列。在實踐中，存在兩種轉錄模式，即無詞典轉錄和基於詞典的轉錄。詞典是一組標籤序列，預測時會受到拼寫檢查字典約束。在無詞典模式中，預測時沒有任何詞典。在基於詞典的模式中，經過選擇具備最高几率的標籤序列進行預測。算法

2.3.1 標籤序列的機率

咱們採用 Graves 等人提出的聯接時間分類（CTC**）**層中的條件機率。標籤序列網絡

的機率由每一幀的預測結構決定

，而且忽略

** **中每一個標籤所在的位置。所以，當咱們使用這種機率的負對數做爲訓練網絡的目標函數的時候，咱們只須要圖像及其相應的標籤序列，避免了標註單個字符位置的勞動。
標籤序列的條件機率公式以下：

，（1）
其中

是輸入序列，

是序列長度，

表示將序列

映射爲

的映射；

的機率定義爲

，

是在時間戳

時有標籤

的機率。

2.3.2 無詞典轉錄

在無詞典轉錄的模式下，序列數據結構

出現的機率做爲預測，正如式（1）所示。因爲找不到精確解的可行方法，做者在論文中使用 最大似然估計的方法來肯定機率最大的標籤序列。序列

經過

近似發現，即在每一個時間戳

採用最大機率的標籤

，並將結果序列映射到

。

2.3.3 基於詞典的轉錄

在基於詞典的模式中，每一個測試採樣與詞典相關聯。基本上，標籤序列被識別爲由等式（1）所定義的機率最大的標籤序列。機率最大時，對應的標籤序列爲架構

(2) 。
然而，對於大型詞進行搜索並選擇機率最高的一個序列是很是耗時的。爲了解決這個問題，咱們發現經過無詞典轉錄預測的標籤序列在編輯距離度量下是很是接近真實結果的。所以，咱們能夠在由無詞典轉錄預測的標籤序列的最大編輯距離的範圍內搜索最近鄰近候選目標。
經過** BK 樹**數據結構，咱們能夠有效地找到候選目標，這是一種適用於離散度量空間的度量樹。BK 樹的搜索時間複雜度爲

，其中 |D| 詞典大小。在該論文中，做者爲每個離線詞典構造一個 BK 樹。而後，使用 BK 樹執行快速在線搜索來找到小於或等於編輯距離

的序列。

2.4 網絡訓練

數據集 app

表示訓練集，

是訓練圖像，

是真實的標籤序列。網絡訓練的目標就是最小化真實條件機率的負似然對數：

（3）。

是循環層和卷積層從

生成的序列，目標函數直接從圖像和真實標籤序列計算代價函數。所以，網絡能夠在成對的圖像和序列上進行 端對端訓練，去除了在訓練圖像中手動標記全部單獨組件的過程。
網絡使用隨機梯度降低（SGD）進行訓練，梯度由反向傳播算法進行計算。爲了優化，咱們使用 ADADELTA** **自動計算每一維的學習率。與傳統的動量方法相比，ADADELTA 不須要手動設置學習率。更重要的是， ADADELTA的優化收斂速度比動量方法更快。

3. 實驗

爲了評估 CRNN 模型的有效性，做者在場景文本識別和曲譜識別的標準基數據集上進行了實驗。數據集和訓練測試的設置見 3.1 小節，場景文本圖像中 CRNN 的詳細設置見 3.2 小節，綜合比較的結果在 3.3 小節報告。爲了進一步驗證該模型的泛化性，在 3.4 小節中做者用曲譜識別任務做出了驗證。

3.1 數據集

在本論文中，做者使用 Jaderberg 等人發佈的合成數據集做爲訓練數據。數據集包含八百萬訓練圖像及其對應的實際單詞。使用四個流行的基準數據集做爲模型的性能評估，即 ICDAR 2003（IC03）、ICDAR 2013（IC13）、IIIT 5k-word （IIIT5k）和 Street View Text（SVT）。CRNN 模型雖然是在純合成文本數據上進行訓練的，可是它在標準文本識別數據集上的表現良好。

3.2 實現細節

在實驗中，做者使用的網絡配置總結在表 1 中，卷積層的架構是基於 VGG 的架構。爲了使其適用於識別英文文本，對相應網絡層進行了調整：在第 3 和第 4 個最大池化層中，採用的是 1*2 的矩形池化窗口。這種調整產生寬度較大的特徵圖，所以具備更長的特徵序列。最重要的是，矩形池窗口產生矩形感覺野（如圖 2 所示），這有助於識別一些具備窄形狀的字符。
網絡不只有深度卷積層，並且還有循環層。兩種網絡結構都難以訓練，做者在第 5 和第 6 個卷積層以後插入兩個批歸一化層，能夠大大加快網絡的訓練速度。

**表 1. **網絡配置結構

3.3 比較評估

提出的 CRNN 模型及其餘一些算法在上述四個公共數據集上得到的全部識別精度如表 2 所示。在有約束詞典的狀況中，該模型的方法始終優於大多數最新的方法。而且 CRNN 不限於識別已知詞典中的單詞，而且可以處理隨機字符串、句子或其餘諸如中文單詞的腳本。所以，CRNN 的結果在全部的測試集上都具備競爭力。在無約束詞典的狀況下，該模型在 SVT 上取得了最佳性能，但在 IC03 和 IC13 上仍落後於一些方法。表 2 中，"None" 列空白表示該方法不能用於無約束詞典的狀況。

**表 2. **準確率評估

3.4 曲譜識別

曲譜一般由排列在五線譜的音符序列組成。識別圖像中的曲譜被稱爲光學音樂識別（OMR）問題。之前的方法一般須要圖像預處理（主要是二值化），五線譜檢測和單個音符識別。做者將 OMR 做爲序列識別問題，直接用CRNN 從圖像中預測音符的序列。
爲了準備 CRNN 所需的訓練數據，做者收集了 2650 張圖像。每一個圖像中有一個包含 3 到 20 個音符的曲譜片斷。而且手動標記全部圖像的真實標籤序列。收集到的圖像經過旋轉，縮放和用噪聲損壞加強到了265k個訓練樣本，並用天然圖像替換它們的背景。對於測試，做者建立了圖4 所示的三個數據集。

圖4. a) 收集到的乾淨曲譜圖像；b) 合成的曲譜圖像；c) 手機拍攝的現實世界中的曲譜圖像
實驗代表，CRNN ，模型優於兩個商業系統——Capella Scan 和 PhotoScore 系統。另外一方面，CRNN 模型使用對噪聲和扭曲具備魯棒性的 卷積特徵。此外，CRNN 中的 循環層能夠利用曲譜中的上下文信息。每一個音符不只自身被識別，並且被附近的音符識別。所以，經過將一些音符與附近的音符進行比較從而能夠識別它們。

表3. OMR 實驗比較
實驗結果顯示了 CRNN 的泛化性，由於它能夠很容易地應用於其餘的基於圖像的序列識別問題，須要極少的領域知識。它爲 OMR 提供了一個新的方案，而且在音高識別方面表現出極大的潛力。

4. 總結

在本文中，咱們提出了一種新穎的神經網絡架構，稱爲卷積循環神經網絡（CRNN），其集成了卷積神經網絡（CNN）和循環神經網絡（RNN）的優勢。CRNN 可以獲取不一樣尺寸的輸入圖像，併產生不一樣長度的預測。它直接在粗粒度的標籤（例如單詞）上運行，在訓練階段不須要詳細標註每個單獨的元素（例如字符）。此外，因爲CRNN放棄了傳統神經網絡中使用的全鏈接層，所以獲得了更加緊湊和高效的模型。此外，CRNN 在光學音樂識別（OMR）的基準數據集上顯著優於其它的競爭者，這驗證了 CRNN 的泛化性。
實際上，CRNN 是一個通用框架，所以能夠應用於其它的涉及圖像序列預測的領域和問題（如漢字識別）。進一步加快CRNN，使其在現實應用中更加實用，是將來值得探索的另外一個方向。該模型在 Mo 平臺上有實現，你們能夠搜索場景文本識別找到。
項目源碼地址：momodel.cn/workspace/5…