[NLP] TextCNN模型原理和實現

1. 模型原理

1.1 論文

Yoon Kim在論文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification提出TextCNN。

將卷積神經網絡CNN應用到文本分類任務，利用多個不一樣size的kernel來提取句子中的關鍵信息（相似於多窗口大小的ngram），從而可以更好地捕捉局部相關性。

 

1.2 網絡結構

 

 TextCNN的詳細過程原理圖以下：

TextCNN詳細過程：

• Embedding：第一層是圖中最左邊的7乘5的句子矩陣，每行是詞向量，維度=5，這個能夠類比爲圖像中的原始像素點。
• Convolution：而後通過 kernel_sizes=(2,3,4) 的一維卷積層，每一個kernel_size 有兩個輸出 channel。
• MaxPolling：第三層是一個1-max pooling層，這樣不一樣長度句子通過pooling層以後都能變成定長的表示。
• FullConnection and Softmax：最後接一層全鏈接的 softmax 層，輸出每一個類別的機率。

  

通道（Channels）：

• 圖像中能夠利用 (R, G, B) 做爲不一樣channel；
• 文本的輸入的channel一般是不一樣方式的embedding方式（好比 word2vec或Glove），實踐中也有利用靜態詞向量和fine-tunning詞向量做爲不一樣channel的作法。

 

一維卷積（conv-1d）：

• 圖像是二維數據；
• 文本是一維數據，所以在TextCNN卷積用的是一維卷積（在word-level上是一維卷積；雖然文本通過詞向量表達後是二維數據，可是在embedding-level上的二維卷積沒有意義）。一維卷積帶來的問題是須要經過設計不一樣 kernel_size 的 filter 獲取不一樣寬度的視野。

 

Pooling層：

利用CNN解決文本分類問題的文章仍是不少的，好比這篇 A Convolutional Neural Network for Modelling Sentences 最有意思的輸入是在 pooling 改爲 (dynamic) k-max pooling ，pooling階段保留 k 個最大的信息，保留了全局的序列信息。

好比在情感分析場景，舉個例子：

「我以爲這個地方景色還不錯，可是人也實在太多了」

 雖然前半部分體現情感是正向的，全局文本表達的是偏負面的情感，利用 k-max pooling可以很好捕捉這類信息。

 

2. 實現

基於Keras深度學習框架的實現代碼以下：

import logging

from keras import Input
from keras.layers import Conv1D, MaxPool1D, Dense, Flatten, concatenate, Embedding
from keras.models import Model
from keras.utils import plot_model


def textcnn(max_sequence_length, max_token_num, embedding_dim, output_dim, model_img_path=None, embedding_matrix=None):
    """ TextCNN: 1. embedding layers, 2.convolution layer, 3.max-pooling, 4.softmax layer. """
    x_input = Input(shape=(max_sequence_length,))
    logging.info("x_input.shape: %s" % str(x_input.shape))  # (?, 60)

    if embedding_matrix is None:
        x_emb = Embedding(input_dim=max_token_num, output_dim=embedding_dim, input_length=max_sequence_length)(x_input)
    else:
 x_emb = Embedding(input_dim=max_token_num, output_dim=embedding_dim, input_length=max_sequence_length, weights=[embedding_matrix], trainable=True)(x_input)
    logging.info("x_emb.shape: %s" % str(x_emb.shape))  # (?, 60, 300)

    pool_output = []
    kernel_sizes = [2, 3, 4] 
    for kernel_size in kernel_sizes:
        c = Conv1D(filters=2, kernel_size=kernel_size, strides=1)(x_emb)
        p = MaxPool1D(pool_size=int(c.shape[1]))(c)
        pool_output.append(p)
        logging.info("kernel_size: %s \t c.shape: %s \t p.shape: %s" % (kernel_size, str(c.shape), str(p.shape)))
    pool_output = concatenate([p for p in pool_output])
    logging.info("pool_output.shape: %s" % str(pool_output.shape))  # (?, 1, 6)

    x_flatten = Flatten()(pool_output)  # (?, 6)
    y = Dense(output_dim, activation='softmax')(x_flatten)  # (?, 2)
    logging.info("y.shape: %s \n" % str(y.shape))

    model = Model([x_input], outputs=[y])
    if model_img_path:
        plot_model(model, to_file=model_img_path, show_shapes=True, show_layer_names=False)
    model.summary()
    return model

 

特徵：這裏用的是詞向量表示方式

• 數據量較大：能夠直接隨機初始化embeddings，而後基於語料經過訓練模型網絡來對embeddings進行更新和學習。
• 數據量較小：能夠利用外部語料來預訓練(pre-train)詞向量，而後輸入到Embedding層，用預訓練的詞向量矩陣初始化embeddings。（經過設置weights=[embedding_matrix]）。
• 靜態(static)方式：訓練過程當中再也不更新embeddings。實質上屬於遷移學習，特別是在目標領域數據量比較小的狀況下，採用靜態的詞向量效果也不錯。（經過設置trainable=False）
• 非靜態(non-static)方式：在訓練過程當中對embeddings進行更新和微調(fine tune)，能加速收斂。（經過設置trainable=True）

 

plot_model()畫出的TextCNN模型結構圖以下：

 

參考：https://zhuanlan.zhihu.com/p/25928551