tensorflow實現基於LSTM的文本分類方法
做者:u010223750html
引言
學習一段時間的tensor flow以後,想找個項目試試手,而後想起了以前在看Theano教程中的一個文本分類的實例,這個星期就用tensorflow實現了一下,感受和以前使用的theano仍是有很大的區別,有必要總結mark一下git
模型說明
這個分類的模型其實也是很簡單,主要就是一個單層的LSTM模型,固然也能夠實現多層的模型,多層的模型使用Tensorflow尤爲簡單,下面是這個模型的圖
簡單解釋一下這個圖,每一個word通過embedding以後,進入LSTM層,這裏LSTM是標準的LSTM,而後通過一個時間序列獲得的t個隱藏LSTM神經單元的向量,這些向量通過mean pooling層以後,能夠獲得一個向量h,而後緊接着是一個簡單的邏輯斯蒂迴歸層(或者一個softmax層)獲得一個類別分佈向量。
公式就不一一介紹了,由於這個實驗是使用了Tensorflow重現了Theano的實現,所以具體的公式能夠參看LSTM Networks for Sentiment Analysis這個連接。github
tensorflow實現
鄙人接觸tensor flow的時間不長,也是在慢慢摸索,可是由於有以前使用Theano的經驗,對於符號化編程也不算陌生,所以上手Tensorflow倒也容易。可是感受tensorflow仍是和theano有着不少不同的地方,這裏也會說起一下。
代碼的模型的主要以下:編程
import tensorflow as tf
import numpy as np
class RNN_Model(object):
def __init__(self,config,is_training=True):
self.keep_prob=config.keep_prob self.batch_size=tf.Variable(0,dtype=tf.int32,trainable=False) num_step=config.num_step self.input_data=tf.placeholder(tf.int32,[None,num_step]) self.target = tf.placeholder(tf.int64,[None]) self.mask_x = tf.placeholder(tf.float32,[num_step,None]) class_num=config.class_num hidden_neural_size=config.hidden_neural_size vocabulary_size=config.vocabulary_size embed_dim=config.embed_dim hidden_layer_num=config.hidden_layer_num self.new_batch_size = tf.placeholder(tf.int32,shape=[],name="new_batch_size") self._batch_size_update = tf.assign(self.batch_size,self.new_batch_size) #build LSTM network lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hidden_neural_size,forget_bias=0.0,state_is_tuple=True) if self.keep_prob<1: lstm_cell = tf.nn.rnn_cell.DropoutWrapper( lstm_cell,output_keep_prob=self.keep_prob ) cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell]*hidden_layer_num,state_is_tuple=True) self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32) #embedding layer with tf.device("/cpu:0"),tf.name_scope("embedding_layer"): embedding = tf.get_variable("embedding",[vocabulary_size,embed_dim],dtype=tf.float32) inputs=tf.nn.embedding_lookup(embedding,self.input_data) if self.keep_prob<1: inputs = tf.nn.dropout(inputs,self.keep_prob) out_put=[] state=self._initial_state with tf.variable_scope("LSTM_layer"): for time_step in range(num_step): if time_step>0: tf.get_variable_scope().reuse_variables() (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output) out_put=out_put*self.mask_x[:,:,None] with tf.name_scope("mean_pooling_layer"): out_put=tf.reduce_sum(out_put,0)/(tf.reduce_sum(self.mask_x,0)[:,None]) with tf.name_scope("Softmax_layer_and_output"): softmax_w = tf.get_variable("softmax_w",[hidden_neural_size,class_num],dtype=tf.float32) softmax_b = tf.get_variable("softmax_b",[class_num],dtype=tf.float32) self.logits = tf.matmul(out_put,softmax_w)+softmax_b with tf.name_scope("loss"): self.loss = tf.nn.sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target) self.cost = tf.reduce_mean(self.loss) with tf.name_scope("accuracy"): self.prediction = tf.argmax(self.logits,1) correct_prediction = tf.equal(self.prediction,self.target) self.correct_num=tf.reduce_sum(tf.cast(correct_prediction,tf.float32)) self.accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32),name="accuracy") #add summary loss_summary = tf.scalar_summary("loss",self.cost) #add summary accuracy_summary=tf.scalar_summary("accuracy_summary",self.accuracy) if not is_training: return self.globle_step = tf.Variable(0,name="globle_step",trainable=False) self.lr = tf.Variable(0.0,trainable=False) tvars = tf.trainable_variables() grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars), config.max_grad_norm) # Keep track of gradient values and sparsity (optional) grad_summaries = [] for g, v in zip(grads, tvars): if g is not None: grad_hist_summary = tf.histogram_summary("{}/grad/hist".format(v.name), g) sparsity_summary = tf.scalar_summary("{}/grad/sparsity".format(v.name), tf.nn.zero_fraction(g)) grad_summaries.append(grad_hist_summary) grad_summaries.append(sparsity_summary) self.grad_summaries_merged = tf.merge_summary(grad_summaries) self.summary =tf.merge_summary([loss_summary,accuracy_summary,self.grad_summaries_merged]) optimizer = tf.train.GradientDescentOptimizer(self.lr) optimizer.apply_gradients(zip(grads, tvars)) self.train_op=optimizer.apply_gradients(zip(grads, tvars)) self.new_lr = tf.placeholder(tf.float32,shape=[],name="new_learning_rate") self._lr_update = tf.assign(self.lr,self.new_lr) def assign_new_lr(self,session,lr_value): session.run(self._lr_update,feed_dict={self.new_lr:lr_value}) def assign_new_batch_size(self,session,batch_size_value): session.run(self._batch_size_update,feed_dict={self.new_batch_size:batch_size_value})
模型不復雜,也就不一一解釋了,在debug的時候,仍是入了幾個tensorflow的坑,所以想單獨說一下這幾個坑。網絡
坑1:tensor flow的LSTM實現
tensorflow是已經寫好了幾個LSTM的實現類,能夠很方便的使用,並且也能夠選擇多種類型的LSTM,包括Basic、Bi-Directional等等。
這個代碼用的是BasicLSTM:session
#build LSTM network lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hidden_neural_size,forget_bias=0.0,state_is_tuple=True) if self.keep_prob<1: lstm_cell = tf.nn.rnn_cell.DropoutWrapper( lstm_cell,output_keep_prob=self.keep_prob ) cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell]*hidden_layer_num,state_is_tuple=True) self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32) out_put=[] state=self._initial_state with tf.variable_scope("LSTM_layer"): for time_step in range(num_step): if time_step>0: tf.get_variable_scope().reuse_variables() (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output)
在這段代碼裏面,tf.nn.rnn_cell.BasicLSTMCell的初始化只須要制定LSTM神經元的隱含神經元的個數便可,而後須要初始化LSTM網絡的參數:self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32),這句代碼乍看一下很迷糊,開始並不知道是什麼意義,在實驗以及查閱源碼以後,返現這句話返回的是兩個維度是batch_size*hidden_neural_size的零向量元組,其實就是LSTM初始化的c0、h0向量,固然這裏指的是對於單層的LSTM,對於多層的,返回的是多個元組。app
坑2:這段代碼中的zero_state和循環代數num_step都須要制定
這裏比較蛋疼,這就意味着tensorflow中實現變長的狀況是要padding的,並且須要所有同樣的長度,可是由於數據集的緣由,不可能每一個batch的size都是同樣的,這裏就須要每次運行前,動態制定batch_size的大小,代碼中體現這個的是assign_new_batch_size函數,可是對於num_step參數卻不能動態指定(多是由於筆者沒找到,可是指定tf.Variable()方法確實不行),出於無奈只能將數據集所有padding成指定大小的size,固然既然使用了padding那就必須使用mask矩陣進行計算。框架
坑3:cost返回non
cost返回Non通常是由於在使用交叉熵時候,logits這一邊出現了0值,所以stack overflow上推薦的通常是:sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target)
這樣寫法函數
訓練and結果
實驗背景:
tensor flow: tensor flow 0.11
platform:mac OS
數據集:subject dataset,數據集都通過了預處理,拿到的是其在詞表中的索引
得益於tensorboard各個參數訓練過程均可以可視化,下面是實驗訓練結果:學習
訓練集訓練結果:
驗證集訓練結果
損失函數訓練過程
各個參數訓練結果:
最終在測試集上,準確度約爲85%,還不錯。
比較tensorflow和thenao
tensor flow 和 theano 是最近比較流行的深度學習框架,二者很是類似可是二者又不同,下面就我我的體驗比較下二者的異同。
-
難易程度
就使用難度而言,tensorflow的便易性要遠勝於theano,畢竟theano是一堆學者研究出來的,而tensorflow是Google研究出來的,比較面向工業化。tensor flow直接集成了學術界的不少方法,好比像RNN、LSTM等都已經被tensorflow集成了,還有好比參數更新方法如梯度降低、Adadelta等也已經被tensorflow寫好了,可是對於theano這個就得本身寫,固然難易程度不同了。
-
靈活性
就靈活性而言,theano是要賽過tensor flow的,正是由於上一點theano的門檻稍高,卻也使得theano有着更大的彈性,能夠實現本身任意定義的網絡結果,這裏不是說tensorflow不行,tensorflow也能寫,可是使用tensorflow久了以後,寫一些自定義的結構能力就會生疏許多,好比修改LSTM內的一些結構。而Theano則沒有這個約束。
- 容錯性
我我的以爲theano的容錯性是比tensor flow要高的,theano定義變量,只須要制定類型,好比imatrix、ivertor之類的而不用制定任何的維度,只要你輸入的數據和你的網絡結構圖可以對的上的話,就沒問題,而tensorflow擇須要預先指定一些參數(如上面代碼的num_step參數),相比而言,theano的容錯能力多得多,固然這樣也有壞處,那就是可能對致使代碼調試起來比較費勁兒。
代碼
本文的代碼能夠在這裏得到,轉載請註明出處。