BI-LSTM and CRF using Keras

問題1：CUDA_ERROR_OUT_OF_MEMORY: How to activate multiple GPUs from Keras in Tensorflow

import keras.backend as K

config = K.tf.ConfigProto()
config.gpu_options.allow_growth = True
session = K.tf.Session(config=config)

讀做者的code就能瞭解數據的格式了。
在process_data.py檔案裡。

稍微解釋一下。

###原始數據###
老 B-PER
王 I-PER
很 O
喜 O
歡 O
中 B-LOC
國 I-LOC
妹 O
子 O

###要丟進LSTM的數據###
X_train應該是長這樣[0, 1, 15, 24, 65, 102, 103, 54, 63]之類的，這裡表明每個字的index。
y_train應該是長這樣 [1, 2, 0, 0, 0, 3, 4, 0, 0]之類的，表明對應到的字的NE。
最後再把每個句子作個padding就能丟進LSTM了。

至於怎麼轉換成數據序列的，就請您自行研究研究process_data.py唄！

 
配置顯存
https://www.jianshu.com/p/99fca5b7fd8a

==================================
使用預訓練詞向量
=================================

Keras 模型中使用預訓練的詞向量

Word2vec，爲一羣用來產生詞嵌入的相關模型。這些模型爲淺而雙層的神經網絡，用來訓練以從新建構語言學之詞文本。網絡以詞表現，而且需猜想相鄰位置的輸入詞，在word2vec中詞袋模型假設下，詞的順序是不重要的。訓練完成以後，word2vec模型可用來映射每一個詞到一個向量，可用來表示詞對詞之間的關係。該向量爲神經網絡之隱藏層。
https://zh.wikipedia.org/wiki/Word2vec

在這篇 在Keras模型中使用預訓練的詞向量 講述瞭如何利用預先訓練好的 GloVe 模型，本文基本大同小異。只寫一些不一樣的地方，更想的能夠看這篇文章。

整體思路就是給 Embedding 層提供一個 [ word_token : word_vector] 的詞典來初始化向量，而且標記爲不可訓練。

解析 word2vec 模型，其中：

• word2idx 保存詞語和 token 的對應關係，語料庫 tokenize 時候須要。
• embeddings_matrix 存儲全部 word2vec 中全部向量的數組，用於初始化模型 Embedding 層

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import numpy as np from gensim.models import Word2Vec model = Word2Vec.load(model_path) word2idx = {"_PAD": 0} # 初始化 `[word : token]` 字典，後期 tokenize 語料庫就是用該詞典。 vocab_list = [(k, model.wv[k]) for k, v in model.wv.vocab.items()] # 存儲全部 word2vec 中全部向量的數組，留意其中多一位，詞向量全爲 0， 用於 padding embeddings_matrix = np.zeros((len(model.wv.vocab.items()) + 1, model.vector_size)) for i in range(len(vocab_list)): word = vocab_list[i][0] word2idx[word] = i + 1 embeddings_matrix[i + 1] = vocab_list[i][1]

使用方法：

1 2 3 4 5 6 7 8

from keras.layers import Embedding EMBEDDING_DIM = 100 #詞向量維度 embedding_layer = Embedding(len(embeddings_matrix), EMBEDDING_DIM, weights=[embeddings_matrix] trainable=False)