bert+seq2seq 周公解夢，看AI如何解析你的夢境？

本文代碼: github.com/saiwaiyanyu…

介紹

在參與的項目和產品中，涉及到模型和算法的需求，主要以天然語言處理（NLP）和知識圖譜（KG）爲主。NLP涉及面太廣，而聚焦在具體場景下，想要生產落地的還須要花不少功夫。

做爲NLP的主要方向，情感分析，文本多分類，實體識別等已經在項目中獲得應用。例如

• 經過實體識別，抽取文本中說起到的公司、我的以及金融產品等。
• 經過情感分析，判別新聞資訊，對其提到的公司和我的是否利好？
• 經過文本多分類，判斷資訊是不是高質量？判斷資訊的行業和主題？

具體詳情再找時間分享。而文本生成、序列到序列（Sequence to Sequence）在機器翻譯、問答系統、聊天機器人中有較廣的應用，在參與的項目中暫無涉及，本文主要經過tensorflow+bert+seq2seq實現一個簡單的問答模型，旨在對seq2seq的瞭解和熟悉。

數據

關於seq2seq的demo數據有不少，例如小黃雞聊天語料庫，影視語料庫，翻譯語料庫等等。因爲最近老是作些奇怪的夢，便想着，作一個AI解夢的應用玩玩，just for fun。

經過採集從網上採集周公解夢數據，經過清洗，造成

• dream:夢境；
• decode:夢境解析結果。

這樣的序列對，總計33000+ 條記錄。數據集

{
    "dream": "夢見商人或富翁",
    "decode": "是個幸運的預兆，將來本身的事業頗有機會成功，不過若是夢中的富翁是本身，則是一個凶兆。。"
}
複製代碼

模型準備

bert

下載 bert

$ git clone https://github.com/google-research/bert.git
複製代碼

下載中文預訓練模型

$ wget -c https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
$ unzip chinese_L-12_H-768_A-12.zip 
複製代碼

bert + seq2seq

bert 的input:

self.input_ids = tf.placeholder(
    dtype=tf.int32,
    shape=[None, None],
    name="input_ids"
)
self.input_mask = tf.placeholder(
    dtype=tf.int32,
    shape=[None, None],
    name="input_mask"
)
self.segment_ids = tf.placeholder(
    dtype=tf.int32,
    shape=[None, None],
    name="segment_ids"
)
self.dropout = tf.placeholder(
    dtype=tf.float32,
    shape=None,
    name="dropout"
)

複製代碼

bert 的model :

self.bert_config = modeling.BertConfig.from_json_file(bert_config)
    model = modeling.BertModel(
        config=self.bert_config,
        is_training=self.is_training,
        input_ids=self.input_ids,
        input_mask=self.input_mask,
        token_type_ids=self.segment_ids,
        use_one_hot_embeddings=False
    )
複製代碼

seq2seq 的encoder_embedding 替換:

# 默認seq2seq model_inputs
# self.encoder_embedding = tf.Variable(tf.random_uniform([from_dict_size, embedded_size], -1, 1),name ="encoder_embedding")
# self.model_inputs = tf.nn.embedding_lookup(self.encoder_embedding, self.X),
# 替換成bert
self.embedded = model.get_sequence_output()
self.model_inputs = tf.nn.dropout(self.embedded, self.dropout)
複製代碼

seq2seq 的decoder_embedding 替換:

# 默認seq2seq decoder_embedding
# self.decoder_embedding = tf.Variable(tf.random_uniform([to_dict_size, embedded_size], -1, 1),name="decoder_embedding")
# 替換成bert
self.decoder_embedding = model.get_embedding_table()
self.decoder_input = tf.nn.embedding_lookup(self.decoder_embedding, decoder_input),
複製代碼

數據預處理

for i in range(len(inputs)):
    tokens = inputs[i]
    inputs_ids = model.tokenizer.convert_tokens_to_ids(inputs[i])
    segment_ids = [0] * len(inputs_ids)
    input_mask = [1] * len(inputs_ids)
    tag_ids = model.tokenizer.convert_tokens_to_ids(outputs[i])
    data.append([tokens, tag_ids, inputs_ids, segment_ids, input_mask])
    

def pad_data(data):
    c_data = copy.deepcopy(data)
    max_x_length = max([len(i[0]) for i in c_data])
    max_y_length = max([len(i[1]) for i in c_data]) 
    # 這裏生成的序列的tag-id 和 input-id 長度要分開
    # print("max_x_length : {} ,max_y_length : {}".format( max_x_length,max_y_length))
    padded_data = []
    for i in c_data:
        tokens, tag_ids, inputs_ids, segment_ids, input_mask = i
        tag_ids = tag_ids + (max_y_length - len(tag_ids)) * [0]
        # 注意tag-ids 的長度補充，和預測的序列長度一致。
        inputs_ids = inputs_ids + (max_x_length - len(inputs_ids)) * [0]
        segment_ids = segment_ids + (max_x_length - len(segment_ids)) * [0]
        input_mask = input_mask + (max_x_length - len(input_mask)) * [0]
        assert len(inputs_ids) == len(segment_ids) == len(input_mask)
        padded_data.append(
            [tokens, tag_ids, inputs_ids, segment_ids, input_mask]
        )
    return padded_data

複製代碼

訓練

$ python3 model.py --task=train \
    --is_training=True \
    --epoch=100 \
    --size_layer=256 \
    --bert_config=chinese_L-12_H-768_A-12/bert_config.json \
    --vocab_file=chinese_L-12_H-768_A-12/vocab.txt \
    --num_layers=2 \
    --learning_rate=0.001 \
    --batch_size=16 \
    --checkpoint_dir=result
複製代碼

15744775485612.jpg

預測

$ python3 model.py --task=predict \
        --is_training=False \
        --epoch=100 \
        --size_layer=256 \
        --bert_config=chinese_L-12_H-768_A-12/bert_config.json \
        --vocab_file=chinese_L-12_H-768_A-12/vocab.txt \
        --num_layers=2 \
        --learning_rate=0.001 \
        --batch_size=16 \
        --checkpoint_dir=result
複製代碼

15745175850857.jpg

Just For Fun ^_^

本文代碼: github.com/saiwaiyanyu…