EasyDL天然語言處理簡介

任務簡介

EasyDL專業版平臺將支持代碼級的NLP任務包括文本分類任務和短文本匹配任務。同時平臺集成了ERNIE2.0預訓練模型，能夠選擇ERNIE-Base、ERNIE-Large、ERNIE-Tiny三種類型的預訓練模型。

預訓練模型ERNIE

ERNIE 是一個從海量無監督數據中學習大量知識的超大預訓練模型，經過將 ERNIE 模型中的這些知識遷移到上層特定任務相關的網絡從而顯著提高任務效果；基於 ERNIE 來 Finetune 特定任務就比如是站在巨人的肩膀上看世界，起點會顯著高於從 0 開始訓練特定任務的深度學習模型；您能夠經過ERNIE官網查看最新動態和相關信息。

不一樣版本的ERNIE特色

• Base 模型的網路結構主體由 12 層 transformer block 構成，此版本的預測精度、預測性能、訓練速度相對均衡
• Large模型擁有更大的參數量，以及更好的 Finetune 效果，Large模型網絡結構主體由 24 層Transformer Block構成，此版本的預測精度突出
• Tiny模型有更淺的模型，在實際真實數據中有超過4倍的預測提速，預測精度逼近Base版

文本分類

文本分類任務中，平臺提供的網絡有：BOW、CNN、GRU、TextCNN、LSTM、BiLSTM； 同時，平臺提供了BOW、CNN、GRU、TextCNN、LSTM、BiLSTM的ERNIE預訓練模型版本的網絡；

網絡特色描述

• BOW：詞袋模型，不考慮語法和語序，用一組無序單詞來表達一段文本
• CNN：卷積神經網絡，經過卷積核的權重共享減小參數數量，可以處理變長的序列輸入
• GRU：門控循環單元網絡，可以較好地處理序列文本中長距離依賴的問題
• TextCNN：該模型能夠自主設定多組不一樣窗口的CNN模型
• LSTM：長短時間記憶網絡，可以較好地處理序列文本中長距離依賴問題
• BiLSTM：雙向長短時間記憶網絡，可以更好的捕捉句子中的語義特徵

短文本語義匹配

短文本匹配任務中，平臺提供的網絡有：SimNet-BOW、SimNet-CNN、SimNet-GRU、SimNet-LSTM、FC；

同時，ERNIE預訓練模型可選FC網絡；

網絡特色描述

• FC：基礎句對匹配模型，能夠任意搭配其餘各類經典網絡
• SimNet-CNN：卷積神經網絡，可以處理變長的序列輸入，提取一個局部區域以內的特徵
• SimNet-BOW：詞袋模型，不考慮語法和語序，用一組無序單詞來表達一段文本
• SimNet-GRU：門控循環單元網絡，可以較好地處理序列文本中長距離依賴的問題
• SimNet-LSTM：長短時間記憶網絡，可以較好地處理序列文本中長距離依賴問題

序列標註

序列標註任務中，平臺提供的網絡爲CRF； ERNIE預訓練模型可選CRF網絡；

網絡特色描述

• CRF：條件隨機場，可以考慮上下文關聯信息的進行模型學習

 

>> 訪問 PaddlePaddle 官網，瞭解更多相關內容。