轉載:A Light Introduction to Transfer Learning for NLP

1. 預訓練容許模型從大規模語料庫中捕獲和學習各類語言現象，例如長期依賴和否認。

2. 而後使用（轉移）該知識來初始化而後訓練一個 fine tune 模型以在特定的NLP任務上表現良好，例如情緒分類。

3. 這在語言中起做用，由於它確實會在語言中發生，例如，否認是從文本信息中檢測情感極性的重要屬性。此外，否認也可能對諷刺檢測有用，好比諷刺檢測，這是NLP中最複雜，最未解決的任務之一。

4. 具備通用屬性的語言模型在NLP研究中缺少註釋數據集或語言資源的狀況下多是有用的。

5. 到目前爲止，咱們知道從預訓練語言模型中得到的知識，例如以詞嵌入的形式，對於許多NLP任務表現得很是好。

6. 這裏的問題在於，這種以潛在特徵形式存在的知識並不寬泛或不足以在目標或下游任務上表現良好。

如下幾個問題:

What do we mean by modeling deep contextualized representations in the context of language

經過在語言環境中對深層語境化表示進行建模，咱們的意思是什麼。

What is the model really learning

什麼是真正學習的模型。

How to build and train these pretrained language models

如何構建和訓練這些預訓練的語言模型。

What are the key components of the pretrained language models and how to improve them

預訓練語言模型的關鍵組成部分是什麼以及如何改進它們。

How do we use or apply them to solve different language-based problems

咱們如何使用或應用它們來解決不一樣的基於語言的問題。

What are the benefits of pretrained language models as compared to conventional transfer learning techniques f
or NLP

與傳統的NLP傳遞學習技術相比，預訓練語言模型有什麼好處。

What are the drawbacks

有什麼缺點。

What aspects of natural language do we need to keep in mind when pretraining language models

在訓練語言模型時，咱們須要記住天然語言的哪些方面。

What kinds of pretraining tasks are we considering to build and test these so-called generalizable NLP systems

咱們正在考慮構建和測試這些所謂的可推廣NLP系統的哪些預訓練任務。

And more importantly, what kinds of datasets should we use that are representative enough to address the wide
range of NLP tasks

更重要的是，咱們應該使用哪一種類型的數據集，這些數據集足以表明普遍的NLP任務。