讓咱們先看看一些常見天然語言處理面試題：面試
- RNN 爲何會發生梯度消失？如何改進？
- LSTM 的模型結構是什麼？
- 爲何說 LSTM 具備長期記憶功能？
- LSTM 爲何能抑制梯度衰減？
- 什麼是 Word2Vec？如何訓練？
- Word2vec，CBOW 和 Skip-gram 的區別是什麼？
- 什麼是 seq2seq 模型？有哪些優勢？
- 什麼是注意力機制？
- 爲何要使用注意力機制，有什麼優勢？
- CNN 的原理是什麼？有哪些優缺點？
- BERT 的模型結構是什麼？如何應用？…
以前有些朋友會向我諮詢爲何自學了名校的專欄認真作了筆記，卻仍是會在面試時回答不出來問題，由於其實不少優秀的專欄和書籍側重點會不一樣，理論上可能只是講個思想，前因後果並不會講的很深。網絡
實戰中可能只是給出基礎的代碼，爲何要進行哪一步也沒有講的很細，關於面試的書也只是給出答案，到底爲何要這麼回答也沒有給出詳細的解釋，而在面試時面試官們一般會把最基礎的東西問得很透徹，好比手推反向傳播，手推 LSTM，改進 SkipGram 模型等等，因此單單學完一門專欄看完一本書可能並不會真正地掌握知識。框架
爲何要學習深度學習天然語言處理
讓咱們來想象這樣一個畫面：機器學習
當清晨被鬧鐘叫醒，睜開朦朧的雙眼，摸起手機說「siri，幫我設一個五分鐘的鬧鐘」，隨之又進入了夢鄉。 五分鐘後很快就到了，總算精神了一些，看看今天每小時的天氣預報如何，起牀準備開始一天的工做。 早餐時間，一邊吃着美味的早餐一邊打開了郵箱，看到又多了幾封垃圾郵件。 一切準備就緒，出發去上班，在路上，興致勃勃地看一篇今天特別感興趣的外語文章，發現有個單詞不認識，因而打開了翻譯軟件。 突然想到有個包裹怎麼還沒到，打開購物軟件，和他們的聊天機器人客服聊了起來。性能
上面這些事情可能就發生在每日平常的一個小時內，但卻用到了語音識別，時間序列預測，垃圾郵件識別，機器翻譯，聊天機器人等技術。學習
你是否好奇是什麼技術實現了這些便利的功能？是否也想本身也能夠 DIY 一些人工智能應用來解決本身平日遇到的問題呢？優化
那麼這門專欄就能夠爲你的奇思妙想奠基基礎，這門專欄不只僅是實戰，還有深刻的模型理論講解，尤爲是面試中常遇問題的詳細解答。職業規劃
放眼宏觀環境，人工智能已經被列入國家戰略目標，2020要讓人工智能和應用達到世界先進水平，2025年使其成爲引導經濟轉型的主要動力，而天然語言處理是人工智能入口之爭的主要技術之一，它將會是將來人機交互的主要方式，不少大公司或者新創公司都下大力度進行這方面的研究，不管是出於興趣，仍是早在職業規劃目標以內，學習一下天然語言處理的經典模型原理和實踐，將來能夠找到更多機會參與到人工智能創新的浪潮中來。人工智能
一樣在本門專欄中會幫助你們解決這樣的問題，咱們會以可以回答出面試題爲基準，而且是創建在透徹理解模型原理的基礎上，而不是死記硬背答案，還會有數學公式推導做爲理論支撐，作到真的理解模型，這樣當面試官們變換問題時，或者要求提出改進方案或者拓展時，都可以根據本身的理解給出解答。spa
除了理論還有實戰，本專欄設計的實戰項目有熱門應用，如情感分析，聊天機器人等都是如今不少公司所須要的；也有 NER，POS 等基礎應用，是天然語言處理項目中必備的。面試官們會對項目的每一個環節都問的比較細，數據清洗，預處理，特徵，建模，模型評估等等，因此咱們的項目解釋也很全，包括數據在模型裏是如何變化的，每一步代碼幹了什麼發生了什麼都會內心有數。
固然在這一門專欄中確定沒法涵蓋天然語言處理的各個角落，咱們會先主要覆蓋 NLP 工程師面試所需的深度學習基礎部分，將基礎的經典的模型理論緊緊掌握，會針對真實的面試題給出詳細的講解。
每一個模型的公式是什麼，怎麼訓練模型，怎麼優化模型都會提到，在實戰中遇到的特別技術概念也會給出詳細的講解。
專欄亮點
內容新： 本專欄涵蓋 RNN，LSTM，GRU，word2vec，CNN 這些基礎，還包括多層，雙向等拓展，有 Seq2seq 和 Attention，再到最近流行的 Transformer，ELMo，BERT，層層遞進掌握經典模型。
實戰多： 包括 14 個項目的代碼及詳細的講解，從命名實體識別，詞性標註，到情感分析，聊天機器人，機器翻譯，再到圖片文字摘要，動手實現有趣的智能應用。
講的細： 每篇文章用黃金圈 why，how，what 的結構詳細講解模型原理，對面試中常考問題給出解答和理論依據，深入理解經典模型解決問題的思想。
專欄思路和內容大綱
第 1 部分：深度學習基礎知識
由於本專欄是關於深度學習在天然語言處理中的應用，因此專欄開始部分咱們會歸納性地介紹什麼是深度學習項目的通常流程和所需基本概念，深度學習在天然語言處理領域主要有哪些熱門應用，還會介紹本專欄項目所需的 Keras 和 TensorFlow 2.0 基礎，有了這樣一個全局觀，在後面學習具體模型和項目的時候會更有掌控性。
第 2 部分：循環神經網絡基礎
這一部分會很是詳細地介紹 RNN 和 LSTM 的原理，它們是深度天然語言處理的基礎模型，掌握它們對學習並理解後面更復雜的模型結構有很好的幫助，並且專欄中會有面試常考問題的詳細解答和公式推導，從數學的層次作到真正理解經典模型的特性。
第 3 部分：詞嵌入
在這裏咱們會介紹 Word2vec 的方法，包括 CBOW，Skip-gram，GloVe 的理論和應用。詞嵌入是天然語言處理任務中很重要的一步，它可讓模型更好地學習到單詞之間的關係和單詞地含義，使模型表現地更好。
第 4 部分：循環神經網絡的改進
這一部分咱們將學習如何改進基礎的 RNN 和 LSTM，經過前面對基礎理論的深刻了解，咱們能夠知道它們具備哪些不足，因而經過改善門控單元，搜索結果，增長方向等方法來使模型進一步獲得改善。
第 5 部分：Seq2seq 和 Attention
這一部分模型的結構進一步升級，Seq2seq 是一個 Encoder–Decoder 結構的網絡，它最重要的地方在於輸入序列和輸出序列的長度是可變的，不過由於無論輸入的長度多長都會被它壓縮成一個幾百維的中間向量，就會形成任務質量的降低，而 Attention 又進一步解決了 Seq2seq 存在的問題，有了這些改進使得模型在情感分析，聊天機器人，機器翻譯等任務中的性能提高。
第 6 部分：卷積神經網絡的應用
卷積神經網絡被你們熟知的是在圖像領域的重要模型，這一部分就會介紹它其實也能夠用於天然語言處理的任務中，經過學習這種「跨界」的模型，不只能夠更瞭解到任務和模型的本質，還有助於開拓解決問題的思路。
第 7 部分：Transformer，ELMo，BERT
BERT 是2018年10月11日由 Google AI Language 發佈的模型，當時在問答，推理等 11 個 天然語言處理任務上的表現都刷新了記錄，目前爲止有不少優秀的模型都是在其基礎上進行改進，因此這部分將介紹 Transformer，ELMo，BERT 這一系列的原理和應用。
你將收穫什麼
面試必備知識點
在天然語言處理相關職位的面試中，面試官會對模型的結構，原理，數學推導，優缺點，改進方法等進行細緻地提問，不少外文原版書籍或者名校專欄中都不會作特別詳細地解答，最後看了不少書學了不少專欄，可能到面試的時候仍是答不出來問題，在本專欄中就會對這些知識點進行深刻地講解，讓你們可以真正理解每一個模型，知其然知其因此然。
本專欄將用通俗易懂的方式講解模型的原理，用圖解的方式畫出模型中數據的走向，對關鍵步驟的計算，例如前向計算，反向傳播，會有詳細的手寫推導。以及一些核心問題的探究，例如爲何循環神經網絡具備記憶功能，LSTM 爲何能夠緩解梯度消失，爲何用雙向 LSTM，Encoder–Decoder 的結構是什麼樣的，爲何須要 Attention 機制等。
動手實踐，編寫有趣的項目
不管是出於興趣仍是想要找到高薪的工做，最後都要落實到有能力解決問題。因此本專欄在每一個模型的原理以後，都有相應的項目代碼，並且有很是詳細的代碼講解，理論與實踐結合，真正把模型用起來，除了用序列模型處理其餘模型能作到的分類和預測的任務，還能夠構建一些好玩的，例如自動生成某個大師風格的文章，根據電影評論分析一下觀衆對它的評價，作個簡易的聊天機器人，再或者平時常常用的翻譯軟件，本身也能夠學習到機器翻譯模型的構建方法。
熟練地使用 TensorFlow/Keras
本專欄在每一個模型後都配有應用代碼，都是用 TensorFlow 或 Keras 來實現，這兩個框架也是不少公司在招聘時優先考慮的技術，經過專欄中一些小項目的練習，能夠進行強化訓練，而且因爲都是序列模型，還能夠進行橫向比較，瞭解實現不一樣項目的共同點和區別，這樣在之後應用這些深度學習框架來處理新的任務時能夠駕輕就熟。
做者介紹
楊熹，數學系碩士，目前從事數據科學方面的工做。曾任 Intel 成本分析師，日本 TRIAL 數據分析師，美國 Trilogy 數據科學培訓師，參與銷量預測，成本分析，推薦系統等多個項目，擅長機器學習，深度學習，天然語言處理。
適宜人羣：
- 將來想從事天然語言處理方向的求職者。
- 對人工智能感興趣的學生。
- 想親手打造相關產品的開發者。