獨角慄 發自 凹非寺
量子位 報道
△ 左爲GPT-2，右爲BERT
上週，OpenAI腦洞天大的語言模型GPT-2，用獨角獸的故事震精了世界。python
谷歌BERT「史上最強」的位子沒坐多久，便有了光芒萬丈的後輩。git
現在，那個幫BERT作了PyTorch實現的團隊，已經火速在BERT項目裏增長了GPT-2支持，並收到了推特用戶的盛讚。github
看來，就算GPT-2只開源了縮小版，也值得珍惜，畢竟是有1.17億個參數的模型。web
都到碗裏來
十幾個小時前，名叫HuggingFace (抱抱臉) 的團隊，發佈了Pytorch-bert v0.6更新。微信
此次更新的內容，就是增長了GPT-2縮小版的預訓練模型，以及與模型搭配的經常使用腳本示例。學習
不過，爲OpenAI家的語言模型添加支持，在Pytorch-bert項目裏，已經不是第一次了：優化
一週前發佈的v0.5，就增長了GPT，那是GPT-2的上一代。url
同時增長的，還有谷歌的Transformer-XL，那是1月中旬發佈的語言模型，能夠理解超長的上下文關係，比普通Transformer快1800多倍。spa
也就是說，地球上知名NLP模型的PyTorch實現，正在項目裏面不斷集結，場面一派祥和。.net
這個學名叫pytorch-pretrained-BERT的項目，已在GitHub上收集了3600多顆星。
固然，項目的主業仍是BERT，有三個BERT模型提供：
第一個是原味BERT，第二個是帶序列分類器的BERT，第三個是帶token分類器的BERT (用來作問答) 。
來吧，抱抱臉
HuggingFace (「抱抱臉」) 團隊本來就是作聊天機器人的，因此主要的貢獻也在天然語言處理 (NLP) 領域。
除了BERT的PyTorch實現以外，團隊還發布過許多其餘的源代碼和友善的教程，也都是基於PyTorch。
好比，教你給NLP任務加速100倍：
https://medium.com/huggingface/100-times-faster-natural-language-processing-in-python-ee32033bdced
用PyTorch實現了從語言中識別情緒的DeepMoji模型：
https://github.com/huggingface/torchMoji
還用PyTorch實現了OpenAI優化過的Transformer模型：
https://github.com/huggingface/pytorch-openai-transformer-lm
因此，發生了GPT-2這樣的重大進展，「抱抱臉」天然是及時響應了。
管他OpenAI敢不敢開源15億參數的完整模型，管他要不要更名ClosedAI呢。
Pytorch-bert傳送門，GPT-2已加入：
https://github.com/huggingface/pytorch-pretrained-BERT
推薦閱讀
15億參數的NLP模型究竟有多強大？有人用它生成了一部《哈利·波特》
關於圖書
《深度學習之TensorFlow：入門、原理與進階實戰》和《Python帶我起飛——入門、進階、商業實戰》兩本圖書是代碼醫生團隊精心編著的 AI入門與提升的精品圖書。配套資源豐富：配套視頻、QQ讀者羣、實例源碼、 配套論壇：http://bbs.aianaconda.com 。更多請見：aianaconda.com
點擊「閱讀原文」配套圖書資源
本文分享自微信公衆號 - 相約機器人（xiangyuejiqiren）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。