自己動手實現20G中文預訓練語言模型示例

起初，我和大部分人一樣，使用的是像Google這樣的大公司提供的Pre-training Language Model。用起來也確實方便，隨便接個下游任務，都比自己使用Embedding lookup帶來的模型效果要好。但是時間用長了，就會產生依賴。 依賴只是一方面，還有一個更大的問題，是我們需要思考的，他們提供的Pre-training LM確實很好嗎？適合我們使用嗎？ 一方面，它的大小適合使用

>>阅读原文<<