NeurIPS 2019 | 適用於衆多模型的Embedding正則化方法

©PaperWeekly 原創 · 作者｜崔克楠 學校｜上海交通大學博士生 研究方向｜異構信息網絡、推薦系統 本文爲 NeurIPS 2019 的文章，提出了一種對 embedding 的參數進行的正則化技術。 在許多神經網絡中，底層的 embedding 層的參數佔據了網絡中參數的大部分，例如基於 BERT 額模型中的 embedding 高維向量，例如 BERT-Base 中使用 768 維向

>>阅读原文<<