論文閱讀：ReZero is All Y ou Need: Fast Convergence at Large Depth

0.前言 論文地址：https://arxiv.org/abs/2003.04887v1 代碼地址：https://github.com/majumderb/rezero 1.摘要 深度網絡已經實現了跨域的顯著性能提升，但它們經常遭受消失/爆炸梯度的影響。這尤其適用於深度超過12層的Transformer架構（一種i用於自然語言處理的深度學習模型，詳見https://blog.csdn.net/l

>>阅读原文<<