bert細節理解

bert中的升維3072，能更好的分離特徵。 bert中最後對一維卷積進行池化，好處在於增加了模型的泛化能力，不同的池化方式(平均值、最大值）會帶來不同的結果。 一維數據進行池化，利用padding=「SAME」，不會改變尺寸。 https://blog.csdn.net/Tourior/article/details/79544326

>>阅读原文<<