超寬深度網絡和神經正切核 Ultra-Wide Deep Nets and Neural Tangent Kernel (NTK)

(也發佈在 at CMU ML.) 作者:Wei Hu and Simon Du 機器學習的傳統觀點認爲,在訓練誤差和泛化差距之間要進行謹慎的權衡。模型的複雜性存在一個「最佳點」,因此模型(i)足夠大,可以實現合理良好的訓練誤差,而模型(ii)足夠小,可以泛化差距-測試誤差和訓練誤差之間的差-可以控制。較小的模型會產生較大的訓練誤差,而使模型變大則會導致較大的泛化差距,兩者都會導致較大的測試誤差。
相關文章
相關標籤/搜索