更高效的隨機梯度降低(Incremental gradient descent)法的嘗試

梯度降低法被用於求解局部最小值的基本方法,有幾種形式:BGD(Batch gradient descent),SGD(Stochastic gradientdescent),MBGD(Mini-batch gradient descent)。另外還有一種更高效的方法牛頓法。牛頓法在提升效率上的代價,是在每一次迭代計算中要計算Cost Function的Heissian矩陣的逆矩,這對於數據量較大的
相關文章
相關標籤/搜索