softmax

  1.  void LogisticRegression_softmax(LogisticRegression *this, double *x) {  
  2.   int i;  
  3.   double max = 0.0;  
  4.   double sum = 0.0;  
  5.   
  6.   
  7.   for(i=0; i<this->n_out; i++) if(max < x[i]) max = x[i];  
  8.   for(i=0; i<this->n_out; i++) {  
  9.     x[i] = exp(x[i] - max);  
  10.     sum += x[i];  
  11.   }  
  12.   
  13.   for(i=0; i<this->n_out; i++) x[i] /= sum;  
  14. }  

發現它和文獻中對softmax模型中參數優化的迭代公式中是不同!其實,若是沒有那個求最大值的過程,直接取指數運算就同樣的。而加一個求最大值的好處在於避免數據的絕對值太小,數據絕對值過小可能會致使計算一直停留在零而沒法進行。就像對數似然函數,似然函數取對數防止機率太小同樣。函數

相關文章
相關標籤/搜索