參數與超參數

做爲機器學習攻城獅（咳咳：調參員），參數和超參數是最最基礎的常識。

一、參數（模型根據數據能夠自動學習出的變量）

參數指的是模型內部的配置變量(configuration variable)，可經過數據來估計其取值。

從數據中估計或學習獲得

一般不被人爲設定

常做爲最終模型的一部分被保存

參數是機器學習算法的關鍵，它們是從歷史訓練數據中學習到的，屬於模型的一部分。

在經典的機器學習文獻中，咱們能夠把模型看做是假設，把參數看做是針對某特定數據實現假設的工具，一般來講，模型參數是算法考慮全部可能取值後獲得的最優解。

統計學：在統計學中，咱們可能會爲一個變量假設服從某個分佈，如高斯分佈。高斯分佈具備兩個參數，分別是均數和標準差。這樣的理解在機器學習中也是成立的，這些參數能夠經過數據進行估計，而且做爲預測模型的一部分。

編程：在編程中，咱們可能把參數傳遞給函數。在這個狀況下，參數做爲函數變量(function argument)能夠取一系列值中的一個。在機器學習中，咱們使用模型就是在外部數據中進行預測所需的函數和參數。

模型具備固定個數的參數，叫作參數模型，若具備可變個數的參數，則爲非參數模型。

下面是幾個關於模型參數的例子：

人工神經網絡的權重

支持向量機中的支持向量

線性迴歸及logistic迴歸中的迴歸係數

二、超參數（用來肯定模型的一些參數）

模型超參數指的是模型外部的配置變量，不能經過數據來估計其取值

經常使用於幫助估計模型參數的過程

一般由人爲設定

可用探索的方法對其進行設定

可針對給定的預測建模問題對超參數進行調整

咱們不能得到針對某個特定問題的模型參數的最優取值。但咱們能夠採用經驗法則，參考用於其餘問題的取值，或者經過反覆嘗試尋找最佳值。

當機器學習算法用於解決特定問題時，咱們正是採用規則搜尋或者隨機搜尋的方式，對模型的超參數進行調整，來發現模型的參數，從而獲得最優的預測。

下面是幾個關於模型超參數的例子：

訓練神經網絡的學習率(learning rate)

支持向量機中的C(懲罰係數)和sigma(與支持向量的個數有關)

k最近鄰算法(k-nearest neighbors)中的k(鄰居個數)