白話機器學習 - 最大似然

機器學習，從本質上講，就是一種經驗的總結。
例如，「山雨欲來風滿樓」，山裏面下大雨以前會颳大風，就是一種經驗的總結。固然，這也不是100%準確的事情，只是從機率上看，颳風以後下雨的可能性是最大的。
機器學習模型，咱們追求的也就是，這個模型看上去是最靠譜的，最接近咱們觀察到的事實的。換句話說，咱們經過觀察到的事件，來肯定模型，使得這個模型在機率上說，是最有可能的，最符合咱們觀察到的事件的。

不均勻硬幣

如今，有一枚硬幣，因爲加工不均勻，每次拋硬幣時，其正面朝上的機率爲 X ，如今，咱們怎麼才能知道這個X是多少呢？最簡單的辦法是拋10次硬幣，若是6次正面朝上，咱們很容易脫口而出，正面朝上的機率是3/5.
爲何咱們能夠脫口而出，不假思索的說是3/5呢？理由很簡單啊，拋10次，6次向上，正面朝上的機率爲3/5最合理啊，這種可能性最高啊。
因爲是機率，因此，這個估計或多或少都存在一個運氣的問題，可能這個硬幣朝上的機率只有1/10,可是拋硬幣的人特別妖，就是可以10次裏面拋出6次正面朝上。

• 「拋10次硬幣，6次正面向上「 和 」硬幣正面朝上的機率爲3/5」
• 「拋10次硬幣，6次正面向上「 和 」硬幣正面朝上的機率爲1/10」

因爲拋硬幣問題簡單，並且上面兩個判斷相差很大，因此咱們很容易就知道前者可能性最大，後者可能性較小。若是問題改爲

• 山雨欲來風滿樓
• 雨後出現彩虹

哪一個比較靠譜，這個就很是難了吧。因此，咱們還須要一套理論去量化靠譜程度，可能性到底有多高的程度。

獵人

MLE maximum likelihood estimation的最本質的思想就是：發生某事件X，咱們很是關心致使這件事情發生的緣由或者細節A(A有多種可能性)。但對於A，咱們沒法溯源去回放事件，去驗證究竟是哪一個。因而咱們企圖找到某一個A(即估計值Ahat)，使得【基於Ahat，當下咱們觀察到的現實——X的發生——具備最大的發生的可能性】，這樣的想法獲得的Ahat就是極大似然估計。一個小故事：有一個業餘的獵人新手和一名資深獵人，他們一人一把槍地跑去打獵，砰地一聲槍響，一頭小鹿應聲倒地，這時候問你：更可能的狀況是獵人打中了仍是新手打中了？在這個故事裏，【發生的某事件X】是小鹿被打中，【咱們關心的事情A】是誰打中了小鹿，【A的可能的狀況】有獵人打中或新手打中，【極大似然估計A】是獵人打中。

做者：Vincent
連接：https://www.zhihu.com/question/24124998/answer/46745176
來源：知乎
著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。

機率分佈

在數學上有不少機率分佈，這裏就再也不囉嗦了，能夠參看下面的文章
http://blog.csdn.net/sunmenggmail/article/details/17138651

二項分佈的典型例子是扔硬幣，硬幣正面朝上機率爲p, 重複扔n次硬幣，k次爲正面的機率即爲一個二項分佈機率。

硬幣正面向上機率是0.6，拋10次，6次朝上的機率是 0.2508
硬幣正面向上機率是0.1，拋10次，6次朝上的機率是 0.0001
（順便計算一下，硬幣正面向上機率是0.1，拋10次，1次朝上的機率是 0.3874）

不管硬幣正面向上機率是多少，若是將拋10次裏面1次朝上的機率，2次朝上的機率，一直累加到10次朝上的機率，其總和應該爲1.

• 咱們看到10次裏面6次朝上的結果，硬幣正面向上機率爲0.6和0.1之間相差上千倍。
• 」硬幣正面向上機率是0.1，拋10次，1次朝上「 比 」硬幣正面向上機率是0.6，拋10次，6次朝上「 更加靠譜

機率分佈就是爲了量化靠譜程度的數學工具。經過這些工具，咱們能夠計算出一個觀察結果（拋10次硬幣，6次正面向上）和一個帶參數（正面朝上機率）的模型之間，從機率上講，類似（似然）程度。