一、邏輯迴歸(Logistic regression)是一種用於解決二分類(0 or 1)問題的機器學習方法,即該方是一個分類算法。
• 典型應用:
• 圖像分類
• 垃圾郵件檢測
• 購買商品預測
• …算法
二、Sigmoid 函數
Sigmoid函數,也稱爲邏輯函數(Logistic function)
微信
直觀理解
• 將任意的輸入映射到了[0,1]區間咱們在線性迴歸中能夠獲得一個預測值,再將該值映射到Sigmoid 函數中這樣就完成了由值到機率的轉換,也就是分類任務。機器學習
三、邏輯迴歸 v.s. 線性迴歸函數
都是迴歸問題
•線性迴歸的迴歸目標是(−∞, +∞) •邏輯迴歸的迴歸目標是(0, 1),因此經常用做分類
• We will fit a regression function on P(Y=1|X)學習
linear regression----> logistic regression優化
四、邏輯迴歸
對於二分類問題,咱們能夠:
orm
咱們將 f(x,w)看作是可能性(機率),那麼咱們能夠獲得:
cdn
五、最大似然機率
對於所有N個樣本,所有分類正確的機率是
視頻
那麼咱們的目標就是最大化J(w)。blog
六、對數似然機率
將上式子直接很差優化,那麼咱們取對數
那麼咱們的目標就是最大化L(w)
七、最大log似然求解
We could learn w by maximizing the log likelihood using gradient ascent
二分類擴展到多分類
一對多(One v.s. other) • 區分[cat, dog, bird]
• 二值分類器:clf_bin
• 貓的分類器:
• if_cat = clf_bin((X_cat,Y_cat), (X_ncat,Y_ncat))
• 狗的分類器:
• if_dog = clf_bin((X_dog,Y_dog), (X_ndog,Y_ndog))
• 鳥的分類器:
• if_bird = clf_bin((X_bird, Y_bird), (X_nbird, Y_nbird))
一、一對多(One v.s. other)
一對多(One v.s. other)
二分類擴展到多分類
一對一(One v.s. One) • 區分[cat, dog, bird]
• 二值分類器:clf_bin
• 貓/狗的分類器:catdog_clf = clf_bin(..,..)
• 貓/鳥的分類器:catbird_clf = clf_bin(..,...)
• 狗/鳥的分類器:dogbird_clf = clf_bin(..,..)
一、一對一(One v.s. One)
而後進行投票,票數多贏,好比兩個分類器都投cat,那麼就是cat