一圖講清因果推斷方法論，沒法 AB 測試時分析的萬能鑰匙

1. 背景

在產品快速迭代的過程當中，數據分析師須要量化評估不一樣的市場營銷活動和產品迭代等事件實際影響業務指標的效果，探索產品和業務的因果關係，並從結果中學習來不斷驗證產品迭代方向，使其業務走向更加清晰。

但產品自己有天然增加趨勢，且具備較明顯的季節性、週期性波動，如何排除這類天然因素和其餘干擾因素對產品的影響大小，互聯網行業通用方法爲 AB 測試；但對於某些指標的流量沒法知足或部分場景沒法實現 AB 測試時，統計學上的「因果推斷」方法正成爲互聯網業務評估應用的新方向，一般用於行爲科學研究中，以瞭解從觀察數據結果中的業務因果關係。

2. 效果量化評估方法

效果量化評估有兩個通用的研究設計方向：

一是 AB 測試。在實驗研究中將用戶隨機分配到不一樣的實驗組和控制組中，而後計算達到實驗效果所需的樣本量，實驗知足樣本量時計算實驗結果。由於隨機性控制了其餘干擾變量的影響，因此實驗結果就是該實驗因子對結果變量的真實影響大小。

二是觀察研究。統計相關性並不意味着因果關係，甚至因果關係也沒法直接倒推相關性成立，因此想找到真正影響到業務的因素並不容易。通用的 A/B Test 也有必定的侷限性，須要佔用足量的隨機流量，而且須要持續一段時間以收集數據，產品流量較小時，須要花必定的時間實現，比較耗費人力；鑑於 A/BTest 種種侷限性，如何利用手邊已有的歷史數據進行 「因果推斷」分析。

3. 因果推斷方法和適用場景

觀察研究中的因果推斷利用的反事實理論就是和咱們可以觀測到的現實狀況相反的一種狀態（Rubin 1980）。因果推理（Causal inference）是根據影響發生的條件得出因果關係結論的過程，是研究如何更加科學地識別變量間的因果關係（Causality）。在因果關係中，緣由對結果負有部分責任，而結果又部分取決於緣由。客觀事物廣泛存在着內在的因果聯繫，人們只有弄清事物發展變化的來龍去脈，才能全面地、本質地認識事物。基幹事物發展的這種規律，在論證觀點時，有時就能夠直接從事物自己的因果關係中進行推論，這就叫因果推理法。幾十年來，因果推理一直是統計學、計算機科學、教育學、公共政策和經濟學等許多領域的重要研究課題。整體而言，因果推論的看法能夠幫助識別用戶痛點，爲產品迭代提供方向，並提供更個性化的用戶體驗。

下圖彙總了目前解決各個分析場景的方法論框架：

這裏介紹幾種方法的適用場景，雙重差分分析方法，推斷在進行干預先後實驗組與對照組之間的結果差別。方法的典型用例是在特定城市推廣營銷活動或新產品功能。比較推廣城市和未推廣城市在同一時間段上的結果差距，那麼這個差距值即爲該事件的真實效果。

另外一種很是典型的因果推斷方法，稱爲斷點回歸方法，該方法將一連續值進行分段，查看在斷點處是否有結果變量上的差別。例如研究訂價的不一樣水平如何影響用戶購買決策。

 

傾向得分匹配法，產品經理在會上展現新加了某功能後的用戶復購數據。其中使用新功能的用戶羣復購率比未使用的用戶羣高20%。因而認爲該功能提升了用戶復購率，想在產品上全面推廣該功能。做爲數據分析師如何去評估分析該效果？數據主要包括三方面：用戶的特徵變量、是否使用功能，是否發生復購。按照1:1的匹配比例，最終匹配上1116對用戶數據。其中處理組中的用戶復購率爲24%，對照組爲13%，兩組的差距顯著。所以從數據角度證實該功能確實能提升復購率。可是歸由於功能提升的復購率應該爲11%，而不是20%。

匹配數量	1116
處理組（使用功能）復購率	0.24
對照組（未使用功能）復購率	0.13
均值差別	0.11***

再好比合成控制法和貝葉斯結構時間序列方法，原理在於干預事件發生先後結果變量時間序列數據是否有顯著變化，這種方法稱爲中斷時間序列設計。這種方法一般用在產品覆盤時指標分析。

目前關於因果推斷業務應用相關原創文章：

數據運營36計(二)：如何用合成控制法判斷策略實施效果

數據分析36計(七)：營銷增益模型(uplift model)如何識別營銷敏感用戶羣，Python實現

數據運營36計(八)：斷點回歸(RDD)評估產品設計效果
數據分析36計(九)：傾向得分匹配法(PSM)量化評估效果分析
數據分析36計(12)：作不了AB測試，如何量化評估營銷、產品改版等對業務的效果