[譯] 解密 Uber 的因果推斷最佳實踐

在 Uber Labs，咱們的任務是利用行爲科學的洞察力和方法論來幫助產品和市場團隊改善客戶體驗。 最近，咱們引入了中介模型來解決用戶的痛點，它是一種來自學術研究的統計方法。

爲了理解致使結果的潛在機制，中介模型超越了簡單的因果關係。 使用這種類型的分析，咱們能夠從微調或開發產品的變化中找到優步平臺上功能成功背後的基本機制。

知其然 vs 知其因此然

在 Uber，咱們有一個強大的改進文化，經過頻繁開展實驗來測試一個變量是否會影響另外一個變量，以確保可靠、安全和無縫的用戶體驗。

大多數時候，咱們對爲何兩個變量是相關的有一個假設。 例如，假設咱們相信在新乘客的前幾回旅行中給予他們行程折扣的促銷活動能夠提升新乘客的留存率。雖然一個標準的分析會告訴咱們這種促銷是否有助於增長新的騎手留存，可是它不會告訴咱們爲何。 例如，新乘客是否會在前幾回行程後由於行程費用下降而從新使用該應用程序？ 或者是促銷幫助新乘客熟悉了這個應用程序，或者徹底是別的什麼？ 若是存在多種機制，哪種機制發揮更大的做用，做用大小如何？ 在一個標準的分析中，一個潛在的機制(例如，爲何會發生這樣的事情)一般被認爲是存在的，可是沒有用數據進行實證檢驗。

雖然咱們可能有一些證據代表兩個變量是相關的，但咱們可能不清楚爲何它們是相關的，當咱們不明白爲何，咱們不得不依賴於試驗和錯誤。 然而，就像在學術研究中同樣，知道爲何對 Uber 一樣重要，由於它幫助咱們爲用戶打造更好的產品。 例如，在上面的例子中，若是咱們發現他們對應用程序的熟悉使新的乘客留在了平臺上，那麼咱們應該優先考慮鼓勵乘客使用應用程序的新的產品功能。

中介模型: 打開黑匣子

中介模型打開了實驗和結果變量之間的黑匣子，從而揭示了潛在的機制，即爲何會發生某些事情。當咱們有一個因果假設，而不是讓它停留在那裏或依賴於相關證據，中介模型讓咱們經驗性地檢驗(與邏輯推斷)兩個變量之間的因果路徑。 更重要的是，理解這些機制使咱們可以更快更有效地開發出更好的產品，由於它有助於咱們肯定這些變化的哪些特徵是使產品成功的緣由。

那麼，咱們究竟能夠經過中介建模作些什麼來改善用戶體驗呢？ 咱們在下面的圖1中概述了一些假設的用例:

首先，咱們可使用中介建模來測試產品假設。 例如，咱們可能認爲，一個新的附加促銷能夠增長保留，由於減小旅行費用(圖1a)。 經過中介建模，咱們能夠對這一假設進行實證檢驗。 咱們的這些測試結果能夠告訴咱們咱們的假設是否正確，若是正確，有多少影響是因爲旅行費用的減小而不是其餘機制(例如，熟悉應用程序)。

其次，咱們可使用中介建模來比較多種機制。 在一個假設的例子中，咱們可能認爲 Uber Eats 菜單的新設計能夠經過多種機制增長訂單(圖1b)。 經過中介建模，咱們可以估計這些機制中的每個對實驗效果(即增長訂單)的影響程度，以及哪一種機制發揮了最大的做用。 這些結果有助於告知咱們如何設計咱們的產品及其將來的迭代。

中介建模還容許咱們將無形變量(如消費者情緒)與特定特性聯繫到業務指標。 衆所周知，顧客的感覺和滿意度對於企業的成功相當重要。 然而，一般很難量化它們對業務的影響。 然而，中介建模使咱們可以測試這些變量如何影響下游業務指標(例如，如圖1c 所示的附加引用)。

此外，中介建模能夠是將長期目標分解爲更小的中間步驟的一種創造性方法。 例如，假設咱們的目標是提升長期乘客對 Uber 的滿意度。 咱們如何將這個目標分解成更小的部分，並與咱們的平常工做聯繫起來？ 若是咱們以前已經肯定了騎手滿意度背後的關鍵中介，那麼咱們就能夠利用這個中介做爲短時間關鍵績效指標(KPI)(圖1 d)。 若是干預的大部分效果是經過某一特定機制引發的，那麼影響該關鍵調解人多是干預發揮做用的一個必要(雖然不是充分)條件。

在不一樣的用例中，咱們識別上游或下游變量並測試它們之間的鏈接方式。 接下來，咱們將進一步討論這個解釋，並討論中介建模背後的概念細節。

中介模型 VS 因果推斷

爲了成功地執行這項技術，咱們究竟須要用幾個什麼樣的方法呢？ 爲了回答這些問題，咱們在下面的圖2中描述了最簡單的中介模型:

圖2. 中介建模的概念框架包含了干預、中介和最終的結果

根據這種類型的模型，咱們的目標是估計三個關鍵數量:

• 平均直接效應(ADE) :c
• 平均因果調節效應(ACME) :ab
• 平均總效應(ATE) : ab + c

近年來，研究人員已經開始理解中介模型的因果關係。這使他們可以使用爲因果推斷開發的正式框架將中介概念化，如由 Neyman，Rubin 和其餘人開發的潛在結果方法。

爲了更好地理解這個框架是如何運做的，假設咱們有一個結果 y 和實驗分配 t，若是一我的在實驗組中 t 是1，若是一我的在對照組中 t 是0。 而後，實驗分配下個體 i 的結果 y 是 Yi (t)。

如今，咱們常常感興趣的是估計實驗和控制之間 y 的差別，對於個體 i

$$Yi(1)−Yi(0)$$

然而，大多數時候咱們只觀察到這兩種結果中的一種，由於一我的一般只處於一種實驗狀態。 例如，若是個體 i 處於治療狀態(t1) ，那麼個體的結果 Yi (0)只是一個潛在的結果，也就是說，一個可能發生但實際上沒有發生的結果。

因爲咱們一般不能觀察治療效果在我的水平，咱們估計的羣體水平的平均治療效果，這是定義爲

$$E[Y_i(1)−Y_i(0)]$$

在這裏，處理和控制分配的結果 y 是估計從組水平的數量。

全部這些與中介建模有什麼關係？ 事實證實，咱們能夠用上面的框架來表示三個關鍵的中介量。 設 m (t)對應於實驗分配下的潛在介質值 t，那麼，咱們能夠開始定義關鍵的介質量以下:

$$ATE=E[Y_i(1,M_i(1))−Y_i(0,M_i(0))]$$

簡而言之，ATE 是實驗下的潛在結果和控制分配之間的差別，當中介變化，由於它實際上與實驗分配。 這解決了實驗對結果的平均影響。

如前所述，中介建模的目標是將整體實驗效應分解爲兩部分: 平均直接效應(ADE)和平均因果中介效應(ACME)。 換句話說，ADE 是實驗對結果的影響，不須要通過中介變量。 所以，若是您在改變處理狀態的值的同時肯定中介的值，那麼您將生成直接效果。 使用潛在的結果符號，咱們有

$$ ADE=E[Y_i(1,M_i(t))−Y_i(0,M_i(t)) ]$$

對於 t=0, 所以，ADE 能夠理解爲一旦咱們阻止中介變量改變實驗狀態，實驗分配對結果的任何額外貢獻。 咱們使用統計模型來估計，若是中介變量是固定的，結果會是什麼。)

一旦咱們創建了 ADE，很明顯 ACME 只是它的補充:

$$ACME=E[Y_i(t,M_i(1))−Y_i(t,M_i(0))]$$

對於 t=0, Acme 對應於潛在結果的差別，若是咱們將中介變量翻轉爲在實驗狀態下它將採起的值，同時保持實驗狀態自己固定，將會看到這種差別。

這些定義的優勢之一是它們沒有提到任何特定的模型。 所以，像 Imai 等研究人員。 已經開發了使用任何有效模型估計關鍵中介量的算法。 這意味着，除了其餘事情以外，咱們能夠自由地使用非參數和非線性模型來估計中介圖中的關係，與過去相比，這是一個至關大的進步。例如，在傳統的方法中，如 Hayes’ PROCESS 方法，中介不能是分類變量，結果變量僅限於那些能夠用通常最小平方法或迴歸方法適當建模的變量。 過程方法對中介變量和結果變量的限制不容許咱們創建離散數據模型，這使得它不適合咱們在 Uber 的工做。

最後，潛在結果框架證實有助於肯定中介效應的識別假設。 在隨機實驗的背景下，主要的假設是中介變量應該在統計上獨立於 y 的潛在結果，條件是觀察到的實驗狀態和模型中包含的預處理協變量的值。

儘管潛在結果框架有助於咱們清楚地定義這一假設，但不可能最終驗證這一假設是否成立。 咱們能作的最好的是(1)包括任何預處理協變量，理論上的考慮建議能夠去混淆介質和結果之間的關係和(2)進行敏感性分析，看看咱們的估計將如何變化，若是咱們的假設不知足不一樣程度。幸運的是，做爲一個數據驅動的技術公司，咱們一般有一個良好的預處理協變量集，咱們可使用在咱們的模型，以減輕混淆的風險。

應用示例: 用戶工單處理

如今，讓咱們來看一個具體的例子，經過最近對咱們的顧客至上團隊的分析，咱們如何在 Uber 中應用中介模型。 咱們想知道，若是增長一個顯示司機收入的圖表，是否會致使更少的支持工單。 爲了幫助用戶提交更少的支持工單，咱們須要瞭解他們爲何首先要提交工單。

在以前的一個實驗中，顧客至上團隊發現，添加一個顯示司機-合夥人每週收入的圖表，顯著增長了他們對本身收入的理解。 圖3，下面，顯示了實驗組和控制組的 UI:

圖3. 實驗和控制盈利標籤視圖爲咱們的用戶提供了略有不一樣的界面

在這個分析中，收益理解是經過一個單項調查來衡量的，這個調查詢問了司機們對他們收益信息的理解程度，以5分爲單位。

咱們想知道收入理解是不是收入相關支持工單背後的一個重要的行爲機制。 換句話說，咱們想知道是否實驗提升了對收入的理解，從而減小了支持票。 若是是這樣的話，咱們還想估計有多少實驗效果是經過盈利理解的途徑(而不是其餘機制)來調節的。

爲了回答這些問題，咱們使用了以干預爲獨立變量的中介建模，以盈利理解爲中介，以與盈利相關的支持票做爲結果變量(圖4)。 此外，咱們還將駕駛員的實驗前支持票和實驗前收入經驗(例如，之前的收入，終身旅行和活躍天數)做爲控制變量。 咱們經過運行一個敏感度分析以肯定咱們的結果對於未經測量的中介變量-結果混雜因素的強大程度。

圖4. 中介建模測試與收益相關的支持工單背後的基本機制

中介模型結果代表，收入理解確實是收入相關支持工單背後的一個重要機制，約佔總實驗效果的19% 。 基於這些結果，咱們更好地理解了爲何盈利理解是減小客戶支持工單的一個重要途徑。

有了這些看法，咱們能夠更好地設計產品和溝通，提升司機對其收入的理解，從而使用戶體驗更加無縫和愉快。 與此同時，咱們也意識到咱們的團隊有很大的機會進一步利用模型來揭示其他81% 影響的中介機制。 爲了實現這一點，咱們正在與顧客至上團隊合做，測試更多剩餘的行爲機制。 這些結果將推動收益產品路線圖的規劃。

中介模型的將來

中介模型的將來是使人興奮的: 近年來，學術研究人員已經開始研究使用高維數據進行自動中介變量選擇。在這些應用中，咱們能夠指定潛在的數百個中介變量，它們在實驗和結果之間是暫時的。 而後咱們測試治療和每一個候選中介變量之間或者每一個候選中介變量和結果變量之間是否存在統計學上可靠的聯繫。 有了這些方法，咱們就有可能在史無前例的細節上揭開實驗-結果關係的黑匣子。

在 Uber，咱們期待測試這些數據驅動的算法，看看它們與傳統的理論驅動方法相好比何。研究人員在進行研究以前，經過傳統的理論驅動方法指定介質。 咱們認爲中介建模是另外一個有趣的領域，在這裏使用機器學習方法來分析實驗具備很大的潛力。

若是你有興趣利用應用行爲科學爲產品和城市提供動力，能夠到 Uber Labs瞭解工做機會。

參考資料

原文做者： Haoyang Chen, Bonnie Li 譯者： Harry Zhu 英文原文地址:
https://eng.uber.com/mediatio...
https://eng.uber.com/causal-i...

做爲分享主義者(sharism)，本人全部互聯網發佈的圖文均聽從CC版權，轉載請保留做者信息並註明做者 Harry Zhu 的 FinanceR專欄:https://segmentfault.com/blog...，若是涉及源代碼請註明GitHub地址：https://github.com/harryprince。微信號: harryzhustudio商業使用請聯繫做者。