高德技術評測建設之路

前言

近幾十年是互聯網高速發展的時代。隨着互聯網行業的發展壯大，必然會出現角色的細分，從而演化出了不一樣的職能崗位。隨着日益激烈的市場競爭，修煉內功，提高產品效果也成爲了各公司發展的重要工做。產品效果如何評估？用戶體驗如何度量？本文試圖闡述評測這一新崗位在高德的主要職責，發展進化過程，以及這一崗位所負責的產品效果評估手段與體系搭建。

當你在各搜索引擎輸入評測二字時，看到的相關搜索一般是這樣的：

這些問題其實能表明大部分人對評測的瞭解——就是除了遊戲評測、手機評測、汽車評測、生活用品評測以外，人們對評測其實不太瞭解。互聯網公司裏Title是評測的同窗又是作什麼的呢？也許你們的瞭解就更少了。

作了三年多的評測，在第一年常常面對的靈魂拷問就是：「大家評測是作什麼的？」這種問題回答起來，基本相似於哲學的終極三問了：「你是誰？你從哪兒來？你到哪兒去？」

評測是誰？這是評測的定位問題。評測從哪兒來？這是評測的根基和起源。評測要到哪兒去？這是評測的發展目標和方向。

評測是誰？

簡單地說，評測是評估產品效果的團隊。但願能站在用戶的角度，在上線前驗證需求效果，在上線後經過對自身、用戶數據和競品的全面分析，創建起產品立體的效果評估體系，也就是評測體系。

評測從哪兒來？

要回答這個問題，其實就是——爲何要評測？

如同每一個版本更新，咱們都會關心性能如何同樣，當上線了新的策略時，你們也會一樣關心產品的效果。產品效果如何評估？策略相關的需求開發完成以後，研發實現的實際效果是否和產品經理的預期一致？實際效果又是否和用戶的預期一致？在理想狀況下，這三者應該是無差別的。但咱們也應該有衡量它們之間是否有差別的方式，給出效果變化是否正向的結論，以更好地保障用戶的使用體驗。

此外，即便上線前，全部人都一致給出了正向結論，認爲需求上線後必定會給用戶體驗帶來極大提高。真實的產品體驗如何，仍然得用戶說了算。比較大的修改能夠經過AB實驗的方式圈出小部分用戶，快速收集用戶數據，進一步對需求效果是否正向作出評價。或者直接上線，經過對行爲數據及用戶反饋的分析來完成線上評估。

同時，要在市場上找準本身的位置，對競品的分析必不可少。

有了這些效果評估及分析的需求，就有了評測團隊。

如何進行評測

上線前的離線效果評測及分析、AB實驗及分析、上線後的指標監控及問題分析、問題挖掘，競品監控和分析是常見的評測手段。

1、離線評測

上線前，針對產品的需求，評測的職責是經過各類方式分析及驗證產品效果，給出是否能達到上線標準的結論，同時分析出頭部問題所在。

技術評測團隊成立之初，主要建設的部分有：肯定合做流程、建設評測專業能力和建設評測工具。

• 合做流程

對標一個版本開發的項目流程，從需求肯定到開發，到測試驗證再到上線。評測從需求串講階段開始，明確有哪些需求涉及到效果變化。再根據變化狀況制定評測方案，同時檢查工具是否符合須要，如不然進入工具快速開發階段。而後獲取評測數據，進入評估驗證階段，最後發送報告，給出需求是否經過評測的結論，並對出現的問題進行總結分類。

對於評測介入的不一樣業務線來講，評測的流程大體相同。但因爲業務不一樣，評測方案與方式會有很大不一樣。

• 評測方案

根據產品需求，明確效果修改影響範圍，從而肯定評測樣本、評測方式和評測標準。

• 評測樣本

評測樣本一般會根據需求影響範圍的不一樣，區分爲隨機語料和特定語料。

特定語料通常針對需求修改的特定維度、類型進行抽取，目的是保證評測任務的覆蓋率。隨機語料則是爲了反映需求的真實影響範圍。當一個評測任務須要使用特定語料時。一般建議使用特定及隨機語料各一份，以同時保證足夠的覆蓋，同時瞭解真實影響範圍，確保不會出現不符合預期的變化。

除真實語料外，在特定場景下也會使用本身構建的語料。一般緣由爲：1）策略上線以前沒有真實線上語料；2）影響的場景過小，在真實語料中很難找到足夠的Case。

• 評測標準

評測標準一般涉及到一個概念，即真值。當某類數據在現實世界中有惟一正確答案時，即有絕對真值存在，如數據信息。所以咱們對這類數據的評價標準就是是否跟真值一致。

另外一類是相對真值。來源能夠是用戶日誌。例如，當咱們在判斷提供給用戶的預計到達時間（ETA）是否正確時，能夠用用戶在起終點之間的真實行駛時間做爲真值和咱們的預估時間進行對比。但因爲單一用戶的實際行駛時間受我的行駛習慣以及單次的行駛狀況所影響，並非徹底準確的。所以是相對真值。在搜索等業務線，用戶的點擊行爲，也能夠成爲相對真值，從而成爲效果評測的標準。

是否有真值，真值是否容易獲取，可否大批量自動化的獲取，是在確認評測標準時須要作的判斷。

• 評測方式

對應不一樣的評測目的，咱們給出不一樣的離線評測方式。有真值的業務，經過真值的自動獲取或者標註，能夠實現自動化評測。而無真值的業務線，判斷效果好壞的成本較高，一般須要進行人工評測或者半自動化評測。

人工評測，顧名思義，就是靠人力打分。各搜索公司大概是最先對本身的產品進行效果評估的，谷歌、微軟、百度、蘋果等，都採用了相似的方式對質量進行評價。

Google曾經發布過長達164頁的人工質量評估指南。百度和必應也發佈過相似的文檔。

蘋果在介紹本身的評測體系時，也曾經專門解釋過Human Judgement metrics, why we track them?

• 能夠在上線前發現版本問題。
• 人工評測的指標與定量指標緊密關聯。
• 能夠定義一個版本的總體質量，並可持續跟進效果變動。
• 比用戶反饋更詳細，更容易定位問題。

人工評測缺點不用多說，成本高、覆蓋面小、效率偏低。由於它的優勢，目前仍然是各公司評測體系不可缺乏的一部分。與別的評測手段結合使用時，能起到很好的效果。

要保證人工評測的質量和效率，有三個關鍵點，一是標準，二是流程，三是工具。

標準文檔，相似於操做手冊，目的是下降人員培訓成本，並在一些較難判斷的Case上，儘可能減小你們認知上的差別。因此標準文檔應該越傻瓜越好。定義明確、全部的特殊和例外場景都有示例、在實踐中反覆檢驗，而且保持更新頻率。文檔更新應該有專人負責，而且明確更新週期，同時將更新點同步到全部評估人員。

人工操做錯誤在所不免，沒人能達到百分百的準確。同時須要人工評測的評測對象，一般自己沒有客觀統一的肯定答案，所以你們不免在判斷上有差別。這些問題都須要從流程上加以保障。如同一Case必須多人標註，僅保留一致率較高的Case，不然便丟棄。或者採用初審複審制，經驗較少的人員進行初審，高級人員進行復審。

盲審，這種方式一般在對比時使用，去掉新舊版或者左右版的標識，而且讓結果隨機出現，從而保證評測人員的客觀性，不受主觀因素影響。

人工評測中的人，一般也有兩種身份。一種是普通用戶，一種是專家。專家評測須要站在更專業的視角，結合本身對業務的理解和經驗才能得出結論。另外一種則是普通用戶也能站在本身的視角給出效果好壞。後一種能夠進行衆測，達到較大範圍的收取用戶體驗與反饋，同時得到一些真實數據支持迭代優化的效果。地圖導航因爲其專業性，一般須要進行專家評測。

• 評測工具

評測工具是評測效率和質量的保證。核心功能包括，數據倉庫、任務管理、任務的抓取和解析，diff統計和篩選，任務實例的展現、評測、流轉，抽樣、分配，結果管理、自動化報告。

通用流程以外的任務類型、打分方式、 Case形態均可以本身定義。因爲大部分是對比類的評測任務，如何作diff也很是關鍵，儘可能把業務關注的各個重點都進行diff差分。以便快速瞭解迭代效果影響面，以及快速定位問題。專家型評測在分析和定位問題時，還須要輔助分析或者判斷的數據及工具。工具的接入經常能極大地提升評測效率。

人工評測可以良好運行，有了必定的評測經驗積累和業務瞭解以後，開始進行半自動化和自動化的評測建設。

方式包括定義指標波動閾值和極端Case的冒煙評測，及模擬人工評測的自動打分模型。

自動打分模型經過學習人工評測的特徵，自動給出GSB的評分，統計評分結果，對評測任務的效果進行初步斷定。目前能夠成爲輔助判斷的參考手段。

冒煙評測先定義出業務核心關注的場景和維度，設定指標。並根據既往評測經驗計算出可接受的波動閾值。另外定義出在效果變化上不可接受的惡劣Case。對於部分須要快速驗證上線的實驗，能夠實現縮短評測週期，並保證無異常的效果。在部分業務線藉此實現了自動發佈上線的過程。

指標分析+異常檢驗的評測方式，是目前無真值業務線離線評測的最佳實踐方式之一。經過定義總體指標、場景指標、異常指標，造成較爲全面的指標體系。觀察新版本在不一樣狀況下的指標總體波動和分佈變化。在過程當中篩出異常Case再進行人工校驗。最終根據指標變化狀況和人工檢驗結果給出結論。如無異常則能夠快速經過評測。

最後，路測是導航產品效果驗證的終極手段。從用戶視角體驗並評估全過程。雖然成本高，效率低，但必不可少，與其餘手段並用，也是上線前效果保障的方式之一。

2、AB實驗

部分需求尤爲是模型調優。須要上線觀察效果。所以在快速經過離線評測以後，進入AB階段進行效果評估。

AB的核心鏈路是分流打標、指標觀測和實驗結論產出。關鍵點是實驗的科學性。效果評估鏈路中，AB能力的具有不難，但AB實驗的建設是個長期的過程，在此不贅述。

3、線上驗證

通過離線驗證、AB實驗，證實效果都是正向以後，需求一般全量上線，上線以後的效果如何，須要對線上指標進行分析，並觀察用戶反饋狀況，瞭解是否在覈心指標上有預期的收益，以及觀察指標是否有異常變化。

一個產品的核心是知足用戶需求，創造用戶價值。所以是否知足了用戶需求，用戶滿意度如何，產品在市場上的狀況怎麼樣，必然是一個產品創造者要長期關注和回答的問題。以上即是咱們試圖去回答這些問題的方式。

結語

評測的建設過程，其實也是產品效果評估立體體系的搭建過程。這個職責在任何一個互聯網公司都須要有人承擔。不過角色也許是測試、也許是產品、也許是運營。在高德，之因此把這個角色獨立出來，源於對用戶體驗和產品效果的重視。這一體系固然遠遠未臻完美，還在不斷搭建進化的過程當中，咱們始終但願可以經過不斷努力，讓出行更美好。