用戶反饋驅動抖音產品體驗優化實踐

摘要

抖音App天天收到大量的用戶反饋，經過NLP智能反饋打標模型賦能了反饋數據場景化標籤的構建，實現了面向業務視角的體驗指標聚合。詞聚類算法實時提煉每日反饋熱點，快速聚焦問題發現。構建於智能算法之上的體驗管理平臺旨在經過技術平臺化的方式，結合反饋驅動的機制，從反饋中挖掘出對抖音系產品留存、增加或口碑提高的可能點，推進體驗問題治理改進，提高產品體驗。

平臺背景簡介

抖音App擁有億級別的日活用戶量，天天能收到大量的用戶意見反饋，用戶反饋對於將來的產品開發、改善客戶體驗和總體客戶滿意度相當重要。妥善處理用戶的負面反饋，有助於有效提升用戶忠誠度。從海量級的用戶反饋數據中提取有價值的反饋信息，常常面臨兩個痛點：

• 一是反饋缺乏場景化，沒法更精細粒度地對反饋數據進行分類歸因，而且階段性對場景作體驗提高。
• 二是反饋有效性差，如何從海量反饋中提取有效的用戶反饋信息，進一步進行問題定位，運營改進、反饋閉環、從而達到體驗提高。

基於這樣的痛點和業務訴求，用戶體驗管理平臺應運而生，旨在經過技術平臺化的方式，結合反饋驅動的機制，以產品化數據化的手段從反饋中挖掘出對抖音系產品留存、增加或口碑提高的可能點，推進體驗問題治理改進，提高產品體驗。平臺系統架構圖以下圖所示：

反饋生命週期

用戶提交反饋後，端上按照規定的參數上報至反饋服務端進行存儲，反饋後臺從數據庫撈出數據在控制檯呈現，供各角色對反饋數據進行處理和消費。具體示意圖以下所示：

如圖中所示，體驗管理平臺位於反饋生命週期的最後一環，在技術架構設計上咱們分紅了兩個部分，一部分是反饋工做臺，圍繞對反饋原始數據的打標、過濾、分類等操做。第二部分是體驗管理平臺，體驗管理平臺基於標籤的分類作場景映射，而後提煉出有價值的數據指標、並對指標數據作下鑽延伸，提供畫像級分析概括，並提供體驗管理專項對問題跟進，推動工單解決，完成體驗的閉環。基於上面的認知，咱們將平臺化系統分紅五個大的模塊，分別是反饋工做臺、標籤場景化、體驗指標概覽、畫像原聲深度檢索分析、體驗專項管理。

NLP賦能場景化標籤構建

基於NLP技術的智能反饋打標模型

搭建一個反饋管理工做臺是處理反饋進線數據的必備條件，旨在提供對用戶反饋的查看、回覆、分類、標記。同時維護對分類標籤樹內容以及邏輯個性化自定義配置。

面對海量用戶反饋數據，人工打標是很是低效的。平臺經過前置引入無效反饋打標模型，可以過濾無效的用戶反饋，提高運營處理效率；經過引入預訓練的神經網絡技術，理解和識別用戶反饋意圖，顯著提高了用戶反饋分類的準確率和及時性。咱們預訓練模型訓練步驟主要包括：

1. 在用戶反饋數據集進行領域自適應預訓練，有效學習反饋領域中經常使用的語言知識；
2. 在目標業務數據集上進行任務自適應預訓練，有效學習該特定領域下的經常使用知識；
3. 在目標數據集上訓練分類模型，可以有效擬合具體業務的分類目標。採用了繼續預訓練方法以後，用戶反饋打標模型效果獲得顯著提高。

爲了解決長尾標籤樣本數量不均衡的問題，咱們在預訓練模型的基礎上，採用了標籤遷移學習與多標籤分類技術，顯著提升了長尾標籤的預測效果；爲了支持運營側對不一樣粒度反饋場景進行分析的需求，同時引入了層次分類技術，可以有效學習標籤間的樹形結構關係，也在必定程度下緩解了標籤樣本不均衡的問題，提升了反饋打標模型的總體準確率。

業務場景標籤映射

經過反饋管理工做臺，對反饋進線數據完成了標籤化分類，可是面臨複雜的業務產品線以及跨渠道產品訴求，沒法精準地將反饋數據和業務產品線關聯起來，面向業務視角的體驗指標將沒法聚合實現。基於這樣的訴求，搭建一個可視化控制檯提供自主性業務標籤配置管理關係，實現業務的可插拔式靈活配置，來完成業務到標籤到元數據的底層關聯，提高保障平臺功能的可複用性。

實現一個業務場景標籤映射配置模塊，須要涵蓋以下功能：對標籤配置項的列表展現與檢索，新增字段集、編輯與批量操做、發佈上線、版本回滾等。

其中比較複雜的部分爲新增字段集，歸因是標籤模型採用的是一級標籤+二級標籤+三級標籤的樹狀級聯結構方式，舉例說明，一級標籤爲：廣告相關；二級標籤：吐槽廣告多、內容不喜歡、體驗不流暢；二級標籤下的吐槽廣告多又能夠分拆爲三級標籤：吐槽賣貨廣告多、吐槽遊戲廣告多、吐槽借貸廣告多。

而構建於標籤之上的業務場景模型一樣採用的是樹狀級聯結構模型，如上圖所示：業務定義爲：抖音極速版。場景定義爲：廣告相關場景。所關聯的標籤有：吐槽賣貨廣告多、吐槽遊戲廣告多、吐槽借貸廣告多等，文中所闡述的業務關係圖以下圖所示：

數據驅動問題發現

反饋標籤場景化將業務場景和底層的數據進行了映射關聯，爲基於業務維度的聚合分析創造了條件，接下來咱們把問題聚焦到如何將體驗問題量化，找到合理的指標是問題的重中之重。NPS：NPS的核心就是調研用戶是否願意將這個產品推薦給其餘人，以此體現用戶是否對你的產品真正滿意。雖然NPS是比較不錯的體驗指標，可是反饋數據源重點關注的是用戶評論和產品建議，和NPS有必定差別，基於上面的背景，設計了求助率這個指標，旨在客觀衡量體驗問題。從平臺設計的角度上看，指望隨着產品體驗問題的改進，求助率是應該不斷下降的過程。

體驗指標量化

咱們定義求助率爲：反饋總量/百萬DAU。 DAU定義爲：日活躍用戶數量。百萬DAU以百萬日活用戶作最小單元。原則上隨着體驗問題的不斷改進，求助率會呈現降低趨勢；反饋量TOP場景也是重點關注的體驗指標。根據系統前置構建的場景標籤化模型，技術上能夠很是方便地聚合出反饋量TOP場景，與此同時能夠附加一些體驗指標，好比反饋變化率TOP場景、反饋變化量TOP場景。

反饋變化率定義爲：對所選週期下最後一級問題進行週期環比，求出變化百分比，並正序取Top5展現。反饋變化量定義爲：對所選週期下最後一級問題進行週期環比，求出變化量，並正序取Top5展現。與此同時，咱們以天爲維度，將求助率和反饋量TOP作關聯，實現指標間的下鑽和關聯，提高數據指標的聯動性。熱點高頻熱點詞，可讓運營同窗直觀地看到必定時間區間下的熱點關鍵詞，也是衡量體驗指標的一個重要參考點，如下將重點介紹聚類下的實時熱點高頻詞。

聚類下的實時熱點高頻詞

爲了可以實時展現反饋數據中用戶描述的主要內容，咱們開發了一款詞雲工具，可以在平臺上實時展現用戶反饋的關鍵詞和關鍵短語。這款詞雲工具涉及的NLP技術包括智能分詞、新詞發現、關鍵詞抽取和詞聚類算法。傳統分詞算法分詞粒度較細，會致使詞雲的信息量不足，難以直接觀察出背後的主要問題，而咱們提出的智能分詞和關鍵詞抽取算法，經過剔除反饋描述中的無效成分，僅保留有效文字內容，可以有效挖掘反饋描述中的關鍵短語，解決了詞雲信息量不足的問題。

爲了不分詞算法不許確致使關鍵內容的缺失，咱們提出了新詞發現算法，它可以定時挖掘反饋數據中的新詞，並及時將新詞加入到智能分詞模塊中，從而支持統計新詞的詞頻。詞聚類算法是爲了找到詞雲中的類似熱詞，將類似熱詞的出現頻次進行彙總展現，可以幫助運營側更準確和高效地發現問題。

畫像原聲檢索提高體驗問題分析定位

用戶畫像即創建在一系列真實數據之上的目標用戶模型。面對天天數量龐大的反饋意見，從這些反饋中梳理出用戶畫像，可以幫助咱們具體地、標籤化地、有針對性地認識和挖掘出目標用戶，定義他們的特徵，聚類他們的訴求，並同步給到運營和產品人員，爲後續進一步提高用戶體驗提供數據支撐。

體驗指標能夠宏觀地、粗粒度地定位聚焦到場景問題，可是缺少對相關原聲的定位，追蹤和分析。原聲畫像分析模塊旨在構建一個原聲數據索引分析查詢系統，經過對各個維度的聚合分析、實時索引分類原聲數據，爲體驗指標的問題分析提供了便利。以抖音側爲例，咱們提供了性別、城市、年齡、手機品牌、手機價格、手機系統等多個維度的篩選條件和畫像分析。

畫像分析對體驗指標分析與問題定位有着很是有效的幫助，舉例說明以檢索字體問題關鍵詞得出的反饋用戶畫像中，Android的反饋量明顯超過其餘系統，基於此能夠提出相應的體驗專項治理方案來重點跟進Android版本等相關問題，此項優化能夠大大減小該反饋的梳理，下降求助率體驗指標。由此能夠看出體驗原聲檢索對體驗問題排查、分析都有着不可缺乏的做用。

體驗管理造成閉環

從體驗指標、原聲分析中挖掘出的體驗問題或改進點，須要被及時地反饋到對應的產研同窗以制定方案執行改進，預期收穫體驗指標的正向反饋，提高用戶滿意度。

體驗管理專項指望經過web平臺化的能力，打通反饋驅動改進的業務閉環，在用戶與產研之間造成有效鏈接。經過關聯反饋關鍵詞、標籤或具體反饋ID，精準地提出體驗專項需求；經過嚴格的流程，高效管理體驗需求的執行進度；經過各環節的權限管控，更精細化地管理各個業務產品線的體驗問題；經過操做記錄，清晰地展現一個需求從提出到完結的執行週期。

體驗管理專項做爲反饋驅動業務的最後一環，預期收益爲下降用戶求助率。但業務不斷迭代，新的feature可能給用戶帶來新的問題，所以總體/粗粒度場景下的反饋率、求助率並不必定能反映體驗專項改進的效果，而細分標籤下的反饋量變化趨勢能更精確地評估體驗專項的效果。此外，平臺提供了紅黑榜機制，統計各個業務場景下體驗問題被提出後的響應率與解決率並進行排行，展現相關處理人，以激勵推動體驗業務改進。

• 定義響應率：最近雙月內，在某一個場景下，「建立且接口人有過操做的專項數-廢棄專項數」/「建立的總專項數-廢棄專項數」。
• 定義解決率：最近雙月內，在某一個場景下，「建立且狀態爲「已完成」狀態的專項數」/「建立的總專項數-廢棄專項數」。

目前的指標並不能足夠精準地評估體驗專項管理對於業務的改進程度，這也是一個往後努力的方向。

平臺數據索引加速方案

構建於海量數據之上的數據檢索系統，一般會面臨比較大的計算耗時，若是不作合理的架構優化，對於平臺自己使用起來體驗會很是差，不利於運營人員分析和快速定位問題，爲此設計一套數據加速方案，指望經過技術的手段來優化總體上網站的索引檢索耗時，提高平臺級的檢索速度，減小沒必要要的計算資源消耗，提高平臺穩定性、易用性。

爲了儘量提升接口響應速度，減小異常咱們使用了一系列方法進行保障：

• 離線預處理：因爲部分指標是T+1的，爲了減小在接到用戶請求時的計算量，咱們使用離線的方式對數據進行了預處理。對於一些計算量大，耗時長，變化小的請求，咱們使用天級別的離線任務計算出了天天的結果，在後續計算中直接使用預處理的數據進行計算，以減小計算量，加快接口響應。

• 緩存刷新：有一些常見的場景，好比總體的求助率趨勢、詞雲、反饋重點問題等， 存在大量的重複請求，若是緩存過時，沒法命中緩存，這些請求的響應時長會明顯增長，進而影響用戶體驗，爲了對這部分請求進行更進一步的優化，咱們定時對緩存進行刷新，確保常見請求直接命中緩存。

• 兜底數據維護：爲了應對離線預處理數據和數據源都異常的極端狀況，咱們構建了兜底策略對極端場景進行兜底。兜底數據刷新任務會定時維護兜底數據，當正常請求異常的時候，咱們會從兜底數據讀取數據。

• 用戶請求過程：一個完整的用戶請求過程以下：後端接到用戶請求以後，首先請求緩存，若是緩存命中，直接返回緩存的結果。若是沒有命中緩存而且預處理數據存在，嘗試根據離線任務預處理的數據進行計算，不然根據原始數據進行計算，計算成功後，更新緩存，返回結果。極端場景下，當緩存無數據、離線任務異常、數據源異常同時出現時，咱們直接從兜底數據中查詢數據。

總結

體驗管理平臺基於用戶反饋數據，結合技術化的手段將體驗管理線上化、平臺化，旨在能有效改進抖音側產品體驗問題，真正落實讓用戶加入到字節的發展中來，讓用戶產生歸屬感。在實踐過程當中沉澱出反饋工做臺、標籤場景化、體驗指標概覽、畫像原聲檢索分析、體驗專項管理五大核心模塊，支撐了抖音側近幾十個業務場景，爲產品改進和體驗提高保駕護航。更好地抽象平臺系統能力，打造一個業界領先的體驗管理平臺，是咱們的願景和使命。

加入咱們

咱們是字節跳動互娛研發效能團隊，互娛研發負責抖音、抖音火山版、剪映、FaceU、輕顏、直播、音樂等多款明星產品的研發，目前，抖音日活（DAU）已經突破6億，並繼續保持高速增加。

研發效能團隊主打服務化+智能化, 旨在經過工具平臺+算法，賦能互娛的各個業務場景，團隊職能包括但不限於提高研發效能，保證內容質量，優化用戶體驗，保障業務安全等。

團隊擁有算法，工程（前端、後臺以及客戶端）、數據（大數據、DA）、產品、測試等多種職能崗位，能夠高效自閉環進行智能平臺產品的設計研發，具備多個公司級影響力的智能化平臺產品成功落地經驗。

團隊發展迅速，年輕富有朝氣，注重技術氛圍建設，積極參與國內外各頂尖行業技術會議，輸出高質量技術專利和相關論文，工做Base地有深圳、杭州、北京多地可選。

加入咱們，讓你的每一行代碼都能服務全球億萬用戶。

簡歷投遞郵箱：iesep@bytedance.com；郵件標題：姓名 - 技術棧 - 研發效能。