注：微信公衆號不按照時間排序，請關注「亨利筆記」，並加星標以置頂，以避免錯過更新。git
咱們 VMware 雲原生實驗室的團隊在參與聯邦學習領域的開源項目 FATE 和 KubeFATE 的貢獻，幫助用戶應對鏈接數據孤島、打破部門牆的挑戰，即解決人工智能的最後一千米的問題。本文轉發自 FATE開源社區 公衆號。github
企業發展到必定階段，各事業部之間的數據每每都各自存儲，各自定義。每一個事業部的數據就像一個個孤島同樣，沒法進行鏈接互動。又或者不一樣機構組織間，受隱私保護條例法律的約束，沒法進行關聯交互，這樣的狀況稱爲「數據孤島」。算法
爲了鏈接不一樣組織機構間的數據，使數據獲得更大的應用價值，微衆銀行人工智能部提出了基於「聯邦學習」的系統性的通用解決方案，並在2019年開源了全球首個工業級開源框架——FATE。c#
經歷了近兩年的沉澱，FATE在近期發佈了首個長效穩定版本v1.5（下稱LTS）。這兩年期間，FATE在開源倉庫GitHub上，FATE團隊累計合入提交代碼7600+次,根據調研需求完成上百項不一樣用戶場景的功能新增與迭代。經過開源社區大量不一樣行業領域的用戶，不一樣應用場景的生產環境反饋積累，FATE獲得了全面的完善提高。安全
據官方團隊介紹，這次版本規劃將會持續維護兩年以上，爲商業化應用提供穩定基礎，將來將持續探索多方聯合建模，數據應用的更多可能性。同時經歷過系統框架層重構後，不只在性能表現上有長足的進步，1.5LTS版本還具有優秀的靈活擴展性，用戶能夠便捷按需取用不一樣模塊，進行二次開發。性能優化
如下爲FATE v1.5 LTS版本微信
各模塊的詳細介紹網絡
FederatedML架構
性能再翻番，覆蓋更全面的聯邦算法，提高工業實用性併發
做爲長效版本，咱們吸收了來自衆多行業的社區用戶生產經驗，爲了兼顧不一樣領域的場景，咱們加入了更多的算法、協議等，如新增縱向聯邦FastSecureBoost、縱向聯邦SecureBoost的complete secure機制、DataStatistic、縱向KMeans、評分卡，以及Oblivious Transfer協議和RandomIterativeAffine同態加密協議。
除此之外，針對已有算法進行升級與優化，如縱向FTL的全新重構，使得性能比上一版本呈指數級的提高；縱向聯邦 SecureBoost 直方圖統計過程使用矩陣運算對高維稀疏數據優化；縱向聯邦 SecureBoost 預測性能優化，預測交互次數下降爲樹最大深度，在100 顆樹下能達到32倍的性能提高；縱向特徵選擇全新升級，增長 SecureBoost 特徵重要度&特徵PSI指標過濾器；縱向聯邦特徵分箱計算邏輯優化，性能提高30%-50%；縱向GLM計算邏輯優化，性能提高10%+。更多的提高體驗，歡迎前往github.com/FederatedAI獲取體驗。
FATE-Flow
易擴展，高可用
FATE-Flow是聯邦學習框架FATE的做業調度系統，實現聯邦學習做業生命週期的完整管理，其中包括數據輸入、訓練做業調度、指標追蹤、模型中心等功能。
這次版本更新，核心的調度能力升級，支持組件多輸出、組件任務並行和組件任務重跑；資源調度能力升級，依據不一樣計算引擎，支持調整核數、內存、工做節點數粒度。除此之外，還新增了DSL v二、模型註冊中心，以及適配各類數據源的數據讀取組件，大大地提高了易用性。
FATE-Client
全新的fate調用方式
FATE-Client包括Pipeline、Flow CLI v2和Flow SDK，經過發佈pypi包的形式，用戶經過pip指令能夠直接安裝和使用，這個fate 第一次提供這樣的調用方式，簡化用戶使用pipeline或者fate cli指令的流程。
FATE-Test
自動化、自動化、自動化，重要的事情說三遍
FATE-Test模塊是fate-1.5版本的新特點，目前提供全面迴歸fate算法庫全部功能，以及經常使用的建模算法中心化訓練與FATE聯邦訓練的正確性對比，及算子調用和傳輸時間統計。
未來，FATE-Test模塊會集成更多新的功能，好比大數據壓力測試、多任務併發等等，自動化測試是將來的終極目標。
FATE-Board
數據與交互解耦，效率與流暢度提高
FATEBoard是聯邦學習建模的可視化工具，旨在幫助用戶簡單而高效地理解模型與探索模型，從而更有效地調試和改善模型效果。
此次豐富的更新，提供更多新增算法模型的可視化，並提高已有算法模型的可視化，同時圖形界面的可操做空間也有提高，如任務重試以及從FATEBoard下載算法組件的模型和數據等。
以上爲FATE各個模塊的詳細介紹。這次更新，FATE系統總體的結構彈性化是一重要的優化。全新的架構，支持了不一樣的計算、存儲、傳輸引擎結合，以及新增的Spark、HDFS、RabbitMQ引擎，新增的數據表管理功能，儲存引擎統一的API，都在幫助不一樣行業領域用戶，按需取用FATE不一樣的功能模塊。
據介紹，新增的能力有許可能是來自於開源社區中的體驗反饋，也由於不斷反饋到不斷實現的正循環，FATE開源社區已經壯大至超過500家企業與220所高校等科研機構的開發團隊參與共建。
此次FATE LTS的版本，除了總結這近千個合做夥伴的業務場景經驗，給予穩定工業生產的版本更新之外。團隊將會挖掘將來商業化的可能性，如近期開源的聯邦學習雲服務——FATE Cloud，該模塊使FATE可實現多雲管理，造成了一種安全的聯邦數據網絡。旨在爲跨機構間、機構內部不一樣組織間提供安全可靠、合規的數據合做網絡構建解決方案，提供企業級的聯邦學習生產力應用解決方案。開源倉庫位於GitHub/FederatedAI/FATE-Cloud，歡迎前往獲取。
對用戶關注的聯邦學習平臺運維管理，可使用 KubeFATE 項目的雲原生解決方案。更多細節將在後續文章中介紹，敬請關注。
相關文章：
詳情可查閱 FATE / KubeFATE 官網項目文檔：
https://fate.fedai.org/contribute/
https://github.com/FederatedAI/KubeFATE
知乎：FedAI聯邦學習
CSDN：FedAI Ecosystem
bilibili：FedAI聯邦學習
要想了解雲原生、區塊鏈和人工智能等技術原理，請當即長按如下二維碼，關注本公衆號亨利筆記 （ henglibiji )，以避免錯過更新。