10月29日社區直播【Spark Shuffle RPMem擴展: 藉助持久內存與RDMA加速Spark 數據分析】

主題：

Spark Shuffle RPMem擴展: 藉助持久內存與RDMA加速Spark 數據分析

時間：

10月29日 19:00

觀看方式：

掃描下方二維碼進釘釘羣
或者登錄直播間（即回看連接）
https://developer.aliyun.com/live/245610

講師：

張建，英特爾亞太研發有限公司大數據部門的軟件工程經理，專一於大數據和機器學習中存儲方案優化

議題介紹：

Spark Shuffle RPMem擴展提供了一個基於PMem 和RDMA 來加速Shuffle的方案，它採用PMem 做爲Shuffle的存儲介質，利用PMDK 用戶態編程庫進行數據讀寫，減少用戶態、內核態切換與文件系統開銷；用基於RDMA網絡協議異構的傳輸層實現高性能數據傳輸；還將RDMA直接註冊在PMem上，減小內存拷貝。
本次直播介紹如何利用持久化內存與高性能RDMA 網絡來加速Spark Shuffle。

本文分享自微信公衆號 - Apache Spark技術交流社區（E-MapReduce_Spark）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。