spark開發機中調試snappy

目的

在Idea中的點擊運行,使spark能夠直接讀取snappyapp

本身編譯hadoop,以支持snappy的壓縮。

本身編譯的目的就是要獲得支持snappy文件讀寫的動態連接庫。若是能夠在網上下載,能夠跳過自行編譯ide

如何編譯參考:http://www.javashuo.com/article/p-wybsvpiy-ea.htmloop

idea中添加本地動態連接庫

光標選擇項目直接快捷鍵idea

ctrl + alt + shift + s 調出項目結構界面 spa

選擇編譯hadoop後本身動態連接庫所放的目錄.net

配置好後,就能夠像讀取文本文件同樣讀取snappy文件了blog

相關文章
相關標籤/搜索