Spark讀寫OSS並使用OSS Select來加速查詢

Spark讀寫OSS 基於這篇文章搭建的CDH6以及配置，我們來使Spark能夠讀寫OSS(其他版本的Spark都是類似的做法，不再贅述)。 由於默認Spark並沒有將OSS的支持包放到它的CLASSPATH裏面，所以我們需要執行如下命令 下面的步驟需要在所有的CDH節點執行 進入到$CDH_HOME/lib/spark目錄, 執行如下命令 [[email protected] spark]# c

>>阅读原文<<