spark系列-應用篇之經過livy提交Spark任務

前言 上一篇使用yarn api的提交spark任務比較麻煩, 此次咱們使用livy來提交spark任務。livy的使用十分簡單,功能上比yarn api還要強大,支持提交spark代碼片段,session共享html 安裝 下載livy0.5.0,下載完成後進行解壓。 配置conf/livy.conf文件,設置livy.spark.master = yarn。其餘的配置項目,能夠根據你的須要來配
相關文章
相關標籤/搜索