IDEA遠程提交運行HDFS的Spark程序

之前提交運行spark程序,都是通過spark-submit提交運行的。 但是能不能再IDEA中就執行submit運行程序呢, 以前用過一種方式,就是通過遠程ssh訪問(遠程ssh可以通過JSch實現),通過liunx命令去執行,但是這個顯然不是我期望的。 我的spark程序都是提交給yarn運行的,如果程序直接與yarn通信,按spark-submit源碼中的提交方式去做,是不是也能實現呢。 參
相關文章
相關標籤/搜索