sc.TextFile() 函數提交多個File

在寫 Spark 程序時,如果數據源分散在不同位置,則需要在 sc.TextFile 的時候指定多個數據源 我們可能會想到的一種錯誤寫法是: 錯誤寫法:sc.TextFile( filename1, filename2, filename3) 經過試驗發現,如果按照這種寫法,在運行 Spark 的時候會報錯退出,通過 applicationId 從 yarn logs 下載日誌後,Tracebac
相關文章
相關標籤/搜索