spark on yarn cluster模式,異常:NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer

異常出現 咱們能夠看到在org.apache.spark.streaming.kafka010.InternalKafkaConsumer找不到對應的類java 解決方法: 由於spark對應kafka有版本要求,咱們在CDH的spark中搜索kafka 而後選擇0.10 保存以後,而後重啓下Spark 部署以後,從新執行命令mysql spark2-submit \ --master yarn
相關文章
相關標籤/搜索