Structured Streaming + Kafka 集成中遇到的問題

時間 2019-12-09

標籤 structured streaming kafka 集成遇到問題欄目 Kafka 简体版

原文原文鏈接

官方指導：http://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.htmlhtml

一、版本問題起初用的kafka是0.8，各類問題，後面換成官方要求的 0.10.0 以上，一些版本問題再沒有了。java

二、在windwos 下測試本地模式測試代碼邏輯apache

錯誤1：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)Voop

遇到這個問題請確認一下幾個步驟是否正確測試

一、C:/Windows/System32/和Hadoop—Home/bin目錄下添加hadoop.dll文件spa

二、hadoop_home的環境變量htm

三、hadoop.dll的版本的問題(hadoop2.4以前和以後對hadoop.dll的要求不同)blog

hadoop.dll_2.6ip

錯誤2：Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Zhadoop

　　錯誤2是緊接着錯誤1的，網上說目前錯誤的解決辦法尚未解決，採用一種臨時的方式來解決，解決的辦法是：經過下載你的CDH的版本的源碼（hadoop2.6.0-cdh5.4.4-src.zip），在對應的文件下，hadoop2.6.0-cdh5.4.4-src\hadoop-common-project\hadoop- common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 複製到對應的Eclipse的project（複製的過程當中須要注意一點，就是在當前的工程下建立相同的包路徑，這裏的包路徑org.apache.hadoop.io.nativeio，再將對應NativeIO.java文件複製到對應的包路徑下便可。）

　須要替換的

　　NativeIO.java