Spark真實生產環境出錯

com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.

獲取正確的端口號
hdfs getconf -confKey fs.default.name

 

java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;

scala版本不一致，修改版本。

spark2 ---scala2.11.x 最高到2.11.x

使用maven的maven-shade-plugin插件時須要注意的一個問題

須要配置一個false

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <configuration>
                    <createDependencyReducedPom>false</createDependencyReducedPom>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>

mac進入Li

command + shift +g