java寫Spark程序之PairFaltMapFunction

PairFaltMapFunction 相似java8的flatmap方法，會返回一個value爲集合的map.

在這裏須要注意的是實現PairFaltMapFunction 

Java版本 spark2.0如下

JavaPairRDD<String, Integer> wordPairRDD = lines.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
            @Override
            public Iterable<Tuple2<String, Integer>> call(String s) throws Exception {
                //TODO
                return List;
            }
        });

java版本 spark2.0以上 
主要是iterator和iteratable的一些區別

        JavaPairRDD<String, Integer> wordPairRDD = lines.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
            @Override
            public Iterator<Tuple2<String, Integer>> call(String s) throws Exception {
                return List.iterator();
            }
        });
 

因此java引入的Spark包版本必定要跟服務器上運行的Spark版本相符，否則就會出現 AbstractMethodError