Spark Pipe調用外部程序

spark 中，有種特殊的Rdd，即pipedRdd，提供了調用外部程序如基於CUDA的C++程序，使其可以更快的進行計算。caffe on spark 和tensorflow on spark 也是基於此機制，那麼，spark 和 外部程序是怎麼交互的呢？ 下面經過一個簡單的例子驗證。web 步驟1：建立外部腳本 #!/bin/sh echo "Running shell script" whi

>>阅读原文<<