spark 批量寫入redis (pipeline + 分批提交)

spark 和redis交互的文章網上太多，涉及批量到寫redis大都用pipline模式。總感受美中不足，由於pipeline是將命令進行打包處理，大數據量下pipline()慢且致使內存不足。 花了一點時間實現了redis批量提交，作個筆記備忘。java package com.hooray.spark.sass2.programweb import java.util.concurrent.

>>阅读原文<<