SparkSQL讀取Hive數據插入Redis

（1）背景 目前使用Python讀取Hive表，解析轉換以後併發插入Redis，使用fetchone方法讀取速度較慢，Python轉換處理的速度也較慢。因此須要優化插入Redis的流程。java 考慮使用SparkSQL讀取數據插入Redis。redis （2）優化思路步驟數據庫 1）首先使用collection_list批量處理每一個字段。服務器 測試的時候報錯，數據量到達上限的時候，會OOM或

>>阅读原文<<