速速收藏！使用Apache Spark實現ETL 300％的速度提高

當技術團隊開始將現有系統和EDH（企業數據中心）集羣拼接在一塊兒時，一般會採用如下常見的設計模式：將文件轉儲（一般爲CSV格式）按期上傳到EDH中，接着進行解壓縮，轉換爲最佳查詢格式，而後隱藏在HDFS中，在這裏各類EDH組件均可以使用它們。設計模式 當這些文件轉儲很大或很常常出現時，這些簡單的步驟可能會顯著減慢數據擷取管道的速度。這種延遲的一部分是不可避免的；因爲物理限制因素，跨網絡移動大文件是

>>阅读原文<<