Spark讀取壓縮文件

個人原創地址：https://dongkelun.com/2018/05/30/sparkGZ/html 前言 本文講如何用spark讀取gz類型的壓縮文件，以及如何解決我遇到的各類問題。linux 一、文件壓縮 下面這一部分摘自Spark快速大數據分析：   在大數據工做中，咱們常常須要對數據進行壓縮以節省存儲空間和網絡傳輸開銷。對於大多數Hadoop輸出格式來講，咱們能夠指定一種壓縮編解碼器來

>>阅读原文<<