自定義SparkSql語法的通常步驟

        SparkSql提供了對Hive的結構化查詢語言，在某些業務場景下，咱們可能須要對sql語法進行擴展，在此以自定義merge語法說明其通常步驟。html         Hive中parquet格式表的數據文件可能會包含大量碎片文件(每次執行insert時都會產生獨立的parquet文件)，碎文件過多會影響hdfs讀寫效率，對錶中的文件合併的通常步驟是經過對rdd作repartit

>>阅读原文<<