Hive導入10G數據的測試

  前言 Hadoop和Hive的環境已經搭建起來了，開始導入數據進行測試。我的數據1G大概對應500W行，MySQL的查詢500W行大概3.29秒，用hive同樣的查詢大概30秒。如果我們把數據增加到10G，100G，讓我們來看看Hive的表現吧。 目錄 導出MySQL數據 導入到Hive 優化導入過程Hive Bucket 執行查詢 1. 導出MySQL數據 下面是我的表，每天會產生一新表，用

>>阅读原文<<