構建大數據ETL通道--Json數據的流式轉換--Avro轉Parquet（二）

    若是咱們生成的日誌是Avro格式的文件，那麼能夠直接採用 kite-dataset將Avro數據流式轉換成Parquet數據進行存儲，並在Hive進行查詢。如下是具體步驟： 1 建立dataset ./kite-dataset create dataset:hdfs://test/user/litao/test/parquet/litao/ --schema litao.avsc --fo

>>阅读原文<<