[hadoop讀書筆記] Hadoop下各技術應用場景

    1、數據採集 對於數據採集主要分爲三類，即結構化數據庫採集，日誌和文件採集，網頁採集。 對於結構化數據庫，採用Sqoop是合適的，可以實現結構化數據庫中數據並行批量入庫到hdfs存儲。 對於網頁採集，前端可以採用Nutch，全文檢索採用lucense，而實際數據存儲最好是入庫到Hbase數據庫。 對於日誌文件的採集，現在最常用的仍然是flume或chukwa，但是我們要看到如果對於日誌文件

>>阅读原文<<