nutch1.9知識點及命令與參數

nutch爬蟲技術學習知識點 1、Nutch1.x比Nutch2.x穩定 ① Nutch2.x可以將數據放到HBase、Mysql等數據庫中，但還在開發階段 ② Nutch1.x基於hdfs中SequenceFile文件去存儲、管理海量數據；一輪爬取中，將所有的網頁都放到content文件夾中，文件夾中存有若干個SequenceFile文件，每一個SequenceFile文件存儲的是JAVA對象。

>>阅读原文<<