nutch集羣，威力很大，哈哈！！

今天用公司的服務器測試了一把nutch集羣很好很強大！ 之前也測試過，估計和網絡的帶寬有關係吧，效果不是很好，今天測試了一下，確實比單機的速度要快很多！ 我測試的是用3臺虛擬機 每臺是8核心cpu 一個6g內存2個4g內存 然後爬的網址是180個，深度4層，開啓線程200，完成時間是2個多小時，而且資源佔用率也就達到20%   之前用8核心6g內存單機爬取 180個網址，深度4層 開啓線程50個，

>>阅读原文<<