爬蟲還是開源的，反正我不信。

開源爬蟲 > DataparkSearch是一個在GNU GPL許可下發布的爬蟲搜索引擎。 > GNU Wget是一個在GPL許可下，使用C語言編寫的命令行式的爬蟲。它主要用於網絡服務器和FTP服務器的鏡像。 > Heritrix是一個互聯網檔案館級的爬蟲，設計的目標爲對大型網絡的大部分內容的定期存檔快照，是使用java編寫的。 > Ht://Dig在它和索引引擎中包括了一個網頁爬蟲。 > HTT

>>阅读原文<<