手寫分佈式爬蟲框架

目錄 分佈式爬蟲框架 Demo 起因 弊端 目標 用最簡單的代碼實現一個爬蟲 建立爬蟲模型（接口） 使用 集羣，異構 需要改動的點 分佈式 後語 分佈式爬蟲框架 Demo 記錄用Java開發一個簡單的分佈式爬蟲框架，從最開始的十幾行代碼到開發一個支持集羣、分佈式的爬蟲框架。 代碼地址：單機版本 分佈式版本 起因 在訓練智能問答機器人的模型時，缺少模型數據，決定使用爬蟲進行。 當前每天的生活如下：

>>阅读原文<<