構造 分佈式爬蟲 四步

簡單爬蟲修改成分佈式爬蟲步獲取動態允許的域 1.接收參數 2.將參數中domain字符串彈出 如果沒有彈出空 即‘ ’ 3.將domain變量的字符串切割,用filter過濾,如果有none,0,' '等空的東西直接過濾 得到結果爲真是的表內的值, 自己的寫的時候list轉換一下,這裏得到的是一個列表 4.用super方法調用父類的方法
相關文章
相關標籤/搜索