Python爬蟲基礎

1. 爬蟲簡介 爬蟲：一段自動抓取互聯網信息的程序。 價值：互聯網數據，爲我所用！ 2. 簡單爬蟲架構 Python簡單爬蟲架構 Python簡單爬蟲架構的動態運行流程 3. URL管理器 RUL管理器 管理待爬取RUL集合和已抓取URL集合。 防止重複抓取、防止循環抓取 實現方式 內存 如Python中： 待爬取URL集合：set() 已爬取URL集合：set() 關係數據庫 如MySQL： u

>>阅读原文<<