構建基礎python爬蟲思路

目的意義 基礎爬蟲分5個模塊,使用多個文件相互配合,實現一個相對完善的數據爬取方案,便於以後更完善的爬蟲做準備。 這裏目的是爬取200條百度百科信息,並生成一個html文件,存儲爬取的站點,詞條,解釋。 本文思路來源書籍。其代碼部分來源書籍。https://book.douban.com/subject/27061630/ 功能模塊 主文件:爬蟲調度器,通過調用其他文件中的方法,完成最終功能實現。
相關文章
相關標籤/搜索