靜態網頁爬蟲

記小白的第一次爬蟲經歷。 實驗環境:Python3.6   IDE :Spyder 需要用到的包:urllib.request(必備),bs4(必備),re,pandas 目標:爬取股吧論壇個股吧(每支股票)第一頁帖子內容(股票代碼、帖子url、帖子標題、帖子內容),並輸出到csv文件 爬蟲框架: 調度器class SpiderMain(object): 創建四個對象(分別爲url管理器對象,下載
相關文章
相關標籤/搜索