使用scrapy框架項目實踐

任務說明:使用scrapy框架爬取58同城上面的租房信息,同時解密被加密的文字,最後將結果上傳到MongoDB,期間啓動中間件來反爬蟲。 這裏使用Python3.7開發(考慮到Python對漢字不太友好,這裏選擇Python3版本就是爲了避免因爲漢字而導致程序報錯) 首先我們打開pycharm創建項目,創建好的項目目錄如下圖: 定義item 確定我們要爬取的內容,進入58同城的租房板塊,進入租房頁
相關文章
相關標籤/搜索