豆瓣電影短評爬蟲

豆瓣電影短評爬蟲 工具:Pycharm,win10,Python3.6.4 1.需求分析 需要爬取評論者的ID和評論內容,需求十分的簡單。 2.爬蟲思路 我們要的數據直接就在網頁源碼中,只需要獲取網頁源碼,用正則匹配出我們要的信息即可。評論一共有5頁,我們需要通過循環去構建5條url。最後數據寫入txt中。 代碼如下: from urllib import request import re f
相關文章
相關標籤/搜索