數據採集（七）：爬取豆瓣電影評論（scrapy+模擬登錄）

目標 爬取豆瓣電影上至少10部電影的短評數據。html 本例中爬取開始的連接是豆瓣電影排行榜，能夠看到恰好有10部。python 點擊每一個電影的標題會切入電影簡介頁。web 這個頁面僅包含電影的部分評論。經過訪問「所有**條」超鏈，可進入評論頁。cookie 咱們從該頁面獲取電影的片名、評論用戶、評分、評論內容數據。app 另外爲了得到所有的評論數據，須要注意翻頁，咱們會在程序中處理這種狀況。s

>>阅读原文<<