selenium抓取bilibili拜年祭《千里以外》的評論

bilibili 2019年拜年祭的《千里以外》很好看，因而我想用《python爬蟲開發從入門到實戰》第七章的爬蟲技術抓取一下評論。打開頁面觀察源碼和network發現是用ajax異步加載的，直接訪問打不開，須要僞造headers，有些麻煩。(實際上僞造很是簡單，可是從json串裏提取結果很麻煩，遠沒有直接從網頁的xpath提取簡單，見ajax_get_comment方法。其中CrawlerUti

>>阅读原文<<