Python爬取B站《工作細胞》短評—異步加載信息的爬取

很多網頁的信息都是通過異步加載的，本文就舉例討論下此類網頁的抓取。   《工作細胞》最近比較火，bilibili 上目前的短評已經有17000多條。 先看分析下頁面   右邊 li 標籤中的就是短評信息，一共20條。一般我們加載大量數據的時候，都會做分頁，但是這個頁面沒有，只有一個滾動條。 隨着滾動條往下拉，信息自動加載了，如下圖，變40條了。由此可見，短評是通過異步加載的。 我們不可能一次性將滾

>>阅读原文<<