網易雲自動化爬蟲方案，24小時爬取10萬首音樂信息，30萬條用戶信息，100萬個熱評

高效自動化網易雲爬蟲系統，自動尋找未爬取的歌曲、用戶進行數據爬取並沒有限循環，理論上只要時間夠就能爬取幾乎全部網易雲的歌曲和用戶信息。筆者用大約24小時的時間就獲取瞭如題的戰果。html 先展現一下成果： music.csv存儲每首歌的歌曲id、歌名、歌手、專輯、專輯圖片url和評論數量信息，部分截圖： comment.csv存儲每首歌的熱評，包括評論所屬歌曲id、評論用戶id、評論獲贊數、評論內

>>阅读原文<<