爬蟲實踐---一次下完所有小說：排行榜小說批量下載

一、目標   排行榜的地址： http://www.qu.la/paihangbang/ 找到各類排行旁的的每一部小說的名字，和在該網站的鏈接。 二、觀察網頁的結構       很容易就能發現，每一個分類都是包裹在：     之中， 這種條理清晰的網站，大大方便了爬蟲的編寫。 在當前頁面找到所有小說的連接，並保存在列表即可。 三、列表去重的小技巧：   就算是不同類別的小說，也是會重複出現在排行榜

>>阅读原文<<