深度爬取網易Lofter的爬蟲

這裏的Lofter的工作是公司要的。主要目的是爬取大量用戶的相冊,之後做計算機視覺的訓練集來用的。個人感覺這個是爬蟲很常見的一個作用領域。(不過說實話,還是感覺有點low,覺得爬蟲還是比較底層的工作。) 說回lofter。像這種爬取圖片的一般都不難。但是Lofter這個網站,難就難在了其網頁中用時間戳來做一系列的包參數,如果沒有仔細研究的話,還是不好請求到包的。 下面看一下我是怎麼完成整個工作的。
相關文章
相關標籤/搜索