網絡爬蟲採集數據幾個問題

最近在作網絡爬蟲抓取數據，遇到幾個重要問題，記錄下來，以避免忘記。css 目前用的是第三方開源爬蟲框架webmagic，因此暫時記錄下來的不是爬蟲實現和結構上的問題，而主要是在此框架上的邏輯開發問題。html 1.要採集的數據在不一樣的頁面上前端         好比，採集網站http://down.7po.com/上的應用，在應用列表頁面有應用的id等信息，而此應用的詳細頁面沒有列表頁面的這些字

>>阅读原文<<