基於Python+scrapy+redis的分佈式爬蟲實現框架

        爬蟲技術，不管是在學術領域，仍是在工程領域，都扮演者很是重要的角色。相比於其餘技術，爬蟲技術雖然在實現上比較簡單，沒有那麼多深奧的技術難點，但想要構建一套穩定、高效、自動化的爬蟲框架，也並非一件容易的事情。這裏筆者打算就我的經驗，介紹一種分佈式爬蟲框架的實現方法和工做原理，來給剛剛入門爬蟲的同窗們一點啓發和提示。同時也但願大牛們能發表一些見解。mysql 框架的幾個關鍵技術點： （

>>阅读原文<<