python爬蟲之Beautifulsoup和Scrapy框架的協同工做

最近在開始作關於百度貼吧爬蟲時，遇到了xpath解析貼吧網頁死活解析不出來的狀況，試了火狐和Chrome瀏覽器都是這樣，憤怒之下選擇了使用BeautifulSoup框架，（百度出來的，我是個初學者），折騰了半天總算解析出來一些指望的數據，貼上一些我的遇到的坑和總結的經驗：python # -*- coding: utf-8 -*- import scrapy from bs4 import Bea

>>阅读原文<<