Scrapy框架學習

最開始學習爬蟲的時候，我用的是urllib2和BeautifulSoup這兩個庫，使用這兩個庫的時候，所有爬蟲的框架都要自己寫，一開始還覺得沒什麼，到最後寫的越來越多的時候就覺得很麻煩，因爲我的重點是爬取數據分析數據啊，不是浪費時間去寫什麼爬蟲框架。 後來瞭解到scrapy這個框架，用這個框架寫爬蟲的話感覺真的非常爽，因爲它真的很高效。比如原來你用urllib2和BeautifulSoup寫個20

>>阅读原文<<