Python實戰之如何爬取豆瓣電影？本文教你

  爬蟲又稱爲網頁蜘蛛，是一種程序或腳本。 但重點在於，它能夠按照一定的規則，自動獲取網頁信息。 爬蟲的基本原理——通用框架 1.挑選種子URL； 2.講這些URL放入帶抓取的URL列隊； 3.取出帶抓取的URL，下載並存儲進已下載網頁庫中。此外，講這些URL放入帶抓取URL列隊，進入下一循環。 4.分析已抓取列隊中的URL，並且將URL放入帶抓取URL列隊，從而進去下一循環。 5.光理論是不夠的

>>阅读原文<<