Python新手學習網絡爬蟲要做什麼？

爬蟲，被稱爲網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，主要用於搜索引擎,它將一個網站的所有內容與鏈接進行閱讀，並建立相關的全文索引到數據庫中，然後跳到另一個網站。 傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，再不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。   我們自學一段時間Pyt

>>阅读原文<<