book118爬蟲

1. 理解爬蟲   相信大家都使用過瀏覽器,有位爬蟲大佬說過:爬蟲的本質就是模擬瀏覽器請求。 我們在瀏覽器上看到的內容都是經過處理的、渲染出來的。 我們可以看到一個網頁中有很多很多內容,但有用的可能只是其中一小部分。 通過爬蟲模擬瀏覽器請求,獲取所有數據(也就是網頁的內容),然後根據網頁的特點進行分析,提取有用的信息。 上面所說只是爬蟲的其中一個應用,也是我這次用來爬取book118的某本付費書籍
相關文章
相關標籤/搜索