今天，小編聽到有人問：Python爲何叫爬蟲?我想不少人對於這個問題都很好奇，甚至對於Python和爬蟲的概念模糊，今天小編經過這篇文章爲你們詳細解答一下。shell
Python與爬蟲有什麼關係?編程
爬蟲通常是指網絡資源的抓取，由於Python的腳本特性，Python易於配置，對字符的處理也很是靈活，加上Python有豐富的網絡抓取模塊，因此二者常常聯繫在一塊兒。瀏覽器
簡單的用Python本身的Urllib也能夠;用Python寫一個搜索引擎，而搜索引擎就是一個複雜的爬蟲，從這裏你就瞭解到什麼是Python爬蟲了，是基於Python編程而創造出來的一種網絡資源的抓取方式，Python並非爬蟲。cookie
Python爲何適合寫爬蟲?網絡
1抓取網頁自己的接口session
相比其餘靜態語言，如Java、C++、C#，Python抓取網頁文檔的接口更簡潔;對比動態腳本語言，如Prel、shell，Python的urllib2包提供了較爲完整的訪問網頁文檔的API。工具
此外，抓取網頁有時須要模擬瀏覽器的行爲，不少網站對於生硬的爬蟲抓取都是封殺的，這時須要咱們模擬User agent的行爲構造合適的請求，好比：模擬用戶登錄、模擬session/cookie的存儲和設置。網站
2網頁抓取後的處理搜索引擎
抓取的網頁一般須要處理，好比過濾HTML標籤、提取文本等;Python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。url
其實以上功能不少語言和工具均可以作，可是用Python更快、更乾淨。