爬蟲模塊大全

網絡

• 通用

1. urllib -網絡庫(stdlib)。
2. requests -網絡庫。
3. grab – 網絡庫（基於pycurl）。
4. pycurl – 網絡庫（綁定libcurl）。
5. urllib3 – Python HTTP庫，安全鏈接池、支持文件post、可用性高。
6. httplib2 – 網絡庫。
7. RoboBrowser – 一個簡單的、極具Python風格的Python庫，無需獨立的瀏覽器便可瀏覽網頁。
8. MechanicalSoup -一個與網站自動交互Python庫。
9. mechanize -有狀態、可編程的Web瀏覽庫。
10. socket – 底層網絡接口(stdlib)。
11. Unirest for Python – Unirest是一套可用於多種語言的輕量級的HTTP庫。
12. hyper – Python的HTTP/2客戶端。
13. PySocks – SocksiPy更新並積極維護的版本，包括錯誤修復和一些其餘的特徵。做爲socket模塊的直接替換。

• 異步

1. treq – 相似於requests的API（基於twisted）。
2. grequests – 封裝了gevent+requests模塊的grequests模塊
3. aiohttp – asyncio的HTTP客戶端/服務器(PEP-3156)。

網絡爬蟲框架

• 功能齊全的爬蟲

1. grab – 網絡爬蟲框架（基於pycurl/multicur）。
2. scrapy – 網絡爬蟲框架（基於twisted），不支持Python3。
3. pyspider – 一個強大的爬蟲系統。
4. cola – 一個分佈式爬蟲框架。

• 其餘

1. portia – 基於Scrapy的可視化爬蟲。
2. restkit – Python的HTTP資源工具包。它能夠讓你輕鬆地訪問HTTP資源，並圍繞它創建的對象。
3. demiurge – 基於PyQuery的爬蟲微框架。

HTML/XML解析器

• 通用

1. lxml – C語言編寫高效HTML/ XML處理庫。支持XPath。
2. cssselect – 解析DOM樹和CSS選擇器。
3. pyquery – 解析DOM樹和jQuery選擇器。
4. BeautifulSoup – 低效HTML/ XML處理庫，純Python實現。
5. html5lib – 根據WHATWG規範生成HTML/ XML文檔的DOM。該規範被用在如今全部的瀏覽器上。
6. feedparser – 解析RSS/ATOM feeds。
7. MarkupSafe – 爲XML/HTML/XHTML提供了安全轉義的字符串。
8. xmltodict – 一個能夠讓你在處理XML時感受像在處理JSON同樣的Python模塊。
9. xhtml2pdf – 將HTML/CSS轉換爲PDF。
10. untangle – 輕鬆實現將XML文件轉換爲Python對象。

• 清理

1. Bleach – 清理HTML（須要html5lib）。
2. sanitize – 爲混亂的數據世界帶來清明。