零基礎如何學爬蟲技術

時間 2019-12-05

原文原文鏈接

楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。html

第一：Python爬蟲學習系列教程（來源於某博主：http://cuiqingcai.com/1052.html）
Python版本：2.7
總體目錄：
1、爬蟲入門python

Python爬蟲入門一之綜述web
Python爬蟲入門二之爬蟲基礎瞭解正則表達式
Python爬蟲入門三之Urllib庫的基本使用mongodb
Python爬蟲入門四之Urllib庫的高級用法數據庫
Python爬蟲入門五之URLError異常處理網絡
Python爬蟲入門六之Cookie的使用框架
Python爬蟲入門七之正則表達式
2、爬蟲實戰scrapy
Python爬蟲實戰一之爬取糗事百科段子ide
Python爬蟲實戰二之爬取百度貼吧帖子
Python爬蟲實戰三之實現山東大學無線網絡掉線自動重連
Python爬蟲實戰四之抓取淘寶MM照片
Python爬蟲實戰五之模擬登陸淘寶並獲取全部訂單
Python爬蟲實戰六之抓取愛問知識人問題並保存至數據庫
Python爬蟲實戰七之計算大學本學期績點
Python爬蟲實戰八之利用Selenium抓取淘寶匿名旺旺
3、爬蟲利器
Python爬蟲利器一之Requests庫的用法
Python爬蟲利器二之Beautiful Soup的用法
Python爬蟲利器三之Xpath語法與lxml庫的用法
Python爬蟲利器四之PhantomJS的用法
Python爬蟲利器五之Selenium的用法
Python爬蟲利器六之PyQuery的用法
4、爬蟲進階
Python爬蟲進階一之爬蟲框架概述
Python爬蟲進階二之PySpider框架安裝配置
Python爬蟲進階三之爬蟲框架Scrapy安裝配置
Python爬蟲進階四之PySpider的用法

第二（第一的姊妹篇）：Python爬蟲入門教程（來源於博主：blog.csdn.net/column/details/why-bug.html）
Python版本：2.7
教程目錄：
[Python]網絡爬蟲（一）：抓取網頁的含義和URL基本構成
[Python]網絡爬蟲（二）：利用urllib2經過指定的URL抓取網頁內容
[Python]網絡爬蟲（三）：異常的處理和HTTP狀態碼的分類
[Python]網絡爬蟲（四）：Opener與Handler的介紹和實例應用
[Python]網絡爬蟲（五）：urllib2的使用細節與抓站技巧
[Python]網絡爬蟲（六）：一個簡單的百度貼吧的小爬蟲
[Python]網絡爬蟲（七）：Python中的正則表達式教程
[Python]網絡爬蟲（八）：糗事百科的網絡爬蟲（v0.3）源碼及解析(簡化更新)
[Python]網絡爬蟲（九）：百度貼吧的網絡爬蟲（v0.4）源碼及解析
[Python]網絡爬蟲（十）：一個爬蟲的誕生全過程（以山東大學績點運算爲例）
[Python]網絡爬蟲（11）：亮劍！爬蟲框架小抓抓Scrapy閃亮登場！
[Python]網絡爬蟲（12）：爬蟲框架Scrapy的第一個爬蟲示例入門教程

第三：你已經看完上面（第一或者第二）的教程：再推薦知乎用戶@陳惟源的實戰練習博客
Python爬蟲學習記錄（1）——Xiami全站播放數
Python爬蟲學習記錄（2）——LDA處理歌詞
百度音樂帶標籤，做曲，演唱者，類別的歌詞數據
Python爬蟲學習記錄（4）——傳說中的足彩倍投法。。好像也不是那麼靠譜
2011~2013.5全球全部足球比賽比分數據以及足彩各公司盤口
Python爬蟲學習記錄（3）——用Python獲取蝦米加心歌曲，並獲取MP3下載地址
Python爬蟲學習記錄（5）——python mongodb + 爬蟲 + web.py 的acfun視頻排行榜
Python爬蟲學習記錄（0）——Python 爬蟲抓站記錄（蝦米，百度，豆瓣，新浪微博）

第四：最後推薦知乎用戶@gaga salamer 的實戰練習博客
爬蟲教程（1）基礎入門
爬蟲教程（2）性能進階
知乎用戶信息爬蟲（規模化爬取）
用scrapy爬取豆瓣電影新片榜
用scrapy對豆瓣top250頁面爬取（多頁面爬取）
用scrapy自動爬取下載圖片
用scrapy自動下載石原sama的豆瓣影人圖集(727張圖片，自動下載）
但願以上的教程能夠幫助到你們。

本文來源：知乎
做者：路人甲
連接：https://www.zhihu.com/questio...

楚江數據提供網站APP數據採集和爬蟲軟件定製開發服務，服務範圍涵蓋社交網絡、電子商務、分類信息、學術研究等。