Python3爬蟲視頻學習教程

下面是轉發博客內容，挺有用的

你們好哈，如今呢靜覓博客已經兩年多啦，可能你們過來更多看到的是爬蟲方面的博文，首先很是感謝你們的支持，但願個人博文對你們有幫助！

以前我寫了一些Python爬蟲方面的文章，Python爬蟲學習系列教程，涉及到了基礎和進階的一些內容，當時更多用到的是Urllib還有正則，後來又陸續增長了一些文章，在學習過程當中慢慢積累慢慢成型了一套算不上教程的教程，後來有愈來愈多的小夥伴學習和支持我感到很是開心，再次感謝你們！

不過其實這些教程總的來講有一些問題：

1. 當時用的Python2寫的，剛寫的時候Scrapy這個框架也沒有支持Python3，一些Python3爬蟲庫也不怎麼成熟，因此當時選擇了Python2。但到如今，Python3發展迅速，爬蟲庫也愈來愈成熟，並且Python2在不久的未來就會中止維護了，因此慢慢地，個人語言重心也慢慢轉向了Python3，我也相信Python3會成爲主流。因此說以前的一套課程算是有點過期了，相信你們確定還在尋找Python3的一些教程。

2. 當時學習的時候主要用的urllib，正則，因此這些文章的較大篇幅也都是urllib和正則的一些東西，後來的一些高級庫都是在後面慢慢加的，並且一些高級的框架用法也沒有作深刻講解，因此感受整個內容有點頭重腳輕，安排不合理。並且如今分佈式愈來愈火，那麼分佈式爬蟲的應用相必也是愈來愈普遍，以前的課程也沒有作系統講解。

3. 在介紹一些操做的時候可能介紹不全面，環境的配置也沒有兼顧各個平臺，因此可能有些小夥伴摸不着頭腦，可能卡在某一步不知道接下來是怎麼作的了。

那麼綜合上面的問題呢，最近我花了前先後後將近一個月的時間錄製了一套新的Pyhthon3爬蟲視頻教程，將我以前作爬蟲的一些經驗從新梳理和整合，利用Python3編寫，從環境配置、基礎庫講解到案例實戰、框架使用，最後再到分佈式爬蟲進行了比較系統的講解。

課程內容是這個樣子的：

1、環境篇

• Python3+Pip環境配置
• MongoDB環境配置
• Redis環境配置
• MySQL環境配置
• Python多版本共存配置
• Python爬蟲經常使用庫的安裝

2、基礎篇

• 爬蟲基本原理
• Urllib庫基本使用
• Requests庫基本使用
• 正則表達式基礎
• BeautifulSoup詳解
• PyQuery詳解
• Selenium詳解

3、實戰篇

• 使用Requests+正則表達式爬取貓眼電影
• 分析Ajax請求並抓取今日頭條街拍美圖
• 使用Selenium模擬瀏覽器抓取淘寶商品美食信息
• 使用Redis+Flask維護動態代理池
• 使用代理處理反爬抓取微信文章
• 使用Redis+Flask維護動態Cookies池

4、框架篇 

• PySpider框架基本使用及抓取TripAdvisor實戰
• PySpider架構概述及用法詳解
• Scrapy框架的安裝
• Scrapy框架基本使用
• Scrapy命令行詳解
• Scrapy中選擇器的用法
• Scrapy中Spiders的用法
• Scrapy中Item Pipeline的用法
• Scrapy中Download Middleware的用法
• Scrapy爬取知乎用戶信息實戰
• Scrapy+Cookies池抓取新浪微博
• Scrapy+Tushare爬取微博股票數據

5、分佈式篇

• Scrapy分佈式原理及Scrapy-Redis源碼解析
• Scrapy分佈式架構搭建抓取知乎
• Scrapy分佈式的部署詳解

整個課程是從小白起點的，從環境配置和基礎開始講起，環境安裝部分三大平臺都有介紹，實戰的部分我是一邊寫一邊講解，還有一些分佈式爬蟲的搭建流程也作了介紹。

不過這個課程是收費的，其實裏面也包含了我學習爬蟲以來的經驗和汗水，我在作講解的時候也會把我學習爬蟲的一些思路和想法講解出來，避免你們走一些彎路，但願你們能夠支持一下！

不過在這裏有免費的視頻，是屬於整個課程的一部分，你們能夠直接觀看

Python3爬蟲三大案例實戰分享

整套視頻課程放在天善智能這邊了，你們若是感興趣的話能夠直接在這裏購買，499元。

課程連接以下：

本身動手，豐衣足食！Python3網絡爬蟲實戰案例

http://www.gg4493.cn/