【通用技術】2個月精通Python爬蟲——3大爬蟲框架+6場實戰+分佈式爬蟲，包教包會

網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人），是一種按照必定的規則，自動的抓取信息的程序或者腳本。

網絡爬蟲是互聯網上進行信息採集的通用手段，在互聯網的各個專業方向上都是不可或缺的底層技術支撐。本課程從爬蟲基礎開始，全面介紹了Python網絡爬蟲技術，而且包含各類經典的網絡爬蟲項目案例。

分類：

網絡爬蟲按照系統結構和實現技術，大體能夠分爲如下幾種類型：通用網絡爬蟲（General Purpose Web Crawler）、聚焦網絡爬蟲（Focused Web Crawler）、增量式網絡爬蟲（Incremental Web Crawler）、深層網絡爬蟲（Deep Web Crawler）。 實際的網絡爬蟲系統一般是幾種爬蟲技術相結合實現的。

• 通用網絡爬蟲
• 聚焦網絡爬蟲
• 增量式網絡爬蟲
• Deep Web 爬蟲

爬蟲有什麼用呢？

你要找工做，想知道哪一個崗位當前最熱門，爬取分析一下招聘網站的崗位信息便知一二；
世界盃球迷分佈狀況，爬取分析一下淘寶各球隊球衣銷量，或者相關論壇或貼吧的一些數據便可；
想知道知乎大神們關注領域狀況，能夠爬取分析一下大神們的回答；
……

有了數據才能作數據分析，互聯網爲你提供了海量的數據來源，就看你有沒有水平得到這些數據。Python是實現爬蟲最佳的選擇，幾行代碼就能實現基本的爬蟲，學習簡單且很容易得到更大成就感。

爬蟲技術是入門Python最好的方式（沒有之一），也是大數據分析、機器學習的基礎，掌握基本的爬蟲後，再去學習其餘Python技能，會更駕輕就熟。

如何掌握爬蟲技術

那麼Python爬蟲技術該如何學習呢？咱們已經爲你規劃好了學習路徑。三大框架、六場實戰，讓你全面掌握Python爬蟲技術，在高級部分，帶你掌握反爬蟲技術以及如何繞過反爬蟲，以及編寫分佈式爬蟲來提高數據爬取效率。

第1階段：爬蟲入門及框架學習

正則表達式是Python爬蟲必不可少的神器，經過它能夠對文本進行過濾或者按照規則進行匹配。Urllib、Requests、Scrapy是Python爬蟲最經常使用的三個庫和框架，掌握它們可讓爬蟲編寫工做事半功倍。

課時1： Python網絡爬蟲簡介與表達式基礎
課時2： 基於Python Urllib庫編寫爬蟲項目
課時3： 網絡爬蟲抓包分析技術精講
課時4： 基於Python Requests庫編寫爬蟲項目
課時5： 基於Scrapy框架編寫爬蟲項目

第2階段：項目實戰

綜合前面所學知識，爬取以下這些網站的數據，在項目實戰中分析和解決爬取過程當中遇到的難點問題。

課時6： 招聘網站信息爬蟲項目開發實戰
課時7： 淘寶商品信息爬蟲項目開發實戰

課時8：知乎信息爬蟲項目開發實戰

第3階段：高級應用

一些網站中應用了反爬蟲技術，致使沒法爬取數據，高級應用中將介紹一些常見的反爬方式與攻克手段。

若是爬取大量的數據，單機爬蟲的能力是有限的，咱們還將爲您講解如何編寫集羣分佈式爬蟲提高數據獲取的效率。

課時9： 爬蟲常見的反爬策略與反爬攻克手段

課時10：分佈式爬蟲編寫實戰

更多精品技術課程：

阿里雲大學官網（阿里雲大學 - 官方網站，雲生態下的創新人才工場）