手把手教你寫Python網絡爬蟲（1）：網易雲音樂歌單

摘要：從零開始寫爬蟲，初學者的速成指南！

須要免費獲取本文章講解的視頻+源碼，關注+轉發此文而後私信我回復「音樂」便可領取資料，也歡迎你們和我一塊兒交流學習Python，共同成長

封面：

封面

你們好，《手把手教你寫網絡爬蟲》連載開始了！在筆者的職業生涯中，幾乎沒有發現像網絡爬蟲這樣的編程實踐，能夠同時吸引程序員和門外漢的注意。本文由淺入深的把爬蟲技術和盤托出，爲初學者提供一種輕鬆的入門方式。請跟隨咱們一塊兒踏上爬蟲學習的打怪升級之路吧！

介紹

什麼是爬蟲？

先看看百度百科的定義:

網絡爬蟲

簡單的說網絡爬蟲（Web crawler）也叫作網絡鏟（Web scraper）、網絡蜘蛛（Web spider），其行爲通常是先「爬」到對應的網頁上，再把須要的信息「鏟」下來。

爲何學習爬蟲？

看到這裏，有人就要問了：google、百度等搜索引擎已經幫咱們抓取了互聯網上的大部分信息了，爲何還要本身寫爬蟲呢？這是由於，需求是多樣的。好比在企業中，爬取下來的數據能夠做爲數據挖掘的數據源。甚至有人爲了炒股，專門抓取股票信息。筆者就見過有人爲了分析房價，自學編程，爬了綠中介的數據。

在大數據深刻人心的時代，網絡爬蟲做爲網絡、存儲與機器學習等領域的交匯點，已經成爲知足個性化網絡數據需求的最佳實踐。還猶豫什麼？讓咱們開始學習吧！

語言&環境

語言：人生苦短，我用Python。讓Python帶咱們飛！

Python

urllib.request：這是Python自帶的庫，不須要單獨安裝，它的做用是爲咱們打開url獲取html的內容。Python官方文檔的介紹：The urllib.request module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

BeautifulSoup：是一個能夠從HTML或XML文件中提取數據的Python庫。它可以經過你喜歡的轉換器實現慣用的文檔導航，查找，修改文檔的方式。Beautiful Soup會幫你節省數小時甚至數天的工做時間。安裝比較簡單：

$pip install beautifulsoup4

驗證的方法，進入Python直接import一下，若是沒有異常，那就說明安裝成功了！

BeautifulSoup

「美味的湯，綠色的濃湯，

在熱氣騰騰的蓋碗裏裝！

誰不肯意嘗一嘗，這樣的好湯？

晚餐用的湯，美味的湯！」

BeautifulSoup庫的名字取自《愛麗絲夢遊仙境》裏的同名詩歌。

爬取數據

接下來，咱們就用urllib.request獲取html內容，再用BeautifulSoup提取其中的數據，完成一次簡單的爬取。

urllib.request

把這段代碼保存爲get_html.py，而後運行，看看輸出了什麼：

get_html.py

果真，輸出了http://jr.jd.com 這個網頁的所有HTML代碼。

輸出的代碼簡直沒法直視，如何方便的找到咱們想抓取數據呢？用Chrome打開url，而後按F12，再按Ctrl + Shift + C。若是咱們要抓導航欄，就用鼠標點擊任意一個導航欄的項目，瀏覽器就在html中找到了它的位置。效果以下：

HTML代碼

定位到的html代碼：

html代碼

有了這些信息，就能夠用BeautifulSoup提取數據了。升級一下代碼：

BeautifulSoup

把這段代碼保存爲get_data.py，而後運行，看看輸出了什麼：

get_data.py

沒錯，獲得了咱們想要的數據！

BeautifulSoup提供一些簡單的、Python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，經過解析文檔爲用戶提供須要抓取的數據，由於簡單，因此不須要多少代碼就能夠寫出一個完整的應用程序。怎麼樣，是否是以爲只要複製粘貼就能夠寫爬蟲了？簡單的爬蟲確實是能夠的！

一個迷你爬蟲

咱們先定一個小目標：爬取網易雲音樂播放數大於500萬的歌單。

打開歌單的url: http://music.163.com/#/discover/playlist，而後用BeautifulSoup提取播放數<span class="nb">3715</span>。結果代表，咱們什麼也沒提取到。難道咱們打開了一個假的網頁？

動態網頁：所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。靜態網頁，隨着html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則否則，頁面代碼雖然沒有變，可是顯示的內容倒是能夠隨着時間、環境或者數據庫操做的結果而發生改變的。

值得強調的是，不要將動態網頁和頁面內容是否有動感混爲一談。這裏說的動態網頁，與網頁上的各類動畫、滾動字幕等視覺上的動態效果沒有直接關係，動態網頁也能夠是純文字內容的，也能夠是包含各類動畫的內容，這些只是網頁具體內容的表現形式，不管網頁是否具備動態效果，只要是採用了動態網站技術生成的網頁均可以稱爲動態網頁。

如今咱們明白了，這是一個動態網頁，咱們獲得它的時候，歌單還沒請求到呢，固然什麼都提取不出來！

咱們以前的技術不能執行那些讓頁面產生各類神奇效果的JavaScript 代碼。若是網站的HTML頁面沒有運行JavaScript，就可能和你在瀏覽器裏看到的樣子徹底不一樣，由於瀏覽器能夠正確地執行JavaScript。用Python 解決這個問題只有兩種途徑：直接從JavaScript 代碼裏採集內容，或者用Python 的第三方庫運行JavaScript，直接採集你在瀏覽器裏看到的頁面。咱們固然選擇後者。今天第一課，不深究原理，先簡單粗暴的實現咱們的小目標。

幹

Selenium：是一個強大的網絡數據採集工具，其最初是爲網站自動化測試而開發的。近幾年，它還被普遍用於獲取精確的網站快照，由於它們能夠直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像能夠加載網站的瀏覽器，可是它也能夠像BeautifulSoup對象同樣用來查找頁面元素，與頁面上的元素進行交互（發送文本、點擊等），以及執行其餘動做來運行網絡爬蟲。安裝方式與其餘Python第三方庫同樣。

$pip install Selenium

驗證一下：

Selenium

Selenium 本身不帶瀏覽器，它須要與第三方瀏覽器結合在一塊兒使用。例如，若是你在Firefox 上運行Selenium，能夠直接看到一個Firefox 窗口被打開，進入網站，而後執行你在代碼中設置的動做。雖然這樣能夠看得更清楚，但不適用於咱們的爬蟲程序，爬一頁就打開一頁效率過低，因此咱們用一個叫PhantomJS的工具代替真實的瀏覽器。

PhantomJS：是一個「無頭」（headless）瀏覽器。它會把網站加載到內存並執行頁面上的JavaScript，可是它不會向用戶展現網頁的圖形界面。把Selenium和PhantomJS 結合在一塊兒，就能夠運行一個很是強大的網絡爬蟲了，能夠處理cookie、JavaScript、header，以及任何你須要作的事情。

PhantomJS並非Python的第三方庫，不能用pip安裝。它是一個完善的瀏覽器，因此你須要去它的官方網站下載，而後把可執行文件拷貝到Python安裝目錄的Scripts文件夾，像這樣：

Scripts文件夾

開始幹活！

打開歌單的第一頁：

http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0

用Chrome的「開發者工具」F12先分析一下，很容易就看穿了一切。

html代碼

播放數nb (number broadcast)：29915

封面 msk (mask)：有標題和url

同理，能夠找到「下一頁」的url，最後一頁的url是「javascript:void(0)」。

最後，用18行代碼便可完成咱們的工做。

代碼

把這段代碼保存爲get_data.py，而後運行。運行結束後，在程序的目錄裏生成了一個playlist.csv文件。

playlist.csv文件

看到成果後是否是頗有成就感？若是你感興趣，還能夠按照這個思路，找找評論數最多的單曲，不再用擔憂沒歌聽了！

須要免費獲取本文章講解的視頻+源碼，關注+轉發此文而後私信我回復「音樂」便可領取資料，也歡迎你們和我一塊兒交流學習Python，共同成長

今天的內容比較淺顯，但願對你有用。就先介紹到這裏，咱們下期再見！