Python爬蟲之一：基於API的爬蟲

基於API的爬蟲的通常步驟

1. 在網站註冊開發者帳戶用戶名，得到相應的開發者密鑰
2. 在網站的API幫助說明文檔中找到本身須要使用的API,確認API請求的限制次數,確認調用API須要使用的參數
3. 在聯網狀態下，編寫正確代碼調用API
4. 從API返回的內容（JSON格式）獲取正確的屬性
5. 將獲取的內容存儲到本地（文件或數據庫）

舉例：從豆瓣電影上爬取《摔跤吧，爸爸》電影的評分，並保存到本地

　　# 使用工具是Jupyter Notebook 和 Python3

　　第一步：利用Python讀取url的核心代碼以下：

import urllib.request as urlrequest
url_visit = 'https://api.douban.com/v2/movie/26387939'
crawl_content = urlrequest.urlopen(url_visit).read()
print(crawl_content.decode('unicode-escape'))

　　第二步：利用 python 解析 JSON 代碼　　

import json
json_content = json.loads(crawl_content.decode('utf8'))
rating = json_content['rating']['average']
print(rating)

　　第三步：將數據存到本地

id=26387939
rating=json_content['rating']['average']
with open("movie_score.txt", "a") as outputfile:
  outputfile.write("{} {}\n".format(id, rating))

 　　說明：

• 這裏咱們想將電影的id和評分寫入文件，就先把兩個參數記錄下來。
• python中寫文件用with open("文件名"，"a") as outputfile:的形式，這裏文件名能夠根據你的須要自行更改。
• outputfile.write表示將數據寫入文件的操做， ("{} {}\n".format(id,rating))是須要寫入文件的具體內容，使用format()以固定形式組織id 和rating 的值，放入咱們設定好的位置"{} {}"中（\n表示換行）。