爬蟲利器 Puppeteer 實戰

時間  2019-11-07
標籤 爬蟲 利器 puppeteer 實戰 欄目 網絡爬蟲 简体版
原文   原文鏈接

Puppeteer 介紹

Puppeteer 翻譯是操縱木偶的人，利用這個工具，咱們能作一個操縱頁面的人。Puppeteer是一個Nodejs的庫，支持調用Chrome的API來操縱Web，相比較Selenium或是PhantomJs,它最大的特色就是它的操做Dom能夠徹底在內存中進行模擬既在V8引擎中處理而不打開瀏覽器，並且關鍵是這個是Chrome團隊在維護，會擁有更好的兼容性和前景。javascript

Puppeteer 用處

  • 利用網頁生成PDF、圖片
  • 爬取SPA應用，並生成預渲染內容（即「SSR」 服務端渲染）
  • 能夠從網站抓取內容
  • 自動化表單提交、UI測試、鍵盤輸入等
  • 幫你建立一個最新的自動化測試環境（chrome），能夠直接在此運行測試用例6.捕獲站點的時間線，以便追蹤你的網站，幫助分析網站性能問題

Puppeteer 使用

安裝 Puppeteer

  • 因爲封網，直接下載 Chromium 會失敗，能夠先阻止下載 Chromium 而後再手動下載它
# 安裝命令
npm i puppeteer --save

# 錯誤信息
ERROR: Failed to download Chromium r515411! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.

# 設置環境變量跳過下載 Chromium
set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1 

# 或者能夠這樣幹，只下載模塊而不build
npm i --save puppeteer --ignore-scripts

# 成功安裝模塊
+ puppeteer@0.13.0
added 1 package in 1.77s
複製代碼
  • 手動下載 Chromium，下載完後將壓縮包解壓，會有個 Chromium.app，將其放在你喜歡的目錄下，例如 /Users/huqiyang/Documents/project/z/chromium/Chromium.app。正常安裝包後 Chromium.app 會在 .local-chromium中

Tip：下載 Chromium 失敗解決辦法html

  • 更換國內Chromium源
PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org
npm i puppeteer
複製代碼
  • 或者用 cnpm 安裝
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm i puppeteer
複製代碼

點擊查閱 Puppeteer API

初試 Puppeteer，截個圖吧

知識點前端

  • puppeteer.launch 啓動瀏覽器實例
  • browser.newPage() 建立一個新頁面
  • page.goto 進入指定網頁
  • page.screenshot 截圖
const puppeteer = require('puppeteer');

(async () => {
  const browser = await (puppeteer.launch({
    // 如果手動下載的chromium須要指定chromium地址, 默認引用地址爲 /項目目錄/node_modules/puppeteer/.local-chromium/
    executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
    //設置超時時間
    timeout: 15000,
    //若是是訪問https頁面 此屬性會忽略https錯誤
    ignoreHTTPSErrors: true,
    // 打開開發者工具, 當此值爲true時, headless總爲false
    devtools: false,
    // 關閉headless模式, 不會打開瀏覽器
    headless: false
  }));
  const page = await browser.newPage();
  await page.goto('https://www.jianshu.com/u/40909ea33e50');
  await page.screenshot({
    path: 'jianshu.png',
    type: 'png',
    // quality: 100, 只對jpg有效
    fullPage: true,
    // 指定區域截圖，clip和fullPage二者只能設置一個
    // clip: {
    //   x: 0,
    //   y: 0,
    //   width: 1000,
    //   height: 40
    // }
  });
  browser.close();
})();
複製代碼

運行結果java

image.png

進階，獲取網易雲音樂的歌詞和評論

網易雲音樂的API通過AES和RSA算法加密，須要攜帶加密的信息經過POST方式請求才能獲取到數據。但 Puppeteer 出現後，這些都不重要了，只要它頁面上顯示了，經過 Puppeteer 都能獲取到該元素。node

知識點ios

  • page.type 獲取輸入框焦點並輸入文字
  • page.keyboard.press 模擬鍵盤按下某個按鍵，目前mac上組合鍵無效爲已知bug
  • page.waitFor 頁面等待，能夠是時間、某個元素、某個函數
  • page.frames() 獲取當前頁面全部的 iframe，而後根據 iframe 的名字精確獲取某個想要的 iframe
  • iframe.$('.srchsongst') 獲取 iframe 中的某個元素
  • iframe.evaluate() 在瀏覽器中執行函數，至關於在控制檯中執行函數，返回一個 Promise
  • Array.from 將類數組對象轉化爲對象
  • page.click() 點擊一個元素
  • iframe.$eval() 至關於在 iframe 中運行 document.queryselector 獲取指定元素，並將其做爲第一個參數傳遞
  • iframe.$$eval 至關於在 iframe 中運行 document.querySelectorAll 獲取指定元素數組，並將其做爲第一個參數傳遞
const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
  const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
  const page = await browser.newPage();
  // 進入頁面
  await page.goto('https://music.163.com/#');

  // 點擊搜索框擬人輸入 鬼才會想起
  const musicName = '鬼才會想';
  await page.type('.txt.j-flag', musicName, {delay: 0});

  // 回車
  await page.keyboard.press('Enter');

  // 獲取歌曲列表的 iframe
  await page.waitFor(2000);
  let iframe = await page.frames().find(f => f.name() === 'contentFrame');
  const SONG_LS_SELECTOR = await iframe.$('.srchsongst');

  // 獲取歌曲 鬼才會想起 的地址
  const selectedSongHref = await iframe.evaluate(e => {
    const songList = Array.from(e.childNodes);
    const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才會想起');
    return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
  }, SONG_LS_SELECTOR);

  // 進入歌曲頁面
  await page.goto(selectedSongHref);

  // 獲取歌曲頁面嵌套的 iframe
  await page.waitFor(2000);
  iframe = await page.frames().find(f => f.name() === 'contentFrame');

  // 點擊 展開按鈕
  const unfoldButton = await iframe.$('#flag_ctrl');
  await unfoldButton.click();

  // 獲取歌詞
  const LYRIC_SELECTOR = await iframe.$('#lyric-content');
  const lyricCtn = await iframe.evaluate(e => {
    return e.innerText;
  }, LYRIC_SELECTOR);

  console.log(lyricCtn);

  // 截圖
  await page.screenshot({
    path: '歌曲.png',
    fullPage: true,
  });

  // 寫入文件
  let writerStream = fs.createWriteStream('歌詞.txt');
  writerStream.write(lyricCtn, 'UTF8');
  writerStream.end();

  // 獲取評論數量
  const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
  console.log(commentCount);

  // 獲取評論
  const commentList = await iframe.$$eval('.itm', elements => {
    const ctn = elements.map(v => {
      return v.innerText.replace(/\s/g, '');
    });
    return ctn;
  });
  console.log(commentList);
})();
複製代碼

運行結果git

image.png

image.png

image.png

高級爬蟲

爬取SPA應用，並生成預渲染內容（即「SSR」 服務端渲染），通俗講就是在頁面上顯示的內容咱們都能獲取到。下面咱們就經過爬取 瓜子二手車直賣網 的車輛信息來認識它。github

首先經過 axios 來試試算法

const axios = require('axios');
const useAxios = () => {
  axios.get('https://www.guazi.com/hz/buy/')
    .then(((result) => {
      console.log(result.data);
    }))
    .catch((err) => {
      console.log(err);
    });
};
複製代碼

結果它返回給我這個玩意，這顯然不是我要的內容chrome

image.png

經過 Puppeteer 爬取

const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
  const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: true }));
  const page = await browser.newPage();

  // 進入頁面
  await page.goto('https://www.guazi.com/hz/buy/');

  // 獲取頁面標題
  let title = await page.title();
  console.log(title);

  // 獲取汽車品牌
  const BRANDS_INFO_SELECTOR = '.dd-all.clearfix.js-brand.js-option-hid-info';
  const brands = await page.evaluate(sel => {
    const ulList = Array.from($(sel).find('ul li p a'));
    const ctn = ulList.map(v => {
      return v.innerText.replace(/\s/g, '');
    });
    return ctn;
  }, BRANDS_INFO_SELECTOR);
  console.log('汽車品牌: ', JSON.stringify(brands));
  let writerStream = fs.createWriteStream('car_brands.json');
  writerStream.write(JSON.stringify(brands, undefined, 2), 'UTF8');
  writerStream.end();
  // await bodyHandle.dispose();

  // 獲取車源列表
  const CAR_LIST_SELECTOR = 'ul.carlist';
  const carList = await page.evaluate((sel) => {
    const catBoxs = Array.from($(sel).find('li a'));
    const ctn = catBoxs.map(v => {
      const title = $(v).find('h2.t').text();
      const subTitle = $(v).find('div.t-i').text().split('|');
      return {
        title: title,
        year: subTitle[0],
        milemeter: subTitle[1]
      };
    });
    return ctn;
  }, CAR_LIST_SELECTOR);

  console.log(`總共${carList.length}輛汽車數據: `, JSON.stringify(carList, undefined, 2));

  // 將車輛信息寫入文件
  writerStream = fs.createWriteStream('car_info_list.json');
  writerStream.write(JSON.stringify(carList, undefined, 2), 'UTF8');
  writerStream.end();

  browser.close();
})();
複製代碼

運行結果

image.png

image.png

資料

未完待續，有疑問請留言，你們一塊兒研究

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程