seo-mask -- 爲單頁應用建立一個適合蜘蛛爬取的seo網站

時間 2019-11-17

原文原文鏈接

seo-mask

seo-mask是利用搜索引擎蜘蛛的爬取原理（蜘蛛只會爬取網頁的內容，並不會關心解析網頁裏的css和js），製做一套專門針對seo的鏡像網站，鄙人稱它爲針對seo的mask，讓蜘蛛看到的是網站的mask更利於收錄。無需改變原有網站的源碼，此方法適合seo改形成本較大的具備動態數據的spa單頁應用。css

與流行的seo方案對比

	優勢	缺點
prerender 預渲染	部署方便，開發成本低	1. 沒法render動態改變的頁面(如：某商品詳情頁) ; 2. 頁面太多時形成存儲負擔
ssr服務端渲染	一步到位，開發自主控制頁面渲染	1. 對於已在線上運營的spa項目改形成本太大； 2. 開發過程須要考慮seo規範；3.須要對服務器深刻了解優化渲染
seo-mask	1. 無需改動源代碼；2. 自由決定須要被爬取的內容	1.須要另外維護一套網站代碼(開發成本極低)

適用範圍

複雜型單頁應用（如：論壇、商城、新聞等）
已經在線上運營改造服務端渲染成本巨大的單頁應用
express做爲啓動服務器(後期會陸續推出適配不一樣服務器的版本)

Demo

一個簡易的博客網站html

Demo網站是一個基於cra開發的簡易博客示例，在該項目的example目錄，你能夠下載下來本地運行：webpack

git clone https://github.com/lipten/seo-mask.git

cd seo-mask/example

npm install

npm run start
複製代碼

Install

// With npm
npm install seo-mask

// With bower
bower install seo-mask
複製代碼

Usage

請確保你的項目啓動服務器是express或者是基於express的webpack-dev-server，再進行下面的操做。ios

在你的啓動服務器實例var app = express()加入seo-mask中間件，還有相應的配置數據便可。

app.use(require('seo-mask')({
  routes: require('../seo/routes'),
  tdk_config: require('../seo/tdk'),
  layout_render: require('../seo/src/layout'),
}));
複製代碼

若是是webpack-dev-server，則在devServer的配置裏的before，加入代碼：

webpack: devServer.beforegit

before(app, server) {
  app.use(require('seo-mask')({
    routes: require('../seo/routes'),
    tdk_config: require('../seo/tdk'),
    layout_render: require('../seo/src/layout'),
  }));

  ......
},
複製代碼

傳入一個對象，分別有routes、tdk_config和layout_render三個屬性，具體釋義和教程請接着往下看：github

SEO目錄

在你的項目裏新建一個seo目錄，該目錄用於配置你的mask網站路由及網站的TDK(title、description和keywords)配置，以及mask網站的全部內容。web

目錄結構以下：express

my-app/
  ├── xxxx
  └── seo/
      ├── src/                  # mask網站內容
      |   |—— home/             # 根據自身業務需求創建seo-mask頁面
      |   |   |—— index.ejs
      |   |   └── index.js
      |   |—— blog/             # 根據你的網站的頁面作調整，這裏假設是blog
      |   |   |—— index.ejs
      |   |   └── index.js
      |   |—— blog_detail/
      |   |   |—— index.ejs
      |   |   └── index.js
      |   |—— layout.ejs        # seo-mask網站也須要一個layout佈置網站head或一些公共元素
      |   └── layout.js         # 提供layout_render渲染整個mask網站
      |—— routes.js             # routes配置匹配特定的路徑指向對應的mask頁面
      └── tdk.js                # 配置特定路徑的默認tdk，必需要有一組做爲網站的默認tdk
複製代碼

編輯tdk.js、routes.js以及layout.js：

// seo/tdk.js

// 爲特定路徑配置默認tdk
module.exports = {
  // 默認tdk，至少寫一組
  '^/$': {
    title: 'SEO-Mask 示例網站',
    description: '這是一個seo-mask示例網站，項目地址https://github.com/lipten/seo-mask',
    keywords: 'seo,example',
  },
  // 能夠根據不一樣路徑匹配不一樣的tdk
  '^/blog$': {
    title: 'Blog - SEO-Mask 示例網站',
  },
}

// seo/routes.js
module.exports = {
  '^/blog$': require('./src/blog'),
  '^/blog/\\d+$': require('./src/blog_detail'),
  '^/?$': require('./src/home'),
}

// seo/src/layout.js

const ejs = require('ejs')  //記得要裝ejs模塊：npm install -D ejs
const fs = require('fs')
const path = require('path')
const template = fs.readFileSync(path.resolve(__dirname, './layout.ejs'), 'utf8');

const layout_render = (children) => {
  return ejs.render(template, children)
}
module.exports = layout_render

複製代碼

接着定義你的layout.ejs模板:

// seo/src/layout.ejs
<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <meta http-equiv="content-type" content="text/html;charset=utf-8">
  <meta http-equiv="X-UA-Compatible" content="IE=edge">
  <meta name=」renderer」 content=」webkit」>
  <meta content="<%= tdk.keywords%>" name="keywords"/>
  <meta content="<%= tdk.description%>" name="description"/>
  <title><%= tdk.title%></title>
</head>
<body>
  <div id="root">
    <nav>
      <a href="/">home</a>
      <a href="/blog">blog</a>
    </nav>
    <%- result -%>
    <p>友情連接</p>
    <a href="http://xxx.xx">xx</a>
  </div>
</body>
</html>

複製代碼

其餘的頁面模板能夠用很簡潔的html來寫，js直接渲染:

// seo/src/home/index.ejs

<div>
  <h1>SEO-Mask 首頁</h1>
  <h2>Hello, world!</h2>
  <p>
    這是一個簡單的博客網站，您如今是經過搜索引擎蜘蛛訪問看到這個簡單的網站內容，您能夠繼續訪問博客頁面查看我寫的「博客」。
  </p>
  <a href="/blog">前往博客</a>
</div>



// seo/src/home/index.js

const ejs = require('ejs')
const fs = require('fs')
const path = require('path')
const template = fs.readFileSync(path.resolve(__dirname, './index.ejs'), 'utf8');
const axios = require('axios');

module.exports = async (req) => {
  const result = ejs.render(template)
  return {result}
}
複製代碼

須要從接口拉取動態數據的頁面也能夠作到：

// seo/src/blog/index.ejs

<div>
  <ul>
    博客列表
    <% post_list.map((item) => { %>
    <li><a href="/blog/<%= item.id-%>" target="_blank"><%= item.title-%></a></li>
    <% })%>
  </ul>
</div>


// seo/src/blog/index.js
const ejs = require('ejs')
const fs = require('fs')
const path = require('path')
const template = fs.readFileSync(path.resolve(__dirname, './index.ejs'), 'utf8');
const axios = require('axios');

module.exports = async (req) => {
  // 僞裝博客數據是從api拉取的。。
  const res = await axios('/api/posts')
  const result = ejs.render(template, {post_list: res.data.items})
  return {result}
}

複製代碼

須要在博客詳情頁設置網站標題爲博客標題也能夠作到：

// seo/src/blog_detail/index.ejs

<div>
  <h1>博客標題<%= post.title%></h1>
  <p><%= post.content%></p>
</div>


// seo/src/blog_detail/index.js
const ejs = require('ejs')
const fs = require('fs')
const path = require('path')
const template = fs.readFileSync(path.resolve(__dirname, './index.ejs'), 'utf8');
const axios = require('axios');

module.exports = async (req) => {
  const post_id = req.path.split('/')[2]
  // 僞裝博客數據是從api拉取的。。
  const res = await axios.get(`/api/post/${post_id}`)
  const post = res.data
  const result = ejs.render(template, {post})
  // 設置博客標題爲網站標題，動態設置tdk
  const tdk = {
    title: `${post.title} - SEO-Mask 示例網站`,
    description: post.description,
    keywords: 'SEO-Mask,blog'
  }
  return {result, tdk}
}

複製代碼