基於Node.js實現壓縮和解壓縮的方法

本篇文章主要介紹了基於Node.js實現壓縮和解壓縮的方法，小編以爲挺不錯的，如今分享給你們，也給你們作個參考。一塊兒跟隨小編過來看看吧

壓縮格式

zip 和 gzip 是兩種咱們最多見到的壓縮格式，固然，gzip 在 Windows 下不多有人接觸。

tar 是一種歸檔格式，它默認不會壓縮，須要結合 gzip 來將最終的 tar 文件以 gzip 格式壓縮成爲一個 tar.gz 文件，一般咱們會縮寫爲 tgz。

爲何沒有提到 rar？由於它是專利保護的算法，你能夠免費得到解壓工具，而壓縮工具是須要付費的。因此咱們通常應用場景下，不多會提供 rar 壓縮文件。

本文將分別介紹 gzip，tar，tgz 和 zip 的壓縮和解壓縮在 Node.js 下如何實現。

未壓縮文件庫

本文所使用的未壓縮文件庫來自於 urllib ，須要先 clone 它下來到指定目錄。

複製代碼 代碼以下:

git clone github.com/node-module… nodejs-compressing-demo
gzip

在 Linux 的世界，每一個工具的職責會很純粹，很是單一，如 gzip，它只會對文件進行壓縮，至於文件夾如何打包壓縮，跟它不要緊，那是 tar 要去負責的事情。

gzip 命令行壓縮一個文件

例如咱們要將 nodejs-compressing-demo/lib/urllib.js 文件進行 gzip 壓縮，會獲得一個 urllib.js.gz 文件，源文件會被刪除。

$ ls -l nodejs-compressing-demo/lib/urllib.js
-rw-r--r-- 1 a a 31318 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js
 
$ gzip nodejs-compressing-demo/lib/urllib.js
 
$ ls -l nodejs-compressing-demo/lib/urllib.js.gz
-rw-r--r-- 1 a a 8909 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js.gz
複製代碼

還原壓縮文件

$ gunzip nodejs-compressing-demo/lib/urllib.js.gz
文件大小從 31318 字節減小到 8909 字節，超過 3.5 倍的壓縮效果。

還能夠經過 pipe 方式，結合 cat 命令，將文件壓縮並保存爲任意文件：

$ ls -l nodejs-compressing-demo/README.md
-rw-r--r-- 1 a a 13747 Feb 12 11:27 nodejs-compressing-demo/README.md
 
$ cat nodejs-compressing-demo/README.md | gzip > README.md.gz
 
$ ls -l README.md.gz
-rw-r--r-- 1 a a 4903 Feb 12 11:50 README.md.gz
複製代碼

Node.js 實現 gzip

固然，咱們不會真的從零開始實現一個 gzip 算法和工具，在 Node.js 的世界，早已有人爲你準備好這些基礎庫，咱們只須要開箱即用。

本文將會使用 compressing 模塊，實現全部壓縮和解壓縮代碼。

爲何會選擇 compressing？由於它有足夠充分的代碼質量和單元測試保證，處於活躍的維護狀態，API 很是友好，並且還支持流式接口。

Promise 接口

const compressing = require('compressing');

// 選擇 gzip 格式，而後調用 compressFile 方法
compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js', 'nodejs-compressing-demo/lib/urllib.js.gz')
.then(() => {
 console.log('success');
})
.catch(err => {
 console.error(err);
});

// 解壓縮是反響過程，接口都統一爲 uncompress
compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz', 'nodejs-compressing-demo/lib/urllib.js2')
.then(() => {
 console.log('success');
})
.catch(err => {
 console.error(err);
});
複製代碼

結合 async/await 的編程模型，代碼寫起來就是一個普通的異步 io 操做。

const compressing = require('compressing');

async function main() {
try {
 await compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js',
  'nodejs-compressing-demo/lib/urllib.js.gz');
 console.log('success');
} catch (err) {
 console.error(err);
}

// 解壓縮
try {
 await compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz',
  'nodejs-compressing-demo/lib/urllib.js2');
 console.log('success');
} catch (err) {
 console.error(err);
}
}
複製代碼

main();
Stream 接口

須要特別注意的是，使用 Stream 模式編程，須要處理每一個 stream 的 error 事件，而且要手動銷燬全部 stream 。

fs.createReadStream('nodejs-compressing-demo/lib/urllib.js')
 .on('error', handleError)
 .pipe(new compressing.gzip.FileStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2')) .on('error', handleError); // 解壓縮，就是 pipe 的方向倒轉過來 fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2') .on('error', handleError) .pipe(new compressing.gzip.UncompressStream()) // It's a transform stream
 .on('error', handleError)
 .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3'))
 .on('error', handleError);
複製代碼

根據官方的Backpressuring in Streams 推薦，咱們應該使用 pump 模塊來配合 Stream 模式編程，由 pump 來完成這些 Stream 的清理工做。

const pump = require('pump');

const source = fs.createReadStream('nodejs-compressing-demo/lib/urllib.js');
const target = fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2');

pump(source, new compressing.gzip.FileStream(), target, err => {
if (err) {
 console.error(err);
} else {
 console.log('success');
}
});

// 解壓縮
pump(fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2'),
 new compressing.gzip.FileStream(),
 fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3'),
 err => {
if (err) {
 console.error(err);
} else {
 console.log('success');
}
});
複製代碼

Stream 接口的優點

Stream 接口看起來比 Promise 接口複雜多了，爲什麼還會有這種應用場景呢？

其實在 HTTP 服務領域，Stream 模型會有更大的優點，由於 HTTP 請求自己就是一個 Request Stream，如要將一個上傳文件以 gzip 壓縮返回，使用 Stream 接口不須要將上傳文件保存到本地磁盤，而是直接消費這個文件流。

使用 egg 文件上傳的示例代碼 ，咱們稍微改造一下，就能實現 gzip 壓縮而後返回。

const pump = require('pump');
 
class UploadFormController extends Controller {
 // ... other codes
 
 async upload() {
  const stream = await this.ctx.getFileStream();
  // 直接將壓縮流賦值給 ctx.body，實現邊壓縮邊返回的流式響應
  this.ctx.body = pump(stream, new compressing.gzip.FileStream());
 }
}
tar | gzip > tgz
複製代碼

gzip 章節能夠提早知道，tar 是負責對文件夾進行打包:package:的。

例如要對 nodejs-compressing-dem o 整個文件夾打包成一個文件發送給別人，能夠經過 tar 命令完成。

$ tar -c -f nodejs-compressing-demo.tar nodejs-compressing-demo/
 
$ ls -l nodejs-compressing-demo.tar
-rw-r--r-- 1 a a 206336 Feb 12 14:01 nodejs-compressing-demo.tar
複製代碼

如你們所見，tar 打包出來的文件通常都比較大，由於它是未壓縮的，大小跟實際文件夾總大小接近。因此咱們都會在打包同時進行壓縮。

$ tar -c -z -f nodejs-compressing-demo.tgz nodejs-compressing-demo/
 
$ ls -l nodejs-compressing-demo.tgz
-rw-r--r-- 1 a a 39808 Feb 12 14:07 nodejs-compressing-demo.tgz
複製代碼

tar 和 tgz 超過 5 倍大小的差別，能夠大大減小網絡傳輸帶寬。

Node.js 實現 tgz

Promise 接口

先使用 compressing.tar.compressDir(sourceDir, targetFile) 將一個文件夾打包到一個 tar 文件，而後使用上文的 gzip 壓縮方式，將 tar 文件壓縮爲 tgz 文件。

const compressing = require('compressing');

compressing.tar.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.tar')
.then(() => {
 return compressing.gzip.compressFile('nodejs-compressing-demo.tar',
  'nodejs-compressing-demo.tgz');
});
.then(() => {
 console.log('success');
})
.catch(err => {
 console.error(err);
});
複製代碼

// 解壓縮

compressing.gzip.uncompress('nodejs-compressing-demo.tgz', 'nodejs-compressing-demo.tar')
 .then(() => {
  return compressing.tar.uncompress('nodejs-compressing-demo.tar',
   'nodejs-compressing-demo2');
 });
 .then(() => {
  console.log('success');
 })
 .catch(err => {
  console.error(err);
 });
複製代碼

結合 async/await 的編程模型，代碼寫起來會更加容易閱讀：

const compressing = require('compressing');

async function main() {
try {
 await compressing.tar.compressDir('nodejs-compressing-demo',
  'nodejs-compressing-demo.tar');
 await compressing.gzip.compressFile('nodejs-compressing-demo.tar',
  'nodejs-compressing-demo.tgz');
 console.log('success');
} catch (err) {
 console.error(err);
}
 
// 解壓縮
try {
 await compressing.gzip.uncompress('nodejs-compressing-demo.tgz',
  'nodejs-compressing-demo.tar');
 await compressing.tar.uncompress('nodejs-compressing-demo.tar',
  'nodejs-compressing-demo2');
 console.log('success');
} catch (err) {
 console.error(err);
}
}
複製代碼

main();
Stream 接口

經過 compressing.tar.Stream 類，能夠動態添加任意文件、文件夾到一個 tar stream 對象中，很是靈活。

const tarStream = new compressing.tar.Stream();
// dir
tarStream.addEntry('dir/path/to/compress');
// file
tarStream.addEntry('file/path/to/compress');
// buffer
tarStream.addEntry(buffer);
// stream
tarStream.addEntry(stream);
 
const destStream = fs.createWriteStream('path/to/destination.tgz');
pump(tarStream, new compressing.gzip.FileStream(), destStream, err => {
 if (err) {
  console.error(err);
 } else {
  console.log('success');
 }
});
zip
複製代碼

zip 其實能夠看做是 tar + gzip 的「商業化」結合，它讓使用者不須要區分是壓縮文件仍是壓縮文件夾，反正用我 zip 就對了。

使用 zip 命令行工具壓縮一個文件夾的例子：

$ zip -r nodejs-compressing-demo.zip nodejs-compressing-demo/
 adding: nodejs-compressing-demo/ (stored 0%)
 adding: nodejs-compressing-demo/test/ (stored 0%)

 adding: nodejs-compressing-demo/.travis.yml (deflated 36%)
 
$ ls -l nodejs-compressing-demo.*
-rw-r--r-- 1 a a 206336 Feb 12 14:06 nodejs-compressing-demo.tar
-rw-r--r-- 1 a a  39808 Feb 12 14:07 nodejs-compressing-demo.tgz
-rw-r--r-- 1 a a  55484 Feb 12 14:34 nodejs-compressing-demo.zip
複製代碼

經過 tgz 和 zip 文件大小對比，能夠看出默認的壓縮參數下，gzip 的效果會比 zip 好。

Node.js 實現 zip

實現代碼跟 tar 相似，只不過默認是壓縮的，不須要再添加 gzip 的過程。

const compressing = require('compressing');
 
compressing.zip.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.zip')
 .then(() => {
  console.log('success');
 })
 .catch(err => {
  console.error(err);
 });
 
// 解壓縮
compressing.zip.uncompress('nodejs-compressing-demo.zip', 'nodejs-compressing-demo3')
 .then(() => {
  console.log('success');
 })
 .catch(err => {
  console.error(err);
 });
複製代碼

總結

基於 Node.js 實現的壓縮和解壓縮是否比想象中簡單？感謝 npm 這個巨人，讓咱們編程也能擁有命令行工具那樣簡單的體驗。不管是 Promise 接口，仍是 Stream 接口，都有它最合適的場景，你會選擇了嗎？到此，你擁有的壓縮和解壓縮能力，你可以作什麼樣的服務和功能呢？