Node.js文件編碼格式的轉換

項目不少 lua 文件不是 utf-8格式，使用 EditPlus 查看的時候，顯示爲ASCII。還有的是帶BOM的，帶BOM倒好處理，以前寫過，有必定規律。

ASCII編碼就比較蛋疼，經過搜索網上資源，反覆測試對比，最終造成下面比較靠譜的方法（有一些 EditPlus顯示編碼爲utf-8但node.js庫返回的倒是其它編碼>_<）

 

判斷修改是否無誤，只須要在修改完以後，經過SVN提交，瀏覽提交列表，雙擊任意一項待提交文件，若是顯示下圖所示的對話框，則說明修改爲功，其它都會看到中文反而變成亂碼了

 

var fs = require('fs');
var chardet = require('chardet');
var jschardet = require("jschardet");
var encoding = require("encoding");

var path = "lua目錄"; 

function readDirectory(dirPath) {
    if (fs.existsSync(dirPath)) {
        var files = fs.readdirSync(dirPath);

        files.forEach(function (file) {
            var filePath = dirPath + "/" + file;
            var stats = fs.statSync(filePath);

            if (stats.isDirectory()) {
                // console.log('/n讀取目錄：\n', filePath, "\n");
                readDirectory(filePath);
            } else if (stats.isFile() && /\.lua$/.test(filePath)) {
                var buff = fs.readFileSync(filePath);
                if (buff.length && buff[0].toString(16).toLowerCase() == "ef" && buff[1].toString(16).toLowerCase() == "bb" && buff[2].toString(16).toLowerCase() == "bf") {
                    //EF BB BF 239 187 191
                    console.log('\n發現BOM文件：', filePath, "\n");

                    buff = buff.slice(3);
                    fs.writeFile(filePath, buff.toString(), "utf8");
                }

                // { encoding: 'UTF-8', confidence: 0.99 }
                // var charset = chardet.detectFileSync(filePath);
                var info = jschardet.detect(buff);

                if (info.encoding == "GB2312" || info.encoding == "ascii") {
                    var resultBuffer = encoding.convert(buff, "UTF-8", info.encoding);
                    fs.writeFile(filePath, resultBuffer, "utf8");
                }
                else if (info.encoding != "UTF-8" && chardet.detectFileSync(filePath) != "UTF-8")
                {
                    if (buff.toString().indexOf("\r\n") > -1)
                    {
                        var resultBuffer = encoding.convert(buff, "UTF-8", "GBK");
                        fs.writeFile(filePath, resultBuffer, "utf8");
                    }
                }
            }
        });

    } else {
        console.log('Not Found Path : ', dirPath);
    }
}

readDirectory(path);

 

注意上面的判斷，第一個明確是 GB2312或者ascii時，直接將相應的編碼轉爲 utf-8。而若是返回是格式，先判斷是否有PC下的換行符，若是有則所有將它視爲GBK進行處理。

 

整個思路實際上是比較簡單，難點在於若是判斷文件編碼格式。這個真的很難>_<，獲取原編碼格式後，調用 encoding.convert(buff, 目標編碼格式, 原始編碼格式); 即可獲得所須要的編碼。若是有空並且有興趣，能夠下載Notepad++的源碼，看它是如何判斷文件的編碼格式

 

注：上面的方法所修改的文件，跟 Mac 上須要提交的文件列表是一致的，至少能解決我目前遇到的問題。若是有特殊的，可對上面的代碼進行修正。

 

用到的第三方庫：

• encoding https://github.com/andris9/encoding
• jschardet https://github.com/aadsm/jschardet
• node-chardet https://github.com/runk/node-chardet

 

編碼相關的基礎知識，能夠參考阮一峯的這篇文章：http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

維基百科和其它資料太過專業化了，並且對 ASCII 編碼的介紹很少，再也不一一列舉出來了。