表單生成器(Form Builder)之mongodb表單數據——整理數據

　　在上篇筆記中，爲車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。以後即是查詢了，重點也在查詢……按照以前定好的數據結構，若是是查詢mongodb document的最外層比較簡單，可是咱們的重點應該是FormItems表單項集合中的表單項，對他們進行查詢、統計等。根據插入的數據，我寫了一個查詢：查詢車輛信息中主鍵ID爲1的車輛的全部耗損記錄。分析一下由於全部的表（上面的三張表都放在FormInstace中）都在一個真實的表中，因此咱們首先要肯定FormId，以後是怎麼肯定是那輛車，車輛耗損表中有一個字段冗餘着車輛信息（不清楚的能夠翻一下前面的筆記），那麼查詢語句就出來了：

db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

　　其實原本這個查詢挺簡單的，肯定了表以後就是一個等值查詢，可是如今卻由於咱們的結構問題用到了mongodb中的$elemMatch。這仍是最簡單的查詢，以後要是有複雜的查詢統計更是不敢想象（事實上也確實如此：如今的項目中對錶單中的字典進行查詢統計很是困難）……那麼咱們能不能將FormItems表單項集合中的字段拿到document的最外層，和以前的關係型數據同樣，以下圖：

　　答案是能夠，mongodb有不少聚合管道，使用不一樣的組合能夠幫咱們實現上述效果，因爲mongodb的版本不一樣以及語句的複雜程度，寫了好幾版本，下面一一列出。

　　初版

//    初版：受限於下面的幾個聚合管道，能夠在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            "FormValueObj._id": "$_id",
            "FormValueObj.ExtendData":"$ExtendData",
            "FormValueObj.CreateUserId": "$CreateUserId",
            "FormValueObj.CreateUserName": "$CreateUserName",
            "FormValueObj.CreateDate":"$CreateDate",
            "FormValueObj.LastModifyDate":"$LastModifyDate",
            "FormValueObj.FormId": "$FormId",
            "FormValueObj.FormVersion":"$FormVersion"
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    }
]);

　　看一下執行結果（用的是Robo 3T 1.2.1）

　　看到這樣的執行結果仍是很滿意的，這不正是咱們想要的嘛！可是當我調整上圖中的數值時（修改成500），卻報錯了(⊙o⊙)…

　　我去這是什麼狀況，我都懷疑個人語句寫的有問題了，但是爲何第一次沒問題-_-||，我在另外一臺電腦中測試時（操做方式相同，只是版本不一樣，版本是1.3），還出現過「Cannot convert to an aggregation if ntoreturn is set」這樣的錯誤，網上查到了這篇文章https://github.com/Studio3T/robomongo/issues/1529 （這裏只是記錄一下，有時間再看吧）。我還有另外一個GUI，便試了一下：

　　至此我以爲語句應該沒問題，最後的數據列是合併了全部表（邏輯上）中的全部字段和公共字段。

　　第二版

//    第二版：受限於下面的幾個聚合管道，能夠在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $objectToArray     New in version 3.4.4.
//        $concatArrays    New in version 3.2.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            TempFormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            TempFormValues: { 
                $objectToArray : "$TempFormValueObj"
            }
        }
    },
    {
        $addFields:{
            FormValueObj:{
                $arrayToObject:{
                    $map:{
                        input:{ 
                           $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ] 
                        },
                        as: "kv",
                        in: ["$$kv.k","$$kv.v"]
                    }
                }
            }
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    },
    {
        $project: {
            FormItems:0,
            TempFormValueObj:0,
            TempFormValues:0
        }
    }
]);

　　在上一版中手動拼接了全部的公共字段，不是特別方便，這一版本中去掉了

　　第三版

//    第三版：受限於下面的幾個聚合管道，能夠在3.6及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
//        $mergeObjects     New in version 3.6.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

　　這一版代碼最精簡，可是依賴的mongodb的版本比較高，要3.6+

　　如今咱們整理完了數據，再看一下上面的查詢，對比一下變化

　　就是在最後添加一個篩選管道，結果和最上面的結果是同樣的都是58條。這裏你可能會發現幾個問題：

　　一、查詢表單中的表單項都是硬編碼的數字（例如「1572493552001」），可讀性太差了；

　　二、查詢時間有點長（圖片中有執行時間）；

　　三、寫一個簡單的查詢，這代碼也太多了

　　……

　　對上面的問題，解釋一下

　　一、在實際的界面中的篩選字段都是拖拉拽設計的，用戶是感知不到的，「1572493552001」只是一個橋樑

　　二、查詢所有的時間是有點長，好吧！不是有點是很長……若是業務需求須要獲取全部的數據時，就不要用這種方式了，麻煩你換一種方式吧！我想說的是實際的場景中都是分頁加載，這時時間仍是能夠接受的，下面是獲取30條的截圖，時間0.114s

　　三、代碼有點多的問題，其實你能夠將上面整理數據的代碼做爲篩選的前置條件，只要是查詢都添加這段代碼；還有一種處理方式就是先建立一個視圖

db.createView("FormInstaceView","FormInstace",[
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

　　以後你就能夠向下面同樣查詢了

　　結果和上面的沒有什麼區別，可是你不要將視圖看成mongodb中的collection使用，這樣是查不到數據的

db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

　　這篇筆記仍是夠長的，一大推代碼……就到這裏了。