Lua編寫wireshark插件初探——解析Websocket上的MQTT協議

1、背景html

最近在作物聯網流量分析時發現, App在使用MQTT協議時每每經過SSL+WebSocket+MQTT這種方式與服務器通訊,在使用SSL中間人截獲數據後,Wireshark不能自動解析出MQTT語義,只能解析到WebSocket層,如圖所示。雖然在Data域中顯示了去掉mask的WebSocket數據,但分析起來mqtt仍然很難受。因此打算寫一個插件,利用wireshark自帶的MQTT解析功能來分析Data部分的數據,而不是本身從頭寫一個徹底新的解析器。注:不少教程是教如何添加一個新的協議,如設置協議的屬性等,推薦參考【2】,本文主要梳理編寫插件的條理。linux

2、Lua編寫wireshark插件基礎git

 有前輩介紹了用Lua寫wireshark插件的基礎教程,能夠參考文末【1】【2】,這裏再以本身的理解總結一下,由於實在沒有一個文檔讓我有從入門到精通的感受。github

1. 首先須要知道解析器(Dissector)和post-dissectors的相關概念【3】web

1)解析器(Dissector)是用來被wireshark調用解析數據包或部分數據包的,須要以Proto對象的形式註冊後才能被wireshark調用。同時,咱們還可使用wireshark已經自帶的解析器,註冊一個解析器的例子代碼以下所示。windows

-- trivial protocol example
-- declare our protocol
--trival是協議名字,後面是說明,均須要在wireshark中惟一。
trivial_proto = Proto("trivial","Trivial Protocol") -- create a function to dissect it function trivial_proto.dissector(buffer,pinfo,tree) pinfo.cols.protocol = "TRIVIAL" local subtree = tree:add(trivial_proto,buffer(),"Trivial Protocol Data") subtree:add(buffer(0,2),"The first two bytes: " .. buffer(0,2):uint()) subtree = subtree:add(buffer(2,2),"The next two bytes") subtree:add(buffer(2,1),"The 3rd byte: " .. buffer(2,1):uint()) subtree:add(buffer(3,1),"The 4th byte: " .. buffer(3,1):uint()) end -- load the udp.port table udp_table = DissectorTable.get("udp.port") -- register our protocol to handle udp port 7777 udp_table:add(7777,trivial_proto)

 

2)解析器註冊分爲不少種,可使用函數register_postdissector(trivial_proto)註冊爲postdissectors,即在全部解析器執行完後執行;也能夠在DissectorTable上註冊,這樣就可使用wireshark自帶的上一層協議解析後的結果。好比,協議TCP的解析表」tcp.port」包括http,smtp,ftp等。例如,你寫的解析器想解析tcp端口7777上的某個協議,就使用下面的代碼,而沒必要從tcp或者ip層開始解析。瀏覽器

-- load the udp.port table
udp_table = DissectorTable.get("udp.port")
-- register our protocol to handle udp port 7777
udp_table:add(7777,trivial_proto)

這個功能很是強大。直觀地,若是想解析WebSocket上的mqtt協議,能夠這麼寫【6】(可是不知什麼緣由我這麼寫一直沒法成功解析。):服務器

local mqtt_dissector = Dissector.get("mqtt")
local ws_dissector_table = DissectorTable.get("ws.port")
ws_dissector_table:add(8083, mqtt_dissector)

經過上面這段代碼咱們學習到,直接得到wireshark中解析器的方法Dissector.get,更多的方法能夠參考官方文檔11章【7】,好比咱們如何得到已經支持的全部協議呢?mqtt協議的解析器關鍵字是大寫仍是小寫?能夠這麼寫【8】:websocket

local t = Dissector.list()

for _,name in ipairs(t) do
    print(name)
end

--查看全部支持的table
local dt = DissectorTable.list()

for _,name in ipairs(dt) do
    print(name)
end

 

3)被調用時,wireshark會傳遞給解析器三個參數:數據緩衝區(一個Tvb 對象【4】)、包的信息(Pinfo對象【5】)以及顯示在圖形化中的樹形結構(TreeItem 對象 )。注意,理解這三個參數相當重要,同時注意它們不是Lua自身具備的數據類型,常常須要調用對象中的方法轉換。經過這三個參數, 解析器就能夠得到和修改包的相關信息。dom

Tvb就是包的數據內容,能夠像這樣來提取內容。一般,咱們須要提取出來包的內容當作字符串處理,或者提供字符串轉換成Tvb來讓解析器處理,這時候須要進行一些轉換,以下代碼所示【10】,詳細可參考【9】。

local b = ByteArray.new(decipheredFrame)
local bufFrame = ByteArray.tvb(b, "My Tvb")

 Pinfo常常被解釋爲報文信息,我的理解簡單的說就是給了按照圖中這個條訪問報文的接口,最多見的例子就是修改協議列名稱或者info列顯示的消息,如pinfo.cols.protocol = "MQTT over Websocket" ,更多的屬性從參考文獻【5】中能夠獲取。

 

TreeItem 對象表示報文解析樹中的一個樹節點,得到了這個就能夠動態往圖形化界面裏添加節點。

 

2.調試與啓用插件

啓動

wireshark在啓動時會加載init.lua腳本, windows平臺在wireshark安裝目錄下,linux在etc/wireshark下。想要執行咱們寫的插件,只需在該腳本最後加上dofile(".\\plugins\\mqttoverwebsocket.lua")來執行便可。從新加載Lua腳本的快捷鍵是Ctrl+Shift+L

調試

若腳本有語法錯誤,wireshark圖形界面在加載時會彈出提示;如有運行時錯誤,會在圖形化的協議樹中顯示;wireshark還有一個Lua終端來執行編寫的插件腳本、打印錯誤信息,經過「工具——Lua——console」打開,動態執行腳本經過「工具——Lua——evaluate」。注意看到輸出須要使用wireshark提供的內置函數如debug(text)來輸出【14】。

3、實現解析Websocket上的MQTT協議

 因爲不明緣由將mqtt協議解析器註冊到ws.port或ws.protocol上仍然沒法自動解析MQTT,因此我選擇首先得到已經解析好去掉mask後的WebSocket的data字段,而後再將其轉換成tvb到mqtt解析器中自動解析。得到包解析後內容的方法主要參考【11】和【12】中的解析樹的例子,使用fieldinfo類與全局函數all_field_infos()來得到解析樹的各個部份內容。

因爲傳入mqtt解析器的tree就是這個包的樹根,因此也會自動添加一個節點。最後取得了不錯的效果。另附github連接:https://github.com/a3135134/Wireshark-Plugin-MQTToverWebSocket.git

 

do
    -- calling tostring() on random FieldInfo's can cause an error, so this func handles it
    local function getstring(finfo)
        local ok, val = pcall(tostring, finfo)
        if not ok then val = "(unknown)" end
        return val
    end
    
    -- Create a new dissector
    MQTToverWebsocket = Proto("MQTToverWebsocket", "MQTT over Websocket")
    mqtt_dissector = Dissector.get("mqtt")
    -- The dissector function
    function MQTToverWebsocket.dissector(buffer, pinfo, tree)
        local fields = { all_field_infos() }
        local websocket_flag = false
        for i, finfo in ipairs(fields) do
            if (finfo.name == "websocket") then
                websocket_flag = true
            end
            if (websocket_flag == true and finfo.name == "data") then
                local str1 = getstring(finfo)
                local str2 = string.gsub(str1, ":", "")
                local bufFrame = ByteArray.tvb(ByteArray.new(str2))
                mqtt_dissector = Dissector.get("mqtt")
                --mqtt_dissector:call(finfo.source, pinfo, tree) #9 BUG
                mqtt_dissector:call(bufFrame, pinfo, tree)
                --mqtt_dissector:call(finfo.value, pinfo, tree)
                websocket_flag = false
                pinfo.cols.protocol = "MQTT over Websocket"
            end
    end
        
        --ws_dissector_table = DissectorTable.get("ws.port")
        --ws_dissector_table:add("443",mqtt_dissector)
    end
    -- Register the dissector
    --ws_dissector_table = DissectorTable.get("ws.port")
    --ws_dissector_table:remove(443, mqtt_dissector)
    --ws_dissector_table:add(443, MQTTPROTO)
    --ws_dissector_table:add_for_decode_as(mqtt_dissector)
    register_postdissector(MQTToverWebsocket)
end

 

4、TIPS與BUG

TIP1.若是遇到非知名端口上的多層解析怎麼辦?如遇到1885端口上的SSL+Websocket+MQTT如何處理?

首先選擇要解析的包,右鍵點擊「解碼爲...」,設置當前1885端口爲SSL Port,而後將Current的None修改成HTTP。這樣Wireshark纔會將該包解析顯示爲Websocket,以後才能使用該插件解析。wireshark默認只解析知名端口如443,因此常常仍是要憑藉經驗來本身配置。

 

TIP2.手機端使用HTML5編寫控制頁面(國內不少智能家居都是,如蘇寧智能等),Hook後就打不開網頁(彷佛是因爲使用了系統webview),怎麼辦?

想辦法得到訪問的頁面URL,將該頁面放到瀏覽器中去模擬訪問再抓包。設置系統變量就能夠將瀏覽器的SSL Session Key導出,再設置wireshark的「編輯——首選項——協議——SSL」就能夠解析了。

 

BUG1.這個插件在wireshark升級或從新安裝後會報錯,提示已經註冊了相同說明的協議,不知如何解決,但不影響使用。

 

參考文獻1

【1】http://www.cnblogs.com/zzqcn/p/4827251.html

【2】https://mika-s.github.io/wireshark/lua/dissector/2017/11/04/creating-a-wireshark-dissector-in-lua-1.html

【3】https://wiki.wireshark.org/Lua/Dissectors#Dissectors

【4】https://wiki.wireshark.org/LuaAPI/Tvb#Tvb

【5】https://wiki.wireshark.org/LuaAPI/Pinfo#Pinfo

【6】https://ask.wireshark.org/question/1480/mqtt-over-websocket/

【7】https://www.wireshark.org/docs/wsdg_html_chunked/lua_module_Proto.html#lua_class_Dissector

【8】https://osqa-ask.wireshark.org/questions/32288/can-over-ethernet-lua-dissector

【9】https://www.wireshark.org/docs/wsdg_html_chunked/lua_module_Tvb.html

【10】https://osqa-ask.wireshark.org/questions/43013/conversion-of-string-into-userdata-type-like-wiresharks-buffer

【11】https://www.wireshark.org/docs/wsdg_html_chunked/lua_module_Field.html#lua_class_Field

【12】https://wiki.wireshark.org/Lua

【13】https://wiki.wireshark.org/Lua/Examples#View_Packet_Tree_of_Fields.2FFieldInfo

【14】https://wiki.wireshark.org/LuaAPI/Utils

 

By ascii0x03, 2018/4/10,轉載請註明出處

個人博客即將搬運同步至騰訊雲+社區,邀請你們一同入駐:https://cloud.tencent.com/developer/support-plan?invite_code=16ze50p7mjz0y

相關文章
相關標籤/搜索