物聯網：數據淘金——從數據中挖掘有效信息

時間 2019-11-30

標籤聯網數據淘金挖掘有效信息欄目大數據简体版

原文原文鏈接

歡迎你們前往騰訊雲+社區，獲取更多騰訊海量技術實踐乾貨哦~架構

現在是信息時代，得數據者得天下。然而，只是「有」數據還不夠，數據的「準確性」和數據的「分析」也是相當重要的。愛因斯坦也說過：「能用的不必定有用，有用的也不必定能用。」機器學習

「數據」和「信息」不是一碼事。「數據」說的是一堆未經處理的原始測量結果，咱們要分析它，取其精華去其糟粕，以用於得到有用的信息。因此我們常說的「信息過載」其實不對，「數據」可能會過載，但「信息」越多越好。數據自己不必定有用，由於若是沒有通過適當的篩選，數據可能像假新聞同樣，使咱們誤入歧途。工具

過去十年間，咱們的數據量實現了爆炸式增加。《紐約時報》報道，2005年全球數據總量達到1300億GB。如今的公司常常要處理數以PB記的數據。隨着數據源的飛速增加，數據的獲取速度也愈來愈快。科技進步如此迅速，轉眼已經是滄海桑田。據@HistoricalPics推特所述，1956年一個5MB硬盤要超過2000磅重，IBM要用一架飛機才能運輸！低頭看看巴掌大的手機，不禁得心生感慨。學習

隨着對人們活動和傳感器的測量，數據類型也在不斷增長。而咱們要記住：數據，只有通過了分析，變成了信息纔有用。大數據

物聯網的優點在於它能實時獲取、組織數據。若是架構正確，物聯網能夠把數據變成有用的信息，用來決定下一步怎麼辦。優化

Kristian J. Hammond在《哈佛商業評論》中曾擲地有聲地說：「大多數時候，咱們都知道咱們想從數據中獲得什麼：咱們知道須要分析什麼東西、須要尋找什麼相關性、須要怎麼比較。咱們能夠把數據交給一個能夠勝任這些工做的機器，而後讓它用人類的方式、用天然語言告訴咱們結果。這樣，咱們就能穩定、迅速地從數據中提取到大量有用信息——但現在尚未實現。經過輔以機器的力量，咱們能夠全自動地從數據中淘金，讓冰冷的數字變成感性的認知。「ui

如何發現數據的內涵？

物聯網以前，分析傳感器各式各樣的海量數據很是困難。經過物聯網技術，咱們能夠把機器獲得的數據放入數據池自動分析，以決定下一步須要對數據和程序作些什麼。物聯網不只收集、分析數據，它還會自我提高。雲計算

在介紹具體步驟前，咱們先明確兩個在討論數據傳輸時經常使用的術語：「北向(northbound)」和「南向(southbound)」。「北向數據」是指從設備發出，經過網關，送至雲端的數據，通常是遙測數據，也多是命令和控制請求。「南向數據」則是從雲發至網關，或者從雲經過網關發至設備，通常是命令和控制信息（如軟件的更新，請求、更改配置參數等）。blog

如下是利用南、北行信道，從探測數據中找到有用信息的方法：ip

第一步：傳感器發出北向遙測數據。根據架構的不一樣，這些數據會被預處理，而後發送到位於傳感器附近的數據存儲器（好比一個網關）。
第二步：在網關這個臨時節點上對數據進行必定量的分析，你能夠在這處理數據（例如彙總數據，或者轉換數據，爲數據中心或雲深刻分析作好準備）。而後，把在網關上處理的信息和以前的精確結果比對，就是在歷史信息中進行相關性匹配。發現的模式能夠做爲咱們行動的依據。但除了發現已知模式，你也想找到你不知道的東西，想發現新的相關性和結論。例如，你可能不知道當氣溫降到10℃如下時，醫生開出的抗流感處方會增長30％，而同時雞湯、紙巾的銷售額也會10天內上升。你之前可能沒注意到這些關聯，但如今有了物聯網，你就能夠用這些作出新的商業決策。
第三步：利用新的信息，您就能夠創建一個規則。例如，當傳感器發現溫度已經降到10℃如下時，就讓倉庫把雞湯和紙巾運到碼頭附近。這樣，你就把信息變成了可監控、管理、執行的行事規則。
第四步：最後把制定好的規則付諸實踐。就是如圖所示的迭代過程。

開源何益？

開源軟件項目提供了標準化的工具包（例如Camel、Drools），你能夠用它處理、操做數據。Apache Camel是一種基於Java規則的路由和中介引擎，具備能夠處理數據的企業集成模式。它經過「開箱即用」(out-of-the-box)的信息中介、路由、數據轉換，能夠聯網解決方案的開發。我認爲最好經過Eclipse IoT工做組項目（如Eclipse Kapua、Kura）在IoT中使用Apache Camel。

JBoss社區的Drools是一個內置了規則模板的業務規則管理系統，你能夠用它規定在什麼狀況下應該採起什麼措施。Drools經過定義明確的DSL（域特定語言）來實現物聯網所需的規則和優化規則引擎所需的可擴展性。它還附帶一個名爲Workbench的GUI，可讓開發者很是簡單地建立、編輯規則。

把數據轉化爲有用的信息是全部物聯網工做的核心，而經過開源軟件能夠實現這一目標，這有助於加速將物聯網付諸實踐。