對於數據，科技小白提出了靈魂三問：從哪兒來？到哪兒去？能幹什麼？

做爲科技圈小白，常常被數據搞得頭暈腦脹，數據打哪兒來？到哪兒去？能幹什麼？那麼多數據怎麼區分誰有用誰沒用？其實數據就在咱們身邊，每一個人都是數據的生產者，從人類文明誕生的那一刻起，數據就伴隨咱們而生。今天這篇文章，小編就帶你查一查數據採集技術的水錶。

1、數據從哪兒來

數據是經過採集的方式得到的，可是採集過程並不簡單。好比，數據糧食有的是粗糧有的是細糧，可以拿到細糧的機率過低了。爲了篩選出真實有效的數據，你們一般的作法就是把粗糧先搞回來再加工，這種狀況就致使花大力氣搞回來的糧食篩到最後能吃的不到10%。

並且，不是全部的數據都是現成的，有些狀況下須要自給自足去種地，從撒子秧苗開始培育本身的數據，至於哪一個環節出問題致使數據收成很差那都是靠天吃飯的隨機性了。

就算是本身動手豐衣足食也存在秧苗生長不統一的問題，數據有很大的主觀性，常常按照本身的想法長，你們都不同，那口感就不一致了，我們覺得這是一碗大米飯，可能最後出來的是雜豆飯。

2、數據到哪兒去

數據中隱藏着系統或設備運行的規律，也含有突發的狀態變動信息，更是潛藏着異常或災難發生前細微的蛛絲馬跡。所以，它的用途很是普遍，傳統行業中能夠收集生產設備的運行狀態數據實現系統的監控和運維工做，信息產業中各類各樣的數據是支撐整個產業發展的基石，在將來，人工智能技術大規模應用到各行各業中，更是離不開豐富的數據支撐。

咱們既然拿糧食比喻數據，那麼數據對於人工智能來講就是吃到肚子裏去。數據採集難度係數不低，咱們怎麼更簡便地獲得數據，更快地解決人工智能的溫飽問題呢？聰明的人類又開始思考如何爲本身快速搞到數據。

首先，咱們能夠本身搞一個高定製化的統一收割系統，用統一的機器作數據糧食收割效率很是高，但這也致使了最終的數據糧食雖然統一，徹底沒有驚喜，畢竟收割機高度就是這麼高，這一茬被收割，一些良莠不齊的數據卻僥倖繼續野蠻生長沒法收割。從下面的曲線能夠看出：高度定製化能夠帶來極簡的使用體驗，但也犧牲了靈活性。

極簡和靈活性如何取捨，仍是要落地在場景中。按照2-8原則，80%的數據咱們採用高端定製的模式來收割，剩下的20%的數據手動收割，這樣咱們既能高效的獲取整齊劃一的糧食也能參雜一些小驚喜，一箭雙鵰。

下面咱們以網絡人工智能業務爲例，來看看具體的操做：

網絡人工智能業務所使用的80%以上數據，是電信網絡的設備數據，因此這一部分能夠直接進行網絡打通，系統自動完成對接協商、數據採集和標準化處理，使用者可直接獲取想要的小區性能指標，進入下一業務環節。

80%的數據採集場景作到了極簡，大部分用戶的體驗獲得保障。剩下20%的場景，經過靈活通用的採集能力來解決，用戶配置數據源對接參數便可完成數據採集。

還有一些數據並不能經過簡單採集得到，好比，無源設備、以及沒法產生狀態數據的軟硬件系統，這就須要一波高端操做——探針自主採集。探針技術自己比較成熟，各行業都有普遍應用，弊端是部署成本高、推廣難度大。探針技術也有軟硬之分，從名稱上就能看出，軟探針就是經過獨立可執行的軟件或可被集成的SDK，在用戶受權的狀況下，採集網絡體驗數據。硬探針基本上就是傳感器、探測設備等，專業性較強，數據收集準確性高。

3、數據能幹什麼

數據能幹的事情太多了，能夠用來分析用戶喜愛和需求，得到對電信網絡真實客觀的使用反饋，可以快速得知產品有何不足，對應更新更多的業務模式，可以幫助實現業務改善。好的數據可以幫助企業得到更大對競爭力。但這些數據的背後是人，人的主觀性越強，需求就越明確，對產品能力的提高就越有幫助。這些數據就比如是食物中最頂端的高端食材，口感一流品質上乘，可是價格不菲。

以下圖所示：

體驗數據很差得到，這些數據基本上要經過問卷調查、實驗、端側體驗指標採集等方式得到，不只成本高並且可得到的數據量也有限。這就好像你是個網店賣家，辛苦作出的產品想要獲得五星好評或真實超過10個字的評價感覺，須要給客戶搞一個好評返現紅包。鑑於你們都比較忙，給有字評價的客戶依舊很少，那就須要用插補的方式，基於少許真實評價估計一個所有用戶的總體感覺。

在網絡人工智能業務中，咱們是如何得到高質量數據的？首先，咱們開發了專業的APP，對於用戶來講，除了能隨時感知本身所處網絡的速率和時延，還能針對室內覆蓋幫助用戶進行信號仿真，實現Wi-Fi的組網規劃，真正解決用戶的體驗問題，除此以外，還具有遊戲的代入感和使用體驗，能更好的吸引用戶，實現網絡體驗數據的採集。其次，咱們還提供了可基於有限採集數據，經過算法進行數據插補的能力，對於採樣點少或缺失的區域進行數據補充，該方法引入了地理統計計算的相關算法，在必定採樣條件下，插補的偏差RMSE小於5，高於物理測量設備的仿真結果。

4、保衛數據安全才是正經事

在開頭咱們講過，數據採集有不少難處，在收集、存儲、傳輸上都須要更安全的環境。只有保障數據採集系統安全可靠，纔可以有效的保護數據需求者和提供者的權益。網絡人工智能在數據採集安全方面也作了很多針對性的措施。好比在數據收集環節的數據脫敏、最小採集範圍、密級控制等，避免「順手牽羊」；在傳輸過程當中也提高了運輸大隊的軍火儲備和隱蔽能力，爭取讓劫匪找不到本身的數據，或者遇到劫道兒的也能從容迎戰保衛數據安全；在存儲環節的訪問控制和權限隔離等技術，避免越權訪問和數據泄露問題。

網絡人工智能在數據採集安全方面所作的措施以下圖所示：

隨着數據安全和隱私保護法規的不斷完善，應對數據安全的軟、硬件措施也逐步完善，每個安全措施都是不斷完善的長久工程，數據安全沒有終點，只有與時俱進不斷進步，才能持續知足人們對數據的安全感，從而更充分的發揮數據價值。

5、數據採集技術還在不斷成長

數據採集不是一蹴而就的，隨着產品或服務的迭代升級，各行業技術的發展，用戶需求的提高，政策法規的完善，數據採集技術在安全和隱私保護、數據可得到性、體驗等都須要不斷演進發展。數據採集不只是數字化轉型的基礎，仍是人工智能的精神食糧，更須要作到保障數據通道的暢通無阻。

做爲華爲ICT基礎設施業務面向全球開發者的年度盛會，華爲開發者大會2021（Cloud）將於2021年4月24日-26日在深圳舉行。本屆大會以#每個開發者都了不得#爲主題，將匯聚業界大咖、華爲科學家、頂級技術專家、天才少年和衆多開發者，共同探討和分享雲、計算、人工智能等最新ICT技術在行業的深度創新和應用。智能時代，每個開發者都在創造勇往直前的奔騰時代。世界有你，了不得！

點擊連接，瞭解大會詳細信息。https://developer.huaweicloud...

點擊關注，第一時間瞭解華爲雲新鮮技術~