AR在公共安全及應急指揮中的應用

時間 2020-07-20

原文原文鏈接

點擊觀看大咖分享

抗擊疫情，騰訊雲在行動。AR（加強現實）技術正在成爲新一代基礎設施建設中的重要組成部分。營銷、教育、娛樂、會展等行業已大量使用AR技術提高用戶體驗，得到更好的傳播效果。製造業也正陸續採用AR技術應用於設備巡檢、操做指導和遠程協助等場景，提高效率、下降出錯率。美軍一直重視AR技術在軍事上的應用。計算機視覺技術+移動互聯網通信技術+人機交互，在公共安全領域也有着普遍的應用場景。ios

本次騰訊雲大學大咖分享課程邀請 騰訊雲最具價值專家TVP 韓磊 分享關於「AR在公共安全及應急指揮中的應用」課程的內容。程序員

做者簡介：韓磊騰訊雲最具價值專家（TVP）廣州亮風臺信息科技有限公司總經理。新媒體和社區運營專家，技術圖書做、譯者。 2001年創辦CoDelphi.com網站。 2003年加入CSDN，歷任網絡總監、副總經理、總編輯等職。 2010年加入廣東21世紀傳媒集團，歷任信息中心CTO、新媒體事業部總經理、新媒體中心CTO等職。 2017年起擔任亮風臺廣州公司總經理。擁有美國Borland公司「Delphi產品專家」稱號。和劉韌合著有《網絡媒體教程》，與戴飛合譯有《Beginning C# Objects：對象到代碼》，譯有《夢斷代碼》、《C#編程風格》、《代碼整潔之道》等。算法

本次分享內容：編程

一、AR的歷史與概念
二、AR在工業、營銷等領域的應用
三、AR在公共安全方面的應用
四、從事AR研發所需能力模型

1、AR的歷史與概念

一、AR的概念

簡單的看看什麼是AR，加強現實。咱們來看一個視頻（點擊觀看大咖分享）。這段視頻來自蜘蛛俠衍生電影裏的一幕。故事說年輕的蜘蛛俠帶上了鋼鐵俠給他的衣服眼鏡這個眼鏡上頭裝載了一套叫伊迪絲的系統。該系統能夠調用全球的屬於這個大集團的軍事力量來進行共析。這算是一部科幻片，但這一幕場景很正確的講清楚了AR的概念。能夠看到場景裏蜘蛛俠帶上眼鏡後，能夠透過眼鏡看到人的身份，能夠看到人們在通信網絡裏面的交流。甚至到後面的場景，能夠調用無人機的攻擊手段去做戰。這看起來很科幻，但其實它真的是切實了AR本質的東西。小程序

AR的本質原理和VR是不同，VR是徹底製造一個沉浸式的虛擬的世界，AR是在真實世界裏疊加虛擬的數字化的內容。那麼在AR的生成過程當中，首先有一個攝像機獲取真實世界的視頻畫面，經過計算機的運算識別它，再作一些疊加的操做。最後經過渲染引擎從新呈現出來。實際上，在咱們眼前看到的AR這個很是科幻的畫面，它是一個合成的視頻畫面。後端

整個流程裏有輸入、輸出、計算三個環節，有不少可用的設備。安全

在輸入的部分，能夠用手機攝像頭、AR眼鏡攝像頭、其餘PC攝像頭等，以及非視覺的採集工具，如紅外攝像頭、深度攝像頭、超聲波攝像頭。微信

全部這些視頻或非視頻的視覺畫面，獲取後經過一些計算，主要包括兩大部分：網絡

第一部分是識別人臉、識別手勢、識別人的動做，比方說一我的從A點到B站中間的軌跡，或者識別整個空間是怎樣構成的。通過運算以後，能夠說某種意義上，理解了要計算的對象，他的形象、動做、意圖。app

第二部分計算是在識別對象的畫面上疊加什麼樣的數字信息，包括了渲染的環節在內。

渲染完成後是輸出，是咱們能夠用手機屏幕、眼鏡屏幕、其餘屏幕看獲得的。在剛纔的視頻片斷裏，咱們能夠明確的看到蜘蛛俠在鋼鐵俠的眼鏡裏看見了輸出的畫面。但在其餘的場景裏，能夠用其餘的設備，比方說用手機有攝像頭，有計算能力，也有輸出。咱們經常看到的一個超連接使用手機QQ的AR掃一掃，掃描某個圖像能夠添加視頻出來或者疊加一個3D模型，微信如今也支持AR，能夠用手機嘗試。

看看下圖眼鏡形態，手機的形態，你們都很熟悉了，眼鏡可能不見得每個朋友都親自體驗過。你們不用看具體指標，咱們就簡單看一看指標的類型，最重要看，在左邊有一個系統上面看到是安卓7.0，那麼綜合Cpu和綜合他的系統以及包括其餘的參數，能夠那麼說，AR眼鏡幾乎就是一臺安卓手機。只不過它把輸入輸出這部分，作了一些分解。

那麼你們在屏幕上看到的這框眼鏡的，它是屬於分體式的眼鏡，AR眼鏡有兩個形態，一個是一體式的就是把Cpu內存電池全部的運算單元和其餘的操做單元都集成在眼鏡端，特色是比較酷，可是會比較重。另外一個是分體式，把電池cpu內存等硬盤單元放到一個手持端，經過一條線，和眼鏡端鏈接。

那麼經常有一些合做夥伴問咱們就說買大家眼鏡或者說打算在眼鏡上作開發要具有什麼樣的能力，給什麼樣的SDK或開發文檔。咱們經常會告訴它其實在沒有調用咱們特有的一些接口狀況下，你若是想在AR眼鏡上作開發，不少時候你只須要具有一個安卓手機開發的能力就能夠。

綜上所述，咱們認爲的是加強現實，這個技術，是由計算機視覺和人機交互兩個大的部分組成的。每每咱們在談論加強現實的時候會過多的重視計算機視覺，而忽略了人機交互。沒有人機交互，其實加強現實就不成立，爲何呢。由於咱們對現實的加強是要給人來用的，是爲了提供人更多的能力，看得見更多東西的能力和作更多操做的能力而存在。

因此你判斷一個加強現實產品到底好很差，除了說咱們在例如這個識別人臉上面，很強大的算法外。還要看它和人的交互有沒有達到一個比較好的標準。

二、AR的歷史

回顧加強現實的歷史，來看看硬件方面。在1960年左右的世界上已經出現了第一臺加強現實的設備叫sensorama。它是實驗室的一個設備。它可讓使用者透過屏幕看到一個立體幾何的圖形。

在1960年出現這個設備以後的幾十年裏，一直有不一樣的一些設備出來，有不少人在不一樣領域作嘗試，比方在藝術、傳媒、電視直播等作嘗試。

但要到1992年，纔有人真正把加強現實這個詞帶到世界上，這就是波音公司的工程師托馬斯考戴爾，他和他的同事發表的一篇論文，就是討論加強現實技術是如何應用在飛機的裝備過程。

那爲何會有這個話題呢，由於一臺波音飛機或者民用客機的裝備都是很是複雜的，有成千上萬條線束要對接，對錯一個飛機是要出問題的。無論是用紙質或者電子的說明書，進行裝配操做的指引，每每仍是會致使錯誤。

托馬斯就設想若是讓工程師帶上一個頭戴式的眼鏡，透過眼鏡去看要裝備的對象，跟着眼鏡上頭出現的指引，這讓工程師是能夠正確的裝配飛機的線束，這就變得很是的高效率和準確。他把這樣一種技術叫Augmented Reality就是加強現實，要到1992年這個詞才真正的出現。

下圖是你們比較熟悉的一個東西，2014年穀歌推出一款智能眼鏡，或者說是一臺智能眼鏡的早期的形態。他是如今術語叫單幕的，也就是單個鏡片，還有一個攝像頭，它的整個機體主要的部分就是這兩個東西，固然裏頭還有一個運算單元、電池。除了這兩個東西以外，你們看到的墨鏡部分，其實沒有起太大的實質做用。

這樣一個產品，在2015年就被谷歌放棄了。固然它涉及到的研究的不少技術用在了谷歌其餘的一些產品上，到如今也有相似這種形態的產品，但主要不是面向消費者的，而是面向工業市場的。

當時，Google Glasses出來以後確實也在業界引發了一陣熱潮。2015年，咱們亮風臺也發佈了一款眼鏡，爲何特別講這件事兒呢，不是說亮風臺有多麼先進，是拿亮風臺眼鏡來作例子來講明，其實中國在AR眼鏡上沒有落後於世界多大的距離，包括亮風臺在內的一系列的國產廠商在大概一五年到如今，有在推出不一樣的頭戴式的AR設備，和國外的夥伴友商同樣，大概是在一個水平線上，這一點仍是挺讓咱們AR從業者自豪的。

反而咱們看到國外的一些廠商吹牛吹得太大，你們可能有所印象，曾經放過一個視頻是可讓人裸眼看到真實體育館裏一條鯨魚從地面上飛起來，但最後證明視頻是後期製做。如今業界技術並無達到那麼高的一個水準。

在軟件方面的發展狀況。把AR軟件，簡單分紅兩部分，一個是應用，一個是SDK。

應用部分很少說，市面上有不少，你們可能最有印象的是一款遊戲叫Pokemon go精靈寶可夢。面向消費者市場的這個應用軟件，先拋開不說。接下來說SDK方面，也就是咱們開發者可以拿來作本身應用的一些軟件。

最先的AR SDK是1999年一個日本人和他同事一塊推出的叫ARToolKit。這一套套件目前仍然是有不少人在使用，它是開放源代碼的。若是你們上網去搜的話能夠下載到和使用它。這是一個劃時代的產品，由於開發者不用從頭去作一切事情，能夠用一個套件集成到本身的應用就能夠。讓你的應用具有比方說識別二維圖像的能力，並在上面去疊加數字內容的能力。

1999年有一個套件是以Inter爲首的一個聯盟作的OpenCV。CV是computer verion計算機視覺，OpenCV顧名思義，它是一個開放性的套間庫。迄今爲止，它已經成爲某種意義上的業界的一個小的標準。不少開發者也在用它作本身的應用，也包括了不少研究者也在用它作一些科研方面工做。

2015年，咱們亮風臺也發佈了一個HIAR SDK，在網上咱們官網上能夠下獲得，若是你們有興趣的話能夠下載試一試。我就很少介紹了，這個和其餘的一些SDK也沒太大區別。

對業界來講具備一個標誌性意義的是2017年蘋果發佈Apple ARKit，和18年穀歌發佈ARCore，這兩個AR SDK爲何說有一個大的意義呢，由於這兩個套件的發佈意味着巨頭進入到這個市場。也就是說，這個市場開始從最先期的探索階段，進入到一個市場化的階段，一個規模市場的階段，由於我認爲這件事具備一個標誌性的意義。

而的確，在18年以後，Facebook包括國內的不少平臺廠商也進入到AR市場，整個市場的規模在擴大，但就整個從市場的發展趨勢來說的話，目前AR市場仍是處於一個很是早期的階段。

曾經有一個風口在16年吧，可是在1819年呢，又經歷一個降低，是你們認爲好像AR的實用性不是很強。這是很正常的，任何一個技術他都有從人們不瞭解到追捧，到後來在實實在在的去看待他，最後跟本身的行業去結合，而後找到他的實際的應用方式。這是有個過程。固然這個過程提及來一句話就講完了，對於咱們的AR這個行業的廠商是很是不容易的。

亮風臺從2012年開始創立這家公司，到如今爲止，中間九死一輩子，若是你們有興趣能夠去看一看咱們的這個發展過程。中間的確有那麼兩三個關口，差點熬不過去，可是咱們在那時候用肯尼迪這句話來鼓勵本身，這是在當年美國人第一次登月的時候，他發表的公開演講，他說咱們選擇在這個十年去登月，還有一些其餘的事情，不是由於這些事簡單，是由於他們很難。

我以爲it的從業者或者說任何一個行業的從業者，要有這樣的一個挑戰的精神。人活着不就得吵架，爲了折騰，尤爲是咱們幹軟件行業幹程序員的，不折騰，實在是太沒意義了。

咱們再來看一段視頻（點擊觀看大咖分享）剛纔看了兩個視頻，一個科幻的一個現實的。

三、AR的核心價值是什麼。

AR到底給咱們帶來什麼，是單純好玩兒仍是真的有些價值呢，咱們認爲AR的核心的價值，仍是要賦能於人，像剛纔講到的同樣，AR是關注人機交互的，而咱們認爲人和機器在將來的這個世界裏頭必定是共同進化。而不是說無人的一些先進設備，機器人能徹底替代人，咱們認爲這是這是一個遙遠的將來，也許永遠不可能實現，人的創造性和機器或計算機的智能性結合起來，可以得到更大的一些能力。具體來講就是讓人看見本來看不見的，比方說深度學習，那深度信息人臉是模擬出來的，不是真正的是精確的信息，那麼看懂原來看不懂的，對方說給某件事物一個說明貼在上面說明書數字化的，可以作一個原來作不到的東西。固然這句話講起來的點抽象來往下去看一些行業的例子就能夠理解。

2、AR在工業、營銷等領域的應用

一、AR在工業上面的一些典型應用

工業這個概念很大，可是咱們能夠聚焦在製造業吧，製造業會比較精確一點，那麼在AR行業裏頭對這個問題有一些統一的認識，那麼AR在製造業主要用在哪幾個場景呢

第一個是操做指導。就像剛纔咱們提到的波音公司使用AR眼鏡幫助工程師作線束的，這個對接或者說作一些裝配的工做，那麼基於一些識別技術，而後讓工人可以按圖索驥得作維修操做或者裝備的操做。

第二個是遠程協做。在經過AR眼鏡，一線的工程師和遠端專家能夠實時的溝通，得到一些指引。

第三個是設備的巡檢，是當你在巡檢某些設備或者產生的過程當中，經過物聯網的傳感器或者計算機視覺的檢測結果。那麼在AR眼鏡上直接能夠看獲得某個機器，他是怎麼壞法，他的哪一個地方可能出問題了，剛纔那個視頻裏面可能有朋友會會比較留意一下，有一個下水道的那麼幾個鏡頭。那是咱們作的一個跟物聯網結合的應用，就是城市的管理人員戴上眼鏡在路上巡查的時候好像可以看到地面下管道的運行情況，比方水的情況，那麼他怎麼會看獲得呢，好像能看獲得同樣的。就是由於咱們從物聯網的傳感器得到了不少的信息，經過AR眼鏡上的一些技術可以呈現出來。就像給地面裝上了一個X光機同樣。

剛纔講了一些抽象的描述，來看看這個事情，這是使用者佩戴一個AR眼鏡去看一臺飛機發動機模型。在眼鏡裏頭看到的畫面，能夠看到中間的飛機發動機是真實的是一個3D打印出來的模型。那麼上面的飛機渦輪風扇發動機旁邊有一些產品介紹等都是數字化的內容。我能夠點擊任何一個位置，能夠看到比方說某一個配件的裝配方法。這些都是經過數字化的手段疊加創造的。那麼你們能夠看到就是全部的這些視頻內容、文字類東西、圖片，它是相對於這個飛機發動機模型位置固定的，這說明什麼呢，這說明咱們的AR眼鏡已經識別到了該發動機以及在一個數字空間裏頭創建了座標系，虛擬座標系和現實的座標系，可以融合到一塊兒。那麼就能夠實現對實物進行標註。

一個具體應用的例子。在廣州有一個廠商叫作施耐德是外資公司，施耐德的母線工廠。那麼它每一年不斷地爲國內外的客戶生產非標準的設備就是每一臺的生產出來的產品都是這都是定製的。那由於每個產品都是定製的，那客戶經常須要在遠端，須要飛到這個生產的母線工廠過來看一看生產線有沒有按照他的要求來進行生產。那這個過程是很是耗費時間和金錢的。施耐德使用的AR眼鏡和遠程協做的工具。那這邊的工程師戴上眼鏡。遠端的客戶，無論他在歐洲、美國也好，就可以看到工程師看到的畫面也經過標註等等這樣的一些手段讓一線的工程師瞭解客戶須要他作什麼，比方說湊近看某一個零件的製造，或者對一些參數進行更改。那麼這個方案實施後，這個客戶就再也不須要飛到中國飛到廣州來，這是一個遠程協做的具體的應用。

那麼可能有的朋友會問你這就是一個視頻通話嗎，跟AR有什麼關係，還就你們回顧一下剛纔看到的那個飛機發動機的視頻。在工程師佩戴眼鏡去看母線設備生產過程當中，一些輔助性的信息也會實時的標在視野當中幫助客戶去理解，目前正在運行的生產過程。也幫助工程師去作裝備的操做、巡檢的操做。

二、AR在營銷領域的一個應用

這個可能也是比較貼近你們生活的。

包裝識別。若是各位留意過一些市場營銷案例的話，就能夠看到比方說用某一個手機的應用， QQ、微信掃描商品包裝。那麼在掃描的界面上就會看到說疊加的一些視頻動畫。而後你能夠領券，能夠跳到一個網店連接，那麼完成營銷的閉環，這是最多見你們最多見最可以用的到的應用。
使用說明書。就像剛纔咱們用眼睛去觀察一個飛機發動機同樣，也有使用手機的應用去觀察汽車的中控儀表盤或使用說明。我經常在外面跟人交流的時候就問了，現場有多少朋友開車的。第二個問題，在全部開車的朋友裏頭有多少人懂得怎麼去換輪胎。每每答案都是頗有趣的，就是大多數的司機是不懂換輪胎或者沒有換過輪胎的，那麼當他須要換輪胎的時候怎麼辦，甚至不少人找不到千斤頂，應該放在什麼位置。而若是你使用說明書AR說明書的一種應用的方法，用手機打開應用去看車身就能夠在車上的某一個具體位置去標出來，告訴你應該在什麼地方塞上千斤頂。那麼我還有一個新生的體驗，有一年我出去玩，在當地租了一個車，忽然就進了一個隧道，在高速公路上，而後我找不到那個車的大燈怎麼開。其實可能有朋友會笑話，可是確實是，若是你沒有開過足夠多的車型的話，不一樣廠商的不一樣的車型，那個大燈的開關是不同的，在比方說有一些中控儀表上的圖標，咱們也經常一頭霧水，若是用這個AR的手段能夠幫助使用者去了解汽車的使用方法。
物聯網體驗。

第一個是所謂的掃描商品包裝。那麼這個遊戲玩法的就是用某一個移動的應用工具打開攝像頭去掃描奧利奧餅乾的包裝或者掃描奧利奧餅乾自己，那麼就會在奧利奧上頭去疊加一些這個小遊戲玩完以後呢，能夠獲得一些獎品。

第二個就是剛纔提到的汽車說明書，這個畫面是手機的截屏，其實用手機去看汽車的儀表盤的時候咱們去看到近光燈已開啓冷卻液溫度表這兩個是疊加的心理信息，而當地移動手機時，這個信息是相對固定在該在的位置那麼就幫助人們更好地去使用汽車。

第三個原本是一個視頻，可是我截了個圖。在這個畫面的稍微靠左一點是一臺空調。那麼你們能夠看到在空調外頭好像有一些淡藍色的半透明的東西，這個是虛擬疊加在上頭的表示空調的範圍。那麼在這個應用裏面，們能夠經過一個手機的應用，看到空調的風是怎麼樣流動的，固然風咱們能夠感覺到，但日常人確定看不到，經過這個應用能夠看到風的流動。同時咱們經過在空調上面裝一個小的攝像頭和一些芯片模組。那麼就能夠實現風不吹到人的身上，或者說你要求風必定要吹到人身上，當人移動的時候風避開你或者吹到你。這都是在營銷上的這些應用。

3、AR在公共安全方面的應用

公共安全是一個大的話題，不光指公安局也包括了其餘一些跟安全有關的行業。那麼在公安這個部分的話常見的有幾類的應用，

一、是跟識別有關的，就是人的識別和車牌的識別，對身份進行覈查。那麼這個基於對人臉的檢測和識別，圖像處理了文字識別等技術。那麼採集到信息後，跟一些信息庫中預置的數據來作比對分析反饋結果。這是你們應該都很熟悉的了，人臉識別，如今也被說的神乎其神。

二、指揮調度，方便指揮中心和前線人員能夠實現一個基於數字地圖和實景相結合的雙向溝通，那麼掌握現場的狀況來部署做戰方針。

三、跟無人機結合的應用。這個咱們尚未見到不少，可是亮風臺如今作了很深刻的一些合做，把無人機和AR結合。那麼將無人機錄製回來的畫面來作一些計算機視覺的處理也是用在指揮調度的方面。

應用的案例：

一、第一個應用就是在昆明機場，若是大家去到昆明長水機場能夠留意一下。有的時候你會看到一些巡邏的民警佩戴了一個很酷的眼鏡，那麼他在機場範圍以內巡邏。那麼這套系統在公安那邊叫雲眼智識，它用來幹什麼的呢

有前線的警員配AR眼鏡去獲取現場的這我的員或者車牌的信息，那麼同時調用雲南數千萬的人臉庫來進行這個嫌疑人或者防控人員的具體的信息來指導公安現場作一些措施。
實時的畫面能夠回傳到。指揮中心，指揮中心能夠就一些突發事件作馬上的指揮而再也不須要對講機這樣一個異步的手段。

這個系統上線後，在去年的四月份到七月份三個月的時間裏頭，這個數據是公安在內部總結的時候講的，這三個月裏就是經過AR去幫助公安人員抓到冒用僞造證件的200多人。有一些在逃的通緝人員，也抓到涉毒26我的、黑惡勢力7人。在交通樞紐咱們經常看到一些賣假貨或者拉客的人。這些人其實他們都是有在一個重點處置庫裏的。但不是說每個民警都認識這些人，那麼咱們用AR眼鏡也幫助民警去。處置了這個賣假表、假香水、乞討的400多人次。一些非法的拉客人員有800多人也獲得現場的合適的處置。

二、第二個應用是在廣州天河公安的一個無人機的指揮調度系統。畫面上的圖呢，是咱們從這個現場應用上面截下來的，可是由於分辨率不是很夠就是我放大以後分辨率下降了，可能看的不是很清楚，這是在廣州天河區若是熟悉廣州的朋友能夠看到中間是中信廣場。左邊是另外的一些這個地標建築。那麼這個畫面說明什麼呢，當無人機飛在空中的時候，它的攝像頭畫面被實施的去作識別和處理，那麼疊加了一些信息，比方說中信廣場。若是你是對廣州特別熟的人，要到很是熟的一個程度，你纔有可能，當你的視角到了空中，你還可以看得出來什麼地方是什麼地方，就算特別熟的人也要通過一段時間的思考，可是若是是用計算機視覺的手段，無人機飛上去畫面有出現中信廣場，他就直接把中信廣場標出來了，這是一條什麼路，這是體育中心、林和西、林和東全都給你標得一清二楚，那麼這個的好處呢，就是幫助後端的指揮人員，也包括飛鼠在內去馬上知道無人機的位置和朝向以及下頭的一些須要重點關注的目標物、目標建築。

下圖是無人機的第二個應用場景，你們能夠看到在畫面上有一些拱形的紅褐色的標誌。這是什麼標誌呢，這個是在指揮中心的指揮人員在無人機常規的畫面上頭去繪製路線，那麼這路線就是指揮現場警員你要按這條路線去巡邏或者說按這條路線你可以更快地接近目標，現場的警員檢驗佩戴AR眼鏡也能夠看到無人機的畫面以及畫面上的指引。

下圖你們看到有一些小的紅的圓圈帶一個小箭頭，有兩個是在畫面的中間和稍微偏右一點。這是什麼意思呢，就無人機在天上往下看的時候，指揮中心的領導能夠知道警力部署是怎樣的，下面的小紅圈，其實就是那個警員所在的位置。這個的好處是說若是領導不在現場，你是很難知道每一個人的位置，可能經過對講機告訴你，我在某個地方，可是你還得去跟地圖作一個對應，可是有了無人機上一種自動識別的手段以後，隨身佩戴VR眼鏡或者其餘的設備的警員，它的位置信息，能夠和合適無人機的捕獲畫面很好的結合在一塊兒，你馬上就知道坐哪裏有幾個警員。實現更高效的調用警力去處置突發事件的目的。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-flljOkHs-1583487144855)(https://ask.qcloudimg.com/dra...]

下圖是後臺的這個指揮中的畫面，看到中間和旁邊都是無人機的畫面，一個是比較大視野的另一個是特寫畫面。泰和灣區利用這個天地一體的無人機防控系統可以更好地進行警員的指揮調度處置突發事件以及包括對一些大型羣衆活動的現場的安全防控都起了很大的一個做用。

這套系統目前在其餘的一些地方也有應用，公共安全的一個領域是比方說消防前陣咱們去和某地的這個公安消防系統的交流。他們就告訴咱們說剛剛這裏發生過一場大的森林山火，要不少撲救人員過去作撲救的操做。但即使領導在現場你也很難知道哪個小隊的人在哪個位置，並且你也不容易實時的瞭解到整個山火的範圍是怎樣的。以往的作法會派一個直升機或者無人機，而後把畫面傳過來，你們再去辨別這是哪兒，而後範圍多大，個人人都是哪些，他們在什麼位置。而上了這一套無人機的系統以後，由於每個撲救人的位置，咱們都是肯定知道的看獲得的。能夠幫助指揮員作更好的調度指揮第一個是高效撲滅，第二個可以幫助指揮員指揮現場人員避開危險。

三、還有一個是更加有趣了，這個偏民用，可是實際上讓咱們也把它歸到一個公共安全的一個領域。咱們你們都坐過飛機，但可能不太留意獲得，咱們的行李是怎麼裝上去怎麼卸下來的，可是我相信你們必定遇到過就是行旅被野蠻裝卸摔壞了的狀況，還有在某一些機場也經常發生旅客的行李被偷竊的狀況，他不是說整個包拎走，而是從包裏偷走了一個小的東西。這個投訴率特別高。那麼在貴陽機場呢，他們就頗有探索意識，就和咱們商量能不能用一套系統來避免這些問題那咱們就給他裝備了一套叫作透明裝卸的監管系統。

這個系統就是機場搬運工在工做的時候，就會用一個頭戴式的攝像頭，你們能夠在畫面上看到這個朋友他的這個耳朵上有一個設備，這是一個頭戴式的具有通訊能力的攝像頭。會把搬運工的操做全程以第一人稱的視角記錄下來，實時的回傳到後端指揮中心。那麼當每一個人的操做都被記錄的時候就沒有人敢亂來了很簡單的一個小應用。可是確實也給當地的機場帶了很大的幫助，那麼它和AR的關係是什麼呢，一樣咱們使用的AR遠程通信技術，那麼在現場除了佩戴攝像頭的搬運工，還有佩戴AR眼鏡的監裝監卸人員也是航空公司的人，那他也能夠實時的接收後臺的指引，告訴他某一些貨物應該讓現場怎麼裝，怎麼卸，那麼有效的減小的暴力做業、行李丟失的狀況。

應急管理中的AR應用

可能你們平時接觸很少，但其實是咱們保障社會硬性的一個很重要的一個部門體系。應急管理分做兩個場景一個是平時，第二個就是戰時，不是戰爭的戰，是應急管理方不少突發事件的處置對他們來講是一場戰鬥。

一、在平時不少的時候也是防區的巡查、安全監管、安全培訓，比方說消防，咱們在公司都有消防設備隔一段時間會有消防系統或者應急系統的人來作檢查，那個消防栓在不在安全門有沒有堵住，這都是巡查，這個過程中，若是使用AR眼鏡或者說頭戴式的一些設備，再加上隨身的手機。那麼就能夠幫助巡查人員自動的識別檢查，監管的場景，那麼在作安全培訓的時候也能夠經過咱們剛纔講的遠程協做系統，幫助這個受限人員去理解一件事應該怎麼作什麼操做應該作。

二、在發生突發事件的時，也說戰時，也像剛纔同樣就能夠把指揮調度系統用在應急管理的場景裏面去，像消防就是應急管理。再比方說如今咱們的肺炎疫情，這是一個應急管理裏頭很重要的場景就是當發生突發的重大公共安全衛生事件的時候。社區、衛生系統、公安系統的人全都到每個地方去，你怎麼知道每個終端是怎麼樣工做的呢。咱們看到在一些事件裏也有工做人員或管理人員由於處置不力，甚至說你根本就沒有在那個崗位就上報在這個崗位，致使了不少悲劇，而這些管理人員的也受處處罰。那若是咱們把指揮調度這樣的AR應用給他們裝備上後就不會有人在偷懶，整個過程可以獲得一個取證，那麼在後端的指揮人也能看到每個末端發生的事情來輔助他們進行決策。

應急管理尤爲是在疫情發生的狀況下，AR還有一個特別AR的應用就是和你們熟悉的計算機視覺有關的，就是AR眼鏡測溫。測溫這件事我相信如今每一個人都很熟悉了，你到一個出入口就會有人拿一個測溫槍，對着你的頭去測一下，可是用測溫槍是一個很危險的，爲何呢，由於檢測人員和受測人員離得太近了。這個自己有感染的風險，可是若是帶上AR眼鏡和一個紅外的模塊裝上以後呢，那麼離這個受測人員三米開外你又一眼就看得出來誰的額頭的溫度大概達到一個什麼樣這危險程度是否是超出容許的範圍。

固然若是熟悉測溫技術的夥伴會說這個東西到底精不精確呢，能夠這麼說，在相對固定環境下相對固定的位置下，通過調教以後仍是可以達到一個正負0.3度的範疇。相對於近距離測溫的風險來說，這個偏差度仍是能夠接受的，或者說能夠起碼幫助管理人員或者檢測人員，作一個初步的篩查。這個咱們和醫生也作過一些諮詢，這是一個目前簡單的AR的應急管理的應用吧，

除了測溫以外，在園區管控也會用到，比方說咱們如今公司如今所在園區，就會對出入口進行測溫管控，基本上不容許外面的人進去，可是園區都有成千上萬人，那麼巡邏人員怎麼知道誰是園區的人呢，固然也是經過AR眼鏡在巡邏過程當中就能夠對人臉作識別。

4、從事AR研發所需能力模型

咱們來看一看，若是你想從事AR行業那做爲一個軟件技術人員，你須要具有哪些能力呢。

首先咱們要了解AR這個技術。它是由哪些部分的構成的，有哪些層面，固然最下面的IaaS的平臺，包括這個在網上面點通訊基礎平臺可能。大多數AR的從業人員不會太接觸到，基本上咱們也是用運營商或平臺廠商的一些基礎設施，我們須要往上面看通信數據包括引擎和應用。也就是從DaaS到PaaS的層面都是須要各個方面的軟件技術人員來參與的。我們先不說硬件的問題硬件它又是相對專業的一個行了，須要這個結構工程師、工業設計。包括不少的其餘的一些行當，咱們先不說，單說軟件。

（1）算法

若是你是一個有對算法有興趣，或者自己專業是作算法的，那麼大概你就能知道下圖中這一行的什麼意思。不是專業作算法的這個朋友，我以爲也能夠去了解一下，起碼知道說計算機是怎麼去對物體進行檢測和識別的，經常在AR裏用到的算法，固然沒有徹底列出來，常見的像人臉識別肢體的識別、運動跟蹤、目標的檢測、語義識別、交互理解、圖形渲染、空間標誌等，這是個跟算法有關的。我相信今天幾百個在座的朋友裏真正作算法的，不會是多數就包括在咱們公司最將近200我的裏頭也不過是十來號人是專門作算法的，更多的是作應用開發的夥伴。

（2）移動端開發

若是你想作AR的移動端開發的，基礎就是有安卓和ios的開發基本上就夠了。在這基礎上，由於AR是有關於在真實世界的場景上頭疊加虛擬內容的一個技術，而這個虛擬內容實現一個虛實結合的人機體驗。那麼經常咱們會用到3D模型，最多見的業界最普遍使用的3D的套件就是Unity，各個廠商都有服務Unity的SDK， SDK整合Unity就能夠方便地進行3D應用的API開發。再深刻一點，你就得須要對這個開發工具進行改進，比方說，咱們用Unreal或者用其餘的一些這個有源代碼的工具的時候你就會改進他的一些渲染的能力，或者說讓它的渲染引擎更加小，一個套件的渲染部分3D渲染部分不算原來有幾十兆，若是你有對源代碼進行改造的能力的話，有可能把它縮成幾兆大裝到大腳裝在移動應用裏頭就會是很是大的一個差距。

（3）Web AR

如今很新的一個東西是Web AR，就是基於網頁的AR，那麼在微信新的版本里也開始支持了。固然，微信沒有提供這個關於識別和渲染的這方面的完整SDK，仍是須要調用第三方的AR能力，具體來講是AR的雲的能力他把一個經過微信的小程序裏面獲取到攝像機的畫面以後呢，上傳到雲端，從雲端獲得一個識別結果再疊加你須要的效果。你要從事Web AR的話，腳本語言確定是要知道的了，還有關於通訊一些知識等，學習也是須要的。總的來講，在應用端作AR開發不是一件特別高精尖的技術。但裏頭有不少的小的坑，只有在長期的開發過程當中也才能夠發現，在固然這種狀況的和任何一個其餘的技術也都同樣了，你開發東西都是會遇到這樣的狀況。

(4)雲平臺與網絡通信。

由於如今AR的識別能力，有的在客戶端作，有的是在雲端作，就會出現一個雲端應用的開發能力的問題，那若是你要想從事這方面的工做的話，固然你要作一些具有企業級雲端應用開發能力的準備工做。所謂企業級指的還不是QQ這樣的一個面向數億人的在線使用這樣一種企業，而是指的面向企業的2B的應用的企業級，比方說同時有數萬的訪問就已經不少手機已經夠用了，第二個是企業級的通信軟件的開發能力，這個要求會比較高，由於它涉及到一些基礎的通信的技術，這個就不展開講了。

5、Q&A

Q：我常常要給一些數據中心作BCM方案，裏面會有巡查環節，是否能在巡查和事件初步評估和緊急應急措施的時候用一些AR技術？老師有什麼建議？

A：這個就是很是典型的一個技術應用的場景，那剛纔講過在在這個工業的場景裏頭。設備的巡檢會是特別重要的一種使用的方法，那麼在這個過程裏面，咱們每每會用。有可能用三種手段來作。

第一種手段的用AR眼鏡就是佩戴眼鏡進行巡查，而後你眼鏡當中出現的機器的運行的情況，可能經過這個視覺識別的方法，或者經過物聯網傳感器的方法來得到它運行的情況。那麼在眼鏡的視野裏作一個標註告訴你。比方說這個設備的溫度是多少，他是否是運行有問題了等等，這個是AR眼鏡。

第二個你還能夠用手機來作，剛纔有朋友說AR眼鏡是很貴，對，不少時候，我手機都是每一個人都有的，這個眼鏡能作到的手機也能作到，只是沒有那麼科幻而已，可是他的實用性能更強。

第三個，是用PC的攝像頭加屏幕再加一個電腦也能夠作。很像咱們曾經給一個變電站作過的東西就變電站裏頭有不少叫作壓板開關櫃就不少的開關。那麼這個開關櫃裏頭呢，一個開關櫃有數十個開關，一個機房有上百個開關櫃。每個開關櫃都要在正確的位置上。這就是一個典型的巡查的場景。那麼以往的他須要人去逐個開關，看是否是在正確的位置上。那麼咱們給他們開發了一個小推車，說白了就是攝像頭加電腦在家屏幕是一體式的。那麼小推車順着走廊推過去攝像頭看到全部的壓板開關櫃以後就能夠經過計算機識別告訴你哪個開關是錯誤的，放在錯誤的位置，這個就是典型的應用。另一個跟這個技術就是遠程協助就是你在巡檢的過程當中一線的人員不必定具有很高級的技術的能力是吧，那麼這個時候呢，可能須要遠程專家或者廠商的專家的知識，及時經過一個通信的實時通信的能力，讓專家看到你看到的畫面以及在畫面上作標註幫助你去解決線下的問題。