Android Things 專題6 完整的栗子：運用TensorFlow解析圖像

文｜ 谷歌開發技術專家 (GDE) 王玉成 (York Wang)

前面絮叨了這麼多，好像尚未一個整體的概念，咱們如何寫一個完整的代碼呢？

如今深度學習很火，那咱們就在Android Things中，利用攝像頭抓拍圖片，讓 TensorFlow 去識別圖像，最後用揚聲器告訴咱們結果。

是否是很酷？說基本的功能就說了這麼長一串，那壘代碼得壘多久啊？

項目結構

咱們就從 Android Studio 的環始境開始提及吧。

啓動 Android Studio 以後，務必把 SDK Tools 的版本升級到 24 及以上。而後再把 SDK 升級到 Android 7.0 及以上。讓 Android Studio 本身完成相關組件的更新，導入項目，項目的結構以下：

這裏寫圖片描述

代碼中的 imageclassifier 是用於跟 TensorFlow 作交互的，還有攝頭，圖片處理的相關 handler。

咱們再來看看外部的引用庫：

這裏寫圖片描述

包括了 Android Things 和 TensorFlow 的相關庫，固然，Android 的 API 的版本是24。gradle 的依賴和 Manifest 中的 filer 是和以前搭建開發環境的講解一致的。
引用的 TensorFlow 的庫是 aar 打包的 Tensorflow-Android-Inference-alpha-debug.aar，這就意味着，咱們不須要 NDK 環境就可以編譯整個項目了。

主要是留意 dependencies 這一項，包括了 TensorFlow 的庫和 Android thing 的庫：

這裏寫圖片描述

再申請了攝頭相關的權限。補充一下，Android Things 是不支持動態權限的申請的。

這裏寫圖片描述

硬件鏈接

接下來即是硬件如何鏈接了。

這裏寫圖片描述

硬件清單以下：
Android Things 兼容的開發板，好比 Raspberry Pi 3
Android Things 兼容的攝像頭，好比 Raspberry Pi 3 攝頭模塊
元器件:
1 個按鈕，見面包板
2 個電阻，這塊兒必需要說明一下：因爲圖片是接的 5V 的電壓，通常來講 GPIO 和 led 的承壓能力是 3V，有些 GPIO 是兼容 5V 的，因此中間須要串聯 100～200 歐的電阻。固然，爲了保險，建議用 3.3V 的電壓。
1 個LED燈
1 個麪包板
杜邦線若干
可選：揚聲器或者耳機
可選：HDMI輸出

連完了硬件，咱們這時候就要理解操做流程了。

操做流程

按照前面講解的內容，用 Andorid Studio，鏈接 ADB，配置好開發板的 Wi-Fi，而後把應用加載到開發板上。

操做流程以下：
重啓設備，運行程序，直到 LED 燈開始閃爍；
把鏡頭對準貓啊，狗啊，或者一些傢俱；
按下開關，開始拍攝圖片；
在 Raspberry Pi 3 中，通常在 1s 以內，能夠完成圖片抓拍，經 Tensorflow 處理，而後再經過 TTS 放出聲音。在運行的過程當中 LED 燈是熄滅的；
Logcat 中會打印出最終的結果，若是是有顯示設備鏈接的話，圖片和結果都會顯示出來；
若是有揚聲器或者是耳機的話，會把結果語音播報出來。

因爲代碼的結構特別簡單，注意一下幾段關健的操做便可。想必圖形、攝頭的操做在Android 的編程中你們都會了，因此不作講解了。

代碼流程

主要是看 LED 的初始化操做：

這裏寫圖片描述

有必要說一下，ImageClassifierActivity.java 是應用惟一的 Activity 的入口。在 Manifest 中已經有定義，它初始化了 LED, Camera, TensorfFlow 等組件。其中，咱們用到的 Button 是 BCM32 這個管腳，用到的 LED 是 BCM6 管腳，相關的初始化在這個 Activity 中已經完成。

這裏寫圖片描述

這部分代碼是捕捉按鍵按下的代碼。當按下按鍵時，攝頭開始捕捉數據。

這裏寫圖片描述

把攝像頭拍攝的數據轉成 Bitmap 文件以後，咱們會調用 TensorFlow 來處理圖像。

這裏寫圖片描述

這個函數調用了 TensorFlow 進行處理，最後把結果輸出到 logcat 中。若是代碼中調用了 tts 引擎，那麼則把結果轉成語音讀出來。看來，最重要的就是 TensorFlowClassifie 類的 recognizeImage() 這個接口了。咱們繼續往下看。

這裏寫圖片描述

這是最後的一步，調用 TensorFlow 進行圖像識別：
把 RGB 圖像轉成 TensorFlow 可以識別的數據；
把數據拷到 TensorFlow 中；
識別出圖像，給出結果。

調用 TensorFlow 的過程仍是挺好玩的，也挺方便。那麼，爲啥 TensorFlow 一會兒就可以識別出是什麼圖片呢？Tensorflow 的官網給出的解答：
www.tensorflow.org/tutorials/image_recognition

有一點須要提示，TensorFlow 的圖像識別分類能夠用網絡提交到服務器識別，也能夠離線的數據識別。能夠先把 200M 左右的識別數據放在本地，而後提交後識別。如今大概能分出 1000 個類別的圖像，哪 1000 個類別呢？項目代碼中已經包含了哦。

是否是運用 TensorFlow 來處理物聯網的數據會特別簡單，不光是 TensorFlow, Firebase 也能夠用到 Android Things 中來。這功能，強大的沒話說了！

今天提到的這個項目，來源於 Google 在 GitHub 上維護的項目，項目的地址是
github.com/androidthings/sample-tensorflow-imageclassifier

固然，GitHub 上還有不少 Android Things 的代碼能夠參考。

是否是迫不急待的本身寫一個應用呢？實際上，這個項目稍加改動便能有新的玩法。例如加上一個紅外感應器，一旦有生物在附近就立刻拍圖片，而且識別。

大開你的腦洞吧

後記

這一篇文章是這個專題的最後一篇了。寫完整個專題，發現 Android Things 帶給開發者太多太多的便利，如何燒寫文件？如何運用 SDK？甚至如何用 Google 的其它服務作物聯網相關的數據處理？都有太多太多的現成的方案供咱們選擇，感嘆使用 Android Things 進行物聯網應用開發實在太方便了！

您若是有任何涉及到 Android Things 方面的想法，都歡迎你們在下方留言，咱們會把好的建議轉交給 Android Things 的產品部門。也許在某一天，你的建議就是 Andorid Things 的一部分。