疫情期間的旅行方式，谷歌街景創意玩法，全新體驗來襲｜MIXLAB 人工智能

因爲本次新冠疫情的大流行，世界各地的人都被迫宅在了家中，如今最常去的也就是雜貨店或者超市吧，不能旅行，沒有派對，但這些限制也是阻擋不了派對文化盛行的國外友人的，他們利用現有的AI技術，將Google的街景玩出朵花來了。

Virtual Walks 

是一個使用 Pose Estimation 模型和LSTM神經網絡一塊兒在Google Street View 中模擬步行的項目。對於姿式估計，已修改了 PoseNet 模型，而對於動做檢測部分，使用 TensorFlow 2.0 開發了 LSTM 模型。

該項目可以藉助 Google Street View 模擬世界各地的街道。Tensorflow 2.0，Selenium 和 Python 3.7是該項目中使用的主要技術。

它是如何工做的呢？

PoseNet 已與 LSTM 模型結合在一塊兒，能夠推斷出該人正在執行的動做。一旦檢測到動做，就將其粘貼到控制器：與Google街景互動的部分。

1 將打開 Selenium Firefox 窗口。

2 該系統使用網絡攝像頭拍攝要進行步行的四個主要動做之一的人的照片：

• 站
• 步行
• 右轉
• 轉左

3 對於每張拍攝的照片，PoseNet用於推斷圖像中關節的位置。

4 從必須知足對所檢測到的關節的置信度的某些考慮因素的幀開始，每組5幀。缺乏聯合推斷是在第一幀後面的幀中進行的。

5 每組幀都傳遞到帶有FF神經網絡的LSTM模型，並預測動做。

6 預測的動做將傳遞給Selenium控制器，並在打開的 Firefox 窗口中將其變爲現實

本文采用的模型是LSTM，由於咱們認爲它在方法上是正確的，而且是精度最高的模型。固然還有其餘模型可代替LSTM，在5幀組中的各個幀之間計算關節速度，並將其與關節位置一塊兒傳遞給PCA和FF神經網絡以預測動做。

因爲動做預測（取決於主機的規格）可能比平均步行速度快得多，所以動做只能每 0.5秒執行一次，此參數是可定製的。

安裝及使用，請查看:

https://github.com/Moving-AI/virtual-walk

-END-

轉發任一MixLab 的文章到朋友圈

讓更多人瞭解無界社區

加小編好友

加入AR/VR社羣

本文分享自微信公衆號 - 無界社區mixlab（mix-lab）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。