百度AI攻略：手勢識別

1.功能描述：

識別圖片中的手部位置和手勢類型，可識別24種常見手勢，包括拳頭、OK、比心、做揖、道別、祈禱、我愛你、點贊、Diss、Rock、豎中指、數字等

2.平臺接入

具體接入方式比較簡單，能夠參考個人另外一個帖子，這裏就不重複了：

http://ai.baidu.com/forum/topic/show/943327

3.調用攻略（Python3）及評測

3.1首先認證受權：

在開始調用任何API以前須要先進行認證受權，具體的說明請參考：

http://ai.baidu.com/docs#/Auth/top

具體Python3代碼以下：

# -*- coding: utf-8 -*-

#!/usr/bin/env python

import urllib

import base64

import json

#client_id 爲官網獲取的AK， client_secret 爲官網獲取的SK

client_id =【百度雲應用的AK】

client_secret =【百度雲應用的SK】

#獲取token

def get_token():

host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + client_id + '&client_secret=' + client_secret

request = urllib.request.Request(host)

request.add_header('Content-Type', 'application/json; charset=UTF-8')

response = urllib.request.urlopen(request)

token_content = response.read()

if token_content:

token_info = json.loads(token_content)

token_key = token_info['access_token']

return token_key

3.2手勢識別分析接口調用：

詳細說明請參考： https://ai.baidu.com/docs#/Body-API/43eb40cf

說明的比較清晰，這裏就不重複了。

你們須要注意的是：

API訪問URL：https://aip.baidubce.com/rest/2.0/image-classify/v1/gesture

圖像數據，base64編碼後進行urlencode，要求base64編碼和urlencode後大小不超過4M。圖片的base64編碼是不包含圖片頭的，如(data:image/jpg;base64,)，支持圖片格式：jpg、bmp、png，最短邊至少50px，最長邊最大4096px

Python3調用代碼以下：

#畫出手勢識別結果

def draw_gestures(originfilename,gestures,resultfilename):

    from PIL import Image, ImageDraw

    image_origin = Image.open(originfilename)

    draw =ImageDraw.Draw(image_origin)

 

    for gesture in gestures:

        draw.rectangle((gesture['left'],gesture['top'],gesture['left']+gesture['width'],gesture['top']+gesture['height']),outline = "red")

        draw.text((gesture['left'],gesture['top']), gesture['classname'],"blue")

    image_origin.save(resultfilename, "JPEG")

 

#手勢識別

#filename:原圖片名（本地存儲包括路徑）

def gesture(filename,resultfilename):

    request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v1/gesture"

    print(filename)

    # 二進制方式打開圖片文件

    f = open(filename, 'rb')

    img = base64.b64encode(f.read())

 

    params = dict()

    params['image'] = img

    params = urllib.parse.urlencode(params).encode("utf-8")

    #params = json.dumps(params).encode('utf-8')

 

    access_token = get_token()

    begin = time.perf_counter()

    request_url = request_url + "?access_token=" + access_token

    request = urllib.request.Request(url=request_url, data=params)

    request.add_header('Content-Type', 'application/x-www-form-urlencoded')

    response = urllib.request.urlopen(request)

    content = response.read()

    end = time.perf_counter()

    print('處理時長:'+'%.2f'%(end-begin)+'秒')

    if content:

        #print(content)

        content=content.decode('utf-8')

        #print(content)

        data = json.loads(content)

        #print(data)

        result=data['result']

        print(result)

        draw_gestures(filename,result,resultfilename)

 

gesture('../img/gesture4.jpg','../img/gesture4_result.jpg') 

4.功能評測：

選用不一樣的數據對效果進行測試，具體效果以下（如下例子均來自網上）：

處理時長:0.54秒

[{'probability': 0.5360070466995239, 'top': 97, 'height': 206, 'classname': 'Two', 'width': 170, 'left': 7}, {'probability': 0.4020222723484039, 'top': 104, 'height': 137, 'classname': 'Face', 'width': 139, 'left': 138}]

處理時長:0.58秒

[{'probability': 0.5303723812103271, 'top': 28, 'height': 267, 'classname': 'Nine', 'width': 334, 'left': 28}]

處理時長:0.81秒

[{'probability': 0.9833292961120605, 'top': 2, 'height': 179, 'classname': 'Face', 'width': 161, 'left': 168}, {'probability': 0.9321802258491516, 'top': 232, 'height': 132, 'classname': 'Six', 'width': 202, 'left': 215}]

處理時長:0.60秒

[{'probability': 0.9572300314903259, 'top': 148, 'height': 150, 'classname': 'Five', 'width': 149, 'left': 345}, {'probability': 0.9406964778900146, 'top': 112, 'height': 151, 'classname': 'Five', 'width': 155, 'left': 96}, {'probability': 0.8912005424499512, 'top': 184, 'height': 135, 'classname': 'Five', 'width': 111, 'left': 13}]

5.測試結論和建議

測試下來，總體識別效果不錯。對於手勢有較強的識別能力，效果很好，速度也很快。能夠普遍的應用於：

智能家居：智能家電、家用機器人、可穿戴、兒童教具等硬件設備，經過用戶的手勢控制對應的功能，人機交互方式更加智能化、天然化

視頻直播：視頻直播或者拍照過程當中，結合用戶的手勢（如點贊、比心），實時增長相應的貼紙或特效，豐富交互體驗

智能駕駛：將手勢識別應用到駕駛輔助系統中，使用手勢來控制車內的各類功能、參數，必定程度上解放雙眼，將更多的注意力放在道路上，提高駕車安全性

等領域，不過對於多個手勢的圖片，識別率還有提升的空間，但願後續進一步提升。

同時建議增長打響指的手勢識別，這樣咱們才能作出像鋼鐵俠那樣打個響指拯救世界的效果。