用百度大腦人體分析技術，幫你監督規範健身

【使用攻略】【人體關鍵點識別】

1.方案介紹
百度推出了人體關鍵點識別，檢測圖像中的人體並返回人體矩形框位置，精準定位21個核心關鍵點，包含頭頂、五官、頸部、四肢主要關節部位，支持多人檢測、大動做等複雜場景。支持多人體檢測，檢測圖像中的全部人體，標記出每一個人體的座標位置；不限人體數量，適應人體輕度遮擋、截斷的狀況。

人體關鍵點識別的功能特色能夠應用到體育健身，根據人體關鍵點信息，分析人體姿態、運動軌跡、動做角度等，輔助運動員進行體育訓練，分析健身鍛鍊效果，提高教學效率。在這些應用中對人體姿態的斷定是一個關鍵，經過姿態斷定進而判斷運動員或者體育愛好者的動做是否符合要求，對於體操，瑜伽等對姿態要求比較高的體育活動；甚至是體感遊戲都有很好的幫助。

2.方案思路及實現
本攻略經過人體關鍵點，計算出人的 左右手臂，左右肩部，左右腿部以及左右髖部8個夾角，進而與要求標準夾角及容許的偏差範圍進行對比。從而實現人體姿態的斷定及打分。我開發的功能在提供姿態打分的同時，提供原圖基礎上的渲染圖及動做分析圖，方便運動員進行分析。主要內容包括如下方面：

2.1平臺接入
具體接入方式比較簡單，能夠參考個人另外一個帖子，這裏就不重複了：
http://ai.baidu.com/forum/topic/show/943327

2.2 百度人體關鍵點功能調用：
請參照個人另一篇文章：第四期【百度大腦新品體驗】人體關鍵點識別
https://ai.baidu.com/forum/topic/show/954123

2.3 其餘方面：
夾角計算：經過餘弦計算。
關鍵點過濾：對於不一樣置信度的關鍵點以不一樣的顏色顯示在渲染圖及分析圖上，0.9分以上的用綠色，0.5-0.9用黃色，0.5如下用紅色。方便用戶識別。
渲染圖：在原圖上進行渲染，顯示關鍵點和主要連線，包括身體，四肢，頭部，臉部增長一條中軸線從頭頂到鼻子到頸部。
分析圖：在新的圖片上顯示關鍵點和主要連線，包括身體，四肢，頭部，臉部增長一條中軸線從頭頂到鼻子到頸部，方便用戶查看人臉方向。同時顯示每一個位置的夾角及是否知足要求，若是符合顯示綠色，若是不符顯示紅色。方便運動員進行分析。

斷定分數：100*經過的夾角數量/總識別出來的夾角數量

3 實現效果及測試：

案例1：一個經典的體操鞍馬動做：

要求四肢平直，右腿與身體平直，左腿75度左右。如下爲具體的角度要求：

required_pose1={
'shoulder_left_angle':[15,10],
'shoulder_right_angle':[60,10],
'hip_left_angle':[180,10],
'hip_right_angle':[75,10],

'arm_left_angle':[180,10],
'arm_right_angle':[180,10],
'leg_left_angle':[180,10],
'leg_right_angle':[180,10]
}

上面的每組數值第一個爲要求的角度，第二個爲容許偏差空間。

下面爲渲染圖，分析圖和報告：

 

處理時長:0.71秒
person_num: 1
左肩：13.0,符合
右肩：57.5,符合
左髖：175.6,符合
右髖：71.6,符合
左臂：171.2,符合
右臂：173.1,符合
左腿：171.9,符合
右腿：178.8,符合
動做評分：100.0

 

案例2：多人雙手張開動做：

動做模板，雙手張開：

required_pose2={
'shoulder_left_angle':[90,10],
'shoulder_right_angle':[90,10],
'hip_left_angle':[170,10],
'hip_right_angle':[170,10],

'arm_left_angle':[180,10],
'arm_right_angle':[180,10],
'leg_left_angle':[180,10],
'leg_right_angle':[180,10]
}

渲染圖：

分析圖：

報告：

處理時長:4.00秒
person_num: 2
左肩：93.6,符合
右肩：99.5,符合
左髖：165.8,符合
右髖：171.7,符合
左臂：171.9,符合
右臂：180.0,符合
左腿：174.5,符合
右腿：175.2,符合
動做評分：100.0

左肩：116.6,不符
右肩：108.4,不符
左髖：156.8,不符
右髖：164.7,符合
左臂：175.2,符合
右臂：180.0,符合
左腿：nan,不符
右腿：175.2,符合
動做評分：50.0

案例3，瑜伽動做：

動做模板：

required_pose3={
'shoulder_left_angle':[180,10],
'shoulder_right_angle':[80,10],
'hip_left_angle':[110,10],
'hip_right_angle':[80,10],

'arm_left_angle':[45,10],
'arm_right_angle':[45,10],
'leg_left_angle':[30,10],
'leg_right_angle':[55,10]
}

渲染圖：

分析圖：

報告：

處理時長:0.82秒
person_num: 1
左肩：172.1,符合
右肩：79.0,符合
左髖：108.1,符合
右髖：81.9,符合
左臂：37.4,符合
右臂：36.9,符合
左腿：9.0,不符
右腿：48.2,符合
動做評分：87.5

4 關鍵代碼

import numpy as np
#求角度
def GetCrossAngle(l1p1,l1p2,l2p1,l2p2):
    arr_0 = np.array([(l1p2['x'] - l1p1['x']), (l1p2['y'] - l1p1['y'])])
    arr_1 = np.array([(l2p2['x'] - l2p1['x']), (l2p2['y'] - l2p1['y'])])
    cos_value = (float(arr_0.dot(arr_1)) / (np.sqrt(arr_0.dot(arr_0)) * np.sqrt(arr_1.dot(arr_1))))   
    result = 180-(np.arccos(cos_value) * (180/np.pi))
    result = round(result,1)
    return result

#判斷角度是否符合要求
def angle_if(d,beginkey,middlekey,endkey,draw,color,setFont,text='',required=None):
    total=0
    score=0
    if ((beginkey in d)&(endkey in d)&(middlekey in d)):
        total=1
        angle=GetCrossAngle(d[beginkey],d[middlekey],d[middlekey],d[endkey])
        result=text+str(angle)
        if required:
            #print(str(required[0]))
            if abs(angle-required[0])

5,測試結果及與競品的對比

總體測試下來發現，百度人體關鍵點識別對人體關鍵點有較強的識別能力，在此基礎上構建的人體姿態斷定打分功能的效果很好，速度也很快。能夠普遍的應用於體育健身及娛樂互動等方面。

如今國內作人體關鍵點產品的除了百度還有商湯和Face++，在這裏也作一個簡單的對比。

FACE++

Face++對應的功能名稱是：人體骨骼關鍵點檢測 API。效果爲傳入圖片進行人體檢測和骨骼關鍵點檢測，定位並返回人體14個關鍵點（頭、頸、肩、肘、手、臀、膝、腳）等部位。支持對圖片中的全部人體進行骨骼檢測

具體點位以下圖所示：

分析效果如圖：

商湯科技：

支持14 點人體關鍵點定位，經過 RGB 圖像輸入超實時給出人體頭、肩、腰、腿等位置。分析效果如圖所示：

經過對比能夠發現，功能方面，Face++和商湯科技都是檢測14個點，百度是21個點。百度多的點主要是在面部，這對於斷定人臉的朝向和麪部表情有很大幫助（你們能夠對比一下渲染圖，百度能夠渲染出臉部朝向，其餘的兩個不行）這一點對於一些應用場景是頗有用的。性價比方面，百度如今有50000次/天免費調用量，這對於測試和小型應用都足夠了。對於商業應用的的價格也很低，因此百度性價比的優點也很大。

 

6,優化建議

就像手部有關鍵點識別和手勢識別同樣，建議百度直接創建一我的體姿態識別的新功能，直接返回人體的姿態識別的結果。能夠在夾角的基礎上增長更多的內容。對於有這方面須要的用戶，用的也更方便。

做者: 才能我浪費99