使用Python+OpenCV實現打乒乓球遊戲

CodeBullet是我最喜歡的YouTuber之一，他曾經嘗試建立一我的機對戰的乒乓球遊戲，但遺憾的是，對於他的成果沒有對計算機視覺有太大影響。他是個很幽默及技術很強的人，若是你考慮閱讀這篇文章的其他部分，我強烈建議你觀看他的視頻。

• https://www.youtube.com/watch?v=tcymhYbRvw8&
  人機對戰的乒乓球遊戲彷佛是一個很是有趣且簡單的任務，因此我也想嘗試一下。在這篇文章中，我將概述一些我對該項目研究過的一些因素，若是你但願在任何相似的項目上工做，這些因素可能會有所幫助。
  使用計算機視覺的好處在於我可使用已經構建的遊戲來處理圖像。話雖如此，咱們將使用在ponggame.org上且CodeBullet相同的遊戲版本。它具備2人模式，所以我能夠與本身的AI對抗；我作到了，這確實很難……
• https://www.ponggame.org/
  捕捉屏幕
  第一件事就是捕捉屏幕。我想確保個人幀速率儘量快，爲此我發現MSS是一個很棒的python包。有了它，我很容易就達到60幀/秒的最高速度，若是使用PIL，則我只能獲得大約20幀每秒的速度。
• MSS：https://pypi.org/project/mss/
  Paddle detection
  爲了簡單起見，咱們須要定義paddle的位置。咱們可使用幾種不一樣的方法來完成，但我認爲最簡單的方法是對每一個Paddle的區域進行遮罩，而後運行鏈接的組件來找到Paddle對象。下面是一段代碼：

def get_objects_in_masked_region(img, vertices,  connectivity = 8):
    ''':return connected components with stats in masked region
    [0] retval number of total labels 0 is background
    [1] labels image
    [2] stats[0] leftmostx, [1] topmosty, [2] horizontal size, [3] vertical size, [4] area
    [3] centroids
    '''
    mask = np.zeros_like(img)
    # fill the mask
    cv2.fillPoly(mask, [vertices], 255)
    # now only show the area that is the mask
    mask = cv2.bitwise_and(img, mask)
    conn = cv2.connectedComponentsWithStats(mask, connectivity, cv2.CV_16U)
    return conn

在上面，「vertices」只是定義遮罩區域的座標列表，一旦在每一個區域內有了對象，我就能夠獲得它們的質心位置或邊界框，但須要注意的一點是OpenCV將背景做爲任何鏈接的組件列表中的第0個對象，所以在本例中，我老是獲取第二大的對象，結果以下——右邊綠色質心的球拍是玩家的。

移動paddle
如今咱們有了輸出，咱們還須要一個輸入，爲此我求助於一個有用的包和其餘人的代碼（http://stackoverflow.com/questions/14489013/simulate-python-keypresses-for-controlling-a-game） 。
它使用ctypes來模擬鍵盤按下，在這種狀況下，遊戲是用「k」和「m」鍵來玩的。我這裏有掃描碼（http://www.gamespp.com/directx/directInputKeyboardScanCodes.html）。在測試了它只是隨機上下移動後，咱們就能夠開始跟蹤了。
乒乓球檢測
下一步是識別並跟蹤乒乓球，一樣，這也能夠用幾種方法來處理——其中一種方法是經過使用模板進行對象檢測，可是我再次使用了鏈接的組件和對象屬性來完成檢測，即乒乓球的區域，由於它是惟一具備尺寸的對象。
我知道每當乒乓球穿過或碰到其餘白色物體時，我都會遇到誤檢問題，但我也一樣認爲只要我能在大多數時間裏追蹤到它，那麼這一切都沒問題，畢竟它是直線運動的。若是你看下面的視頻，你會看到標記乒乓球的紅色圓圈是如何閃爍的，致使這種閃爍的緣由是由於它只在每2幀中檢測一次。

反彈預測的光線投射
到這一步，咱們已經有了一個可工做的人工智能。若是咱們只是移動球員的球拍，使其處於與乒乓球相同的y軸位置，它的效果是至關不錯的，然而當乒乓球獲得良好的反彈時，由於球拍太慢了，會遇到跟不上的問題。因此咱們須要預測乒乓球的位置，而不是僅僅移動到當前的位置。下面是兩種方法的比較。

差異並不大，但若是選擇了正確的人工智能，這絕對是一場更穩定的勝利。首先我爲乒乓球建立了一個位置列表，爲了公平起見，我把這個列表的長度控制在5個，由於列表太長的話，須要花費更長的時間才能發現它改變了方向；在獲得位置列表後，我使用簡單的矢量平均法來平滑並獲得方向矢量——如綠色箭頭所示；而後吧它標準化成一個單位向量，乘以一個長度以方即可視化。
投射光線只是這個的延伸——使前向投影變長。以後我檢查了將來的位置是否在頂部和底部區域的邊界以外，若是是這樣的話，它只是將位置投影迴游戲區域了；對於左側和右側，它計算出與paddle的x位置相交的位置，並將x和y位置固定到該點，這樣能夠確保paddle指向正確的位置。若是沒有這一點，它一般會走得太遠。下面是定義光線的代碼，該光線能夠預測乒乓球的將來位置：

def pong_ray(pong_pos, dir_vec, l_paddle, r_paddle, boundaries, steps = 250):
    future_pts_list = []
    for i in range(steps):
        x_tmp = int(i * dir_vect[0] + pong_pos[0])
        y_tmp = int(i * dir_vect[1] + pong_pos[1])

        if y_tmp > boundaries[3]: #bottom
            y_end = int(2*boundaries[3] - y_tmp)
            x_end = x_tmp

        elif y_tmp < boundaries[2]: #top
            y_end = int(-1*y_tmp)
            x_end = x_tmp
        else:
            y_end = y_tmp

        ##stop where paddle can reach
        if x_tmp > r_paddle[0]: #right
            x_end = int(boundaries[1])
            y_end = int(pong_pos[1] + ((boundaries[1] - pong_pos[0])/dir_vec[0])*dir_vec[1])

        elif x_tmp < boundaries[0]: #left
            x_end = int(boundaries[0])
            y_end = int(pong_pos[1] + ((boundaries[0] - pong_pos[0]) / dir_vec[0]) * dir_vec[1])

        else:
            x_end = x_tmp

        end_pos = (x_end, y_end)
        future_pts_list.append(end_pos)

    return future_pts_list

在上文中，還沒說明肯定paddle對目標的左或右位置的截距的計算方法，該計算過程咱們基本上是經過類似三角形來實現的，圖片和方程以下所示。咱們計算在邊界中給定的paddle的x位置截距以後，咱們就能夠計算出乒乓球將移動多遠了，並將其添加到當前的y位置。

paddle雖然看起來是筆直的，但實際上有一個彎曲的反彈面，也就是說，若是你用球拍向兩端擊球，球會反彈，就像球拍有角度同樣，所以我容許球拍擊中邊緣，這增長了人工智能的***性，使乒乓球四處飛舞。
結論
儘管個人實現方法是爲這種特定的乒乓球有限實現而設計的，但相同的概念和代碼也能夠用於其它問題中——只須要改變一些預處理步驟。咱們也可使用另外一種方法來實現該項目，即經過強化學習或簡單的conv-net等方法，但我比較喜歡這種經典方法。由於使用經典的方法，我不須要健壯的通用性或困難的圖像處理步驟。正如我提到的，本版本的乒乓球是2人對戰模式的，在遊戲過程當中我沒法戰勝我本身的AI…

你能夠在個人github上找到源代碼。

• https://github.com/robintwhite
  參考連接：https://towardsdatascience.com/computer-vision-and-the-ultimate-pong-ai-e6d70153fc45留言送書福利