CodeBullet是我最喜歡的YouTuber之一,他曾經(jīng)嘗試創(chuàng)建一個(gè)人機(jī)對(duì)戰(zhàn)的乒乓球游戲,但遺憾的是,對(duì)于他的成果沒(méi)有對(duì)計(jì)算機(jī)視覺(jué)有太大影響。他是個(gè)很幽默及技術(shù)很強(qiáng)的人,如果你考慮閱讀這篇文章的其余部分,我強(qiáng)烈建議你觀看他的視頻。

人機(jī)對(duì)戰(zhàn)的乒乓球游戲似乎是一個(gè)非常有趣且簡(jiǎn)單的任務(wù),所以我也想嘗試一下。在這篇文章中,我將概述一些我對(duì)該項(xiàng)目研究過(guò)的一些因素,如果你希望在任何類(lèi)似的項(xiàng)目上工作,這些因素可能會(huì)有所幫助。使用計(jì)算機(jī)視覺(jué)的好處在于我可以使用已經(jīng)構(gòu)建的游戲來(lái)處理圖像。話(huà)雖如此,我們將使用在ponggame．org上且CodeBullet相同的游戲版本。它具有2人模式,因此我可以與自己的AI對(duì)抗;我做到了,這確實(shí)很難……

捕捉屏幕第一件事就是捕捉屏幕。我想確保我的幀速率盡可能快,為此我發(fā)現(xiàn)MSS是一個(gè)很棒的python包。有了它,我很容易就達(dá)到60幀/秒的最高速度,如果使用PIL,則我只能得到大約20幀每秒的速度。

為了簡(jiǎn)單起見(jiàn),我們需要定義paddle的位置。我們可以使用幾種不同的方法來(lái)完成,但我認(rèn)為最簡(jiǎn)單的方法是對(duì)每個(gè)Paddle的區(qū)域進(jìn)行遮罩,然后運(yùn)行連接的組件來(lái)找到Paddle對(duì)象。

下面是一段代碼:def get_objects_in_masked_region(img, vertices,  connectivity = 8):    ''':return connected components with stats in masked region    [0] retval number of total labels 0 is background    [1] labels image    [2] stats[0] leftmostx, [1] topmosty, [2] horizontal size, [3] vertical size, [4] area    [3] centroids    '''    mask = np．zeros_like(img)    # fill the mask    cv2．fillPoly(mask, [vertices], 255)    # now only show the area that is the mask    mask = cv2．bitwise_and(img, mask)    conn = cv2．connectedComponentsWithStats(mask, connectivity, cv2．CV_16U)    return conn在上面,“vertices”只是定義遮罩區(qū)域的坐標(biāo)列表,一旦在每個(gè)區(qū)域內(nèi)有了對(duì)象,我就可以得到它們的質(zhì)心位置或邊界框,但需要注意的一點(diǎn)是OpenCV將背景作為任何連接的組件列表中的第0個(gè)對(duì)象,因此在本例中,我總是獲取第二大的對(duì)象,結(jié)果如下——右邊綠色質(zhì)心的球拍是玩家的。

移動(dòng)paddle現(xiàn)在我們有了輸出,我們還需要一個(gè)輸入,為此我求助于一個(gè)有用的包和其他人的代碼。它使用ctypes來(lái)模擬鍵盤(pán)按下,在這種情況下,游戲是用“k”和“m”鍵來(lái)玩的。我這里有掃描碼。在測(cè)試了它只是隨機(jī)上下移動(dòng)后,我們就可以開(kāi)始跟蹤了。乒乓球檢測(cè)下一步是識(shí)別并跟蹤乒乓球,同樣,這也可以用幾種方法來(lái)處理——其中一種方法是通過(guò)使用模板進(jìn)行對(duì)象檢測(cè),但是我再次使用了連接的組件和對(duì)象屬性來(lái)完成檢測(cè),即乒乓球的區(qū)域,因?yàn)樗�是唯一具有尺寸的�?duì)象。我知道每當(dāng)乒乓球穿過(guò)或碰到其他白色物體時(shí),我都會(huì)遇到誤檢問(wèn)題,但我也同樣認(rèn)為只要我能在大多數(shù)時(shí)間里追蹤到它,那么這一切都沒(méi)問(wèn)題,畢竟它是直線(xiàn)運(yùn)動(dòng)的。如果你看下面的視頻,你會(huì)看到標(biāo)記乒乓球的紅色圓圈是如何閃爍的,導(dǎo)致這種閃爍的原因是因?yàn)樗�只在�?幀中檢測(cè)一次。

反彈預(yù)測(cè)的光線(xiàn)投射到這一步,我們已經(jīng)有了一個(gè)可工作的人工智能。如果我們只是移動(dòng)球員的球拍,使其處于與乒乓球相同的y軸位置,它的效果是相當(dāng)不錯(cuò)的,然而當(dāng)乒乓球得到良好的反彈時(shí),因?yàn)榍蚺奶�慢�?會(huì)遇到跟不上的問(wèn)題。所以我們需要預(yù)測(cè)乒乓球的位置,而不是僅僅移動(dòng)到當(dāng)前的位置。下面是兩種方法的比較。

差別并不大,但如果選擇了正確的人工智能,這絕對(duì)是一場(chǎng)更穩(wěn)定的勝利。首先我為乒乓球創(chuàng)建了一個(gè)位置列表,為了公平起見(jiàn),我把這個(gè)列表的長(zhǎng)度控制在5個(gè),因?yàn)榱斜硖�長(zhǎng)的話(huà),需要花費(fèi)更長(zhǎng)的時(shí)間才能發(fā)現(xiàn)它改變了方向;在得到位置列表后,我使用簡(jiǎn)單的矢量平均法來(lái)平滑并得到方向矢量——如綠色箭頭所示;然后吧它標(biāo)準(zhǔn)化成一個(gè)單位向量,乘以一個(gè)長(zhǎng)度以方便可視化。投射光線(xiàn)只是這個(gè)的延伸——使前向投影變長(zhǎng)。之后我檢查了未來(lái)的位置是否在頂部和底部區(qū)域的邊界之外,如果是這樣的話(huà),它只是將位置投影回游戲區(qū)域了;對(duì)于左側(cè)和右側(cè),它計(jì)算出與paddle的x位置相交的位置,并將x和y位置固定到該點(diǎn),這樣可以確保paddle指向正確的位置。如果沒(méi)有這一點(diǎn),它通常會(huì)走得太遠(yuǎn)。下面是定義光線(xiàn)的代碼,該光線(xiàn)可以預(yù)測(cè)乒乓球的未來(lái)位置:def pong_ray(pong_pos, dir_vec, l_paddle, r_paddle, boundaries, steps = 250):    future_pts_list = []    for i in range(steps):        x_tmp = int(i * dir_vect[0] + pong_pos[0])        y_tmp = int(i * dir_vect[1] + pong_pos[1])
       if y_tmp > boundaries[3]: #bottom            y_end = int(2*boundaries[3] - y_tmp)            x_end = x_tmp
       elif y_tmp < boundaries[2]: #top            y_end = int(-1*y_tmp)            x_end = x_tmp        else:            y_end = y_tmp
       ##stop where paddle can reach        if x_tmp > r_paddle[0]: #right            x_end = int(boundaries[1])            y_end = int(pong_pos[1] + ((boundaries[1] - pong_pos[0])/dir_vec[0])*dir_vec[1])
       elif x_tmp < boundaries[0]: #left            x_end = int(boundaries[0])            y_end = int(pong_pos[1] + ((boundaries[0] - pong_pos[0]) / dir_vec[0]) * dir_vec[1])
       else:            x_end = x_tmp
       end_pos = (x_end, y_end)        future_pts_list．a(chǎn)ppend(end_pos)
   return future_pts_list在上文中,還沒(méi)說(shuō)明確定paddle對(duì)目標(biāo)的左或右位置的截距的計(jì)算方法,該計(jì)算過(guò)程我們基本上是通過(guò)相似三角形來(lái)實(shí)現(xiàn)的,圖片和方程如下所示。我們計(jì)算在邊界中給定的paddle的x位置截距之后,我們就可以計(jì)算出乒乓球?qū)⒁苿?dòng)多遠(yuǎn)了,并將其添加到當(dāng)前的y位置。

paddle雖然看起來(lái)是筆直的,但實(shí)際上有一個(gè)彎曲的反彈面,也就是說(shuō),如果你用球拍向兩端擊球,球會(huì)反彈,就像球拍有角度一樣,因此我允許球拍擊中邊緣,這增加了人工智能的攻擊性,使乒乓球四處飛舞。結(jié)論盡管我的實(shí)現(xiàn)方法是為這種特定的乒乓球有限實(shí)現(xiàn)而設(shè)計(jì)的,但相同的概念和代碼也可以用于其它問(wèn)題中——只需要改變一些預(yù)處理步驟。我們也可以使用另一種方法來(lái)實(shí)現(xiàn)該項(xiàng)目,即通過(guò)強(qiáng)化學(xué)習(xí)或簡(jiǎn)單的conv-net等方法,但我比較喜歡這種經(jīng)典方法。因?yàn)槭褂媒?jīng)典的方法,我不需要健壯的通用性或困難的圖像處理步驟。正如我提到的,本版本的乒乓球是2人對(duì)戰(zhàn)模式的,在游戲過(guò)程中我無(wú)法打敗我自己的AI…