首頁 > 智能 > 正文

Facebook放出AI拳擊演示動(dòng)畫效果：真人比賽神相似

2021-09-06 15:06:07來源：雷鋒網(wǎng)

AI 拳擊可以有多好玩?

小紅紅，吃我一拳。

嘿，我擋。

前期先試探周旋幾次，再找機(jī)會(huì)吧。

沒錯(cuò)，就是這個(gè)空隙，爆頭。

還想故技重施，我躲。

怎么樣，AI 拳擊動(dòng)畫效果是不是和真人比賽神相似?

基于 AI 深度強(qiáng)化學(xué)習(xí)的拳擊選手身體不僅擁有超高自由度，而且它還掌握了格擋、后退、擺拳等拳擊基本動(dòng)作。

Facebook 人工智能研究部門(FAIR)在機(jī)器學(xué)習(xí)領(lǐng)域，總能帶來一些意想不到的成果，上面的演示正是它們?cè)凇禖ontrol Strategies for Physically Simulated Characters Performing Two-player Competitive Sports》(模擬人物進(jìn)行雙人競(jìng)技運(yùn)動(dòng)的控制策略)一文中的部分演示片段。

在這篇論文中，研究人員開發(fā)了一個(gè)學(xué)習(xí)框架，通過物理模擬角色學(xué)習(xí)基本技能、學(xué)習(xí)回合級(jí)別的策略、深度強(qiáng)化學(xué)習(xí)的步驟方法，來模擬人們學(xué)習(xí)競(jìng)技體育的訓(xùn)練路線。

同時(shí)，它們還開發(fā)了一個(gè)編碼器-解碼器結(jié)構(gòu)的策略模型來讓物理模擬角色進(jìn)行訓(xùn)練學(xué)習(xí)，該結(jié)構(gòu)包含一個(gè)自回歸潛在變量和一個(gè)專家混合解碼器。

為了展示框架的有效性，研究人員通過拳擊和擊劍兩種運(yùn)動(dòng)，演示了物理模擬角色在框架學(xué)習(xí)到的控制策略，這些策略可以生成戰(zhàn)術(shù)行為，并且讓所有動(dòng)作看起來更自然。

論文概述

在雙人競(jìng)技運(yùn)動(dòng)中，運(yùn)動(dòng)員經(jīng)常在比賽中展示出高效的戰(zhàn)術(shù)動(dòng)作，如拳擊和擊劍。但創(chuàng)建多人動(dòng)畫場(chǎng)景是一項(xiàng)巨大的挑戰(zhàn)，因?yàn)樗粌H要求每個(gè)人物模型都以自然的方式行事，而且還要求它們彼此之間的互動(dòng)在時(shí)間和空間領(lǐng)域都是同步的，以顯得自然。

相互作用的密度越大，問題就越具有挑戰(zhàn)性，因?yàn)樵谙嗷プ饔弥g沒有時(shí)間“重置”。使用物理模擬角色簡(jiǎn)化了問題的一部分，因?yàn)榈蛯哟蔚奈锢砘?dòng)(如碰撞)是通過模擬自動(dòng)生成的。

然而，由于學(xué)習(xí)包含比賽的一系列技能，人們還沒有對(duì)不同技能的協(xié)調(diào)進(jìn)行深入研究，如刺拳、勾拳、等拳擊級(jí)別的反擊和壓力戰(zhàn)斗策略。

在競(jìng)技運(yùn)動(dòng)中使用模擬角色的一個(gè)關(guān)鍵挑戰(zhàn)是，需要學(xué)習(xí)基本技能和拳擊級(jí)別的策略，以便它們能夠正確地協(xié)同工作。

在這篇論文中，F(xiàn)AIR 探討了訓(xùn)練控制系統(tǒng)的技術(shù)，開發(fā)了一個(gè)框架，為角色之間的互動(dòng)生成控制策略。其中的人形機(jī)器人擁有超高自由度，并由關(guān)節(jié)力矩驅(qū)動(dòng)。

研究人員解釋，他們的設(shè)計(jì)靈感源于現(xiàn)實(shí)世界。對(duì)于大多數(shù)運(yùn)動(dòng)來說，人們首先是在沒有對(duì)手的情況下學(xué)習(xí)基本技能，然后通過與對(duì)手競(jìng)爭(zhēng)來學(xué)習(xí)如何結(jié)合和完善這些技能。

基于此，F(xiàn)AIR 模仿這兩個(gè)過程，通過深度強(qiáng)化學(xué)習(xí)，讓物理模擬角色學(xué)習(xí)基本技能和學(xué)習(xí)比賽級(jí)別的策略。

多智能體強(qiáng)化學(xué)習(xí)

如上文所述，物理模型角色不僅在前期會(huì)訓(xùn)練學(xué)習(xí)基本技能，后期還會(huì)通過競(jìng)技的方式來深度學(xué)習(xí)，這里就涉及到了一個(gè)多智能體互相學(xué)習(xí)的問題。

FAIR 的框架采用一組運(yùn)動(dòng)數(shù)據(jù)，其中包括雙人競(jìng)技運(yùn)動(dòng)的基本技能作為輸入，并生成兩個(gè)物理模擬選手的控制策略。控制策略允許玩家以正確的動(dòng)作和時(shí)間執(zhí)行一系列基本技能，從而贏得比賽。

具體來看，研究人員首先會(huì)收集了一些動(dòng)作數(shù)據(jù)，包括在沒有對(duì)手的情況下進(jìn)行這項(xiàng)運(yùn)動(dòng)的基本技能。然后采用單智能體深度強(qiáng)化學(xué)習(xí)的方法對(duì)動(dòng)作進(jìn)行單一模仿策略的學(xué)習(xí)。

最后，將模仿策略轉(zhuǎn)化為競(jìng)爭(zhēng)策略，每個(gè)參與者通過帶有競(jìng)爭(zhēng)策略的多智能體深度強(qiáng)化學(xué)習(xí)來增強(qiáng)自己的策略。

為了有效地將模仿策略轉(zhuǎn)換為競(jìng)爭(zhēng)策略，F(xiàn)AIR 使用了一個(gè)由任務(wù)編碼器(如下圖綠色)和運(yùn)動(dòng)解碼器(藍(lán)色)組成的新策略模型，該任務(wù)編碼器的輸出以自回歸的方式更新(灰色)。

即使如此，在多智能體環(huán)境中采用動(dòng)作捕捉依然存在不少巨大的難題。當(dāng)我們需要多個(gè)智能體之間密集和豐富的交互時(shí)，由于物理交互過程中的遮擋和微妙運(yùn)動(dòng)，精確捕捉尤其困難。

基于此，F(xiàn)AIR 設(shè)計(jì)一種框架，用于捕捉動(dòng)作數(shù)據(jù)。首先用一個(gè)智能體進(jìn)行動(dòng)作捕獲，并通過模擬和學(xué)習(xí)創(chuàng)建所需的競(jìng)爭(zhēng)交互。

采用這種方法的動(dòng)機(jī)來自于人們學(xué)習(xí)競(jìng)技運(yùn)動(dòng)的方式 —— 新手玩家先模仿高手玩家的示范，學(xué)習(xí)基本技能，然后在與對(duì)手對(duì)戰(zhàn)的過程中對(duì)所學(xué)的基本技能進(jìn)行提煉和學(xué)習(xí)戰(zhàn)術(shù)。

小結(jié)

在這篇論文中，F(xiàn)AIR 通過創(chuàng)建控制模型，使得兩個(gè)物理模擬角色進(jìn)行競(jìng)技運(yùn)動(dòng)。以拳擊和擊劍為例，盡管這種方法產(chǎn)生了競(jìng)爭(zhēng)性的匹配，但這個(gè)方法仍然具有局限性。

首先，該系統(tǒng)需要相當(dāng)數(shù)量的計(jì)算來生成可信的競(jìng)爭(zhēng)模型。隨著環(huán)境中涉及的變量增加，可能產(chǎn)生的交互也會(huì)以指數(shù)方式增加，因此所需的元組數(shù)量也以類似的方式增加。

為了使框架應(yīng)用到更多運(yùn)動(dòng)中，如籃球或足球，更多的樣本數(shù)據(jù)是必要的。這種計(jì)算復(fù)雜性可以通過學(xué)習(xí)算法(如基于模型的 RL 算法)的突破來解決，或者收集更多的數(shù)據(jù)來引導(dǎo)智能體之間的交互。

其次，F(xiàn)AIR 開發(fā)的框架中有一個(gè)假設(shè)前提，即運(yùn)動(dòng)的個(gè)人技能可以由單個(gè)智能體掌握，雖然該假設(shè)為角色在后期競(jìng)技中的學(xué)習(xí)做了一個(gè)鋪墊，然而，在一些雙人競(jìng)技運(yùn)動(dòng)中，這種假設(shè)并不成立。

例如，在摔跤中，一個(gè)玩家首先需要抓住另一個(gè)玩家的身體，并不斷地利用接觸來獲得分?jǐn)?shù)，而這其中并不包含特別的技能需要去學(xué)習(xí)。

最后，F(xiàn)AIR 的模型雖然能夠生成相互競(jìng)爭(zhēng)的兩個(gè)動(dòng)畫角色，但動(dòng)作表現(xiàn)的自然程度卻取決于輸入?yún)⒖歼\(yùn)動(dòng)的質(zhì)量。

例如，在拳擊比賽中，專業(yè)運(yùn)動(dòng)員在比賽中表現(xiàn)出非常敏捷的動(dòng)作，而模擬的運(yùn)動(dòng)員卻移動(dòng)得很慢。研究人員認(rèn)為，造成這種差異的主要原因是實(shí)驗(yàn)中使用的輸入動(dòng)作來自一個(gè)訓(xùn)練非常有限的拳擊手。

雖然 FAIR 的這項(xiàng)研究并非真正成熟，仍有不少局限性，但它發(fā)表的該篇論文具體描述了自動(dòng)生成多個(gè)擁有高自由度的動(dòng)畫角色模型，以及讓它們深度學(xué)習(xí)和相互競(jìng)技的過程，是一篇十分具有 AI 前沿性質(zhì)的參考文獻(xiàn)。

從長(zhǎng)期來看，這個(gè)研究方向旨在提供了一種模擬的方式，讓人類能夠通過控制人工智能進(jìn)行競(jìng)爭(zhēng)/互動(dòng)，在電腦游戲、商業(yè)電影和體育賽事中能開辟新的應(yīng)用形式。

標(biāo)簽： Facebook AI