從世界矚目的圍棋游戲 AlphaGo，近年來，強化學(xué)習(xí)在游戲領(lǐng)域里不斷取得十分引人注目的成績。自此之后，棋牌游戲、射擊游戲、電子競技游戲，如 Atari、超級馬里奧、星際爭霸到 DOTA 都不斷取得了突破和進展，成為熱門的研究領(lǐng)域。

突然襲來的回憶殺~

今天為大家介紹一個在街機游戲《街頭霸王 3》中進行模擬來訓(xùn)練改進強化學(xué)習(xí)算法的工具包。不僅在 MAME 游戲模擬器中可以使用，這個 Python庫可以在絕大多數(shù)的街機游戲中都可以訓(xùn)練你的算法。

下面營長就從安裝、設(shè)置到測試分步為大家介紹一下。

目前這個工具包支持在Linux系統(tǒng)，作為MAME的包裝器來使用。通過這個工具包，你可以定制算法逐步完成游戲過程，同時接收每一幀的數(shù)據(jù)和內(nèi)部存儲器的地址值來跟蹤游戲狀態(tài)，以及發(fā)送與游戲交互的動作。

首先你需要準(zhǔn)備的是：

操作系統(tǒng)：Linux

Python 版本：3.6+

▌安裝

你可以使用 pip來安裝該庫，運行下面的代碼:

▌《街頭霸王3》示例

這個工具包目前已用于游戲《街頭霸王 3》（Street Fighter III Third Strike: Fight for the Future）, 還可以用于MAME上的任何游戲。下面的代碼演示了如何在街頭霸王的環(huán)境下編寫一個隨機智能體。

此外，這個工具包還支持hogwild訓(xùn)練:

▌游戲環(huán)境設(shè)置

游戲 ID

在創(chuàng)建一個模擬環(huán)境之前，大家需要先加載游戲的 ROM，并獲取 MAME所使用的游戲 ID。比如，這個版本街頭霸王的游戲 ID是“sfiii3n”，你可以通過運行以下代碼來查看游戲ID：

該命令會打開 MAME模擬器，你可以從游戲列表中選擇你所要的那款游戲。游戲的 ID通常位于標(biāo)題后面的括號中。

內(nèi)存地址

實際上該工具包與模擬器本身不需要太多的交互，只需要查找和內(nèi)部狀態(tài)相關(guān)聯(lián)的內(nèi)存地址，同時用所選取的環(huán)境對狀態(tài)進行跟蹤。你可以使用 MAME Cheat Debugger 來觀察隨著時間的變化，內(nèi)存地址值發(fā)生了怎樣的改變。

可以使用以下命令運行Debugger：

更多關(guān)于該調(diào)試工具的使用說明請參考此教程：

https://www.dorkbotpdx.org/blog/skinny/use_mames_debugger_to_reverse_engineer_and_extend_old_games

當(dāng)你確定了所要跟蹤的內(nèi)存地址后可以執(zhí)行以下命令進行模擬：

該命令會啟動模擬器，并在工具包導(dǎo)入到模擬器進程時暫停。

分步模擬

在工具包導(dǎo)入完成后，你可以使用 step 函數(shù)分步進行模擬：

step 函數(shù)將以 Numpy 矩陣的形式返回 frame 和 data 的值，同時也會返回總時間步長的所有內(nèi)存地址整數(shù)值。

發(fā)送輸入

如果要向仿真器輸入動作，你還需要確定游戲支持的輸入端口和字段。例如，在街頭霸王游戲中需要執(zhí)行以下代碼進行投幣：

可以使用 list actions命令查看所支持的輸入端口，代碼如下：

以下返回的列表就包含了街頭霸王游戲環(huán)境中可用于向 step 函數(shù)發(fā)送動作的所有端口和字段：

模擬器還有一個 frame_ratio參數(shù)，可以用來調(diào)整你的算法幀率。在默認(rèn)設(shè)置下，NAME每秒能生成 60幀。當(dāng)然，如果你覺得這樣太多了，你也能通過以下代碼將其改為每秒 20幀：

▌性能基準(zhǔn)測試

目前該工具包的開發(fā)和測試已經(jīng)在8核AMD FX-8300 3.3GHz CPU以及3GB GeForce GTX 1060 GPU上完成。在使用單個隨機智能體的情況下，街頭霸王游戲環(huán)境可以以正常游戲速度的600%+運行。而如果用8個隨機智能體進行hogwild訓(xùn)練的話，街頭霸王游戲環(huán)境能以正常游戲速度的300%+運行。

▌簡單的 ConvNet 智能體

為了確保該工具包能夠訓(xùn)練算法，我們還設(shè)置了一個包含 5 層 ConvNet 的架構(gòu)，只需進行微調(diào)，你就能用它來進行測試。在街頭霸王的實驗中，這個算法能夠成功學(xué)習(xí)到游戲中的一些簡單技巧如：連招 (combo) 和 格擋 (blocking)。街頭霸王的游戲機制是由易到難設(shè)置了 10 個關(guān)卡，玩家在每個關(guān)卡都要與不同的對手對戰(zhàn)。剛開始時，智能體平均只能打到第二關(guān)，而當(dāng)經(jīng)過了 2200 次訓(xùn)練后，它平均能打到第 5 關(guān)。學(xué)習(xí)率的設(shè)置是通過每一局中智能體所造成的凈傷害和所承受的傷害來計算的。