网易互娱AI Lab曾广俊:让游戏更智能——强化学习在互娱游戏的落地

2022N.GAME网易游戏开发者峰会于「4月18日-4月21日」举办,本届峰会围绕全新主题“未来已来 The Future is Now”,共设置创意趋势场、技术驱动场、艺术打磨场以及价值探索场四个场次,邀请了20位海内外重磅嘉宾共享行业研发经验、前沿研究成果和未来发展趋势。

今天的干货来自技术驱动场的嘉宾曾广俊,他是网易互娱AI Lab的技术主管。

以下是嘉宾分享实录:(部分删减与调整)

大家好。非常高兴来到N.GAME峰会跟大家分享一下强化学习在互娱游戏的落地。

互娱AI Lab成立于2017年底,主要是要将3D、CV、RL、NLP和语音技术落地到游戏当中,解决游戏的痛点问题。今天我们来讲一下强化学习是什么?强化学习可以在游戏里面做些什么?最后展望一下强化学习除了在游戏当中,还能在其他领域做出什么样的应用。

一、强化学习是什么?

假如现在我们要训练一条小狗做出坐下的这样一个动作,我们可能会做出一个指令让它去坐下。如果小狗做对了这个动作,我们就会给一个食物奖励它;如果它没做到那我们就不会给奖励。通过这样的反馈,多次的迭代,我们的小狗最终就会知道要做出坐下这个动作才能获得奖励。

同样,当我们的游戏接入了以后,我们会把当前的状态信息发送给AI,AI根据当前的一些状态去做出动作。由游戏反馈这个动作是否会有奖惩,AI得到反馈之后就会据此调整它的策略。

通过多轮的迭代,它就会知道在某个时刻应该要做什么样的动作才能获得最大的回报。由于我们需要和环境进行大量交互,所以强化实习通常需要很多的时间让机器去做探索,努力缩小探索空间、提高样本的利用率,来提高强化学习的训练效果是一个重要的方向。


二、强化学习可以在游戏里面做些什么?

游戏要接入强化学习时非常简单,只要实现两个接口,一个就是reset接口,一个就step接口。reset接口会从游戏里面返回初始状态;step接口就是从AI里面获取对应的动作。然后,游戏环境返回下一个状态的信息和一些回报的奖励信息,最后把这个游戏打包成动态库或者docker,就可以交给强化学习AI训练。

1、强化学习的主要应用:对战型AI

实际上,强化学习最主要的应用主要还是对战型AI。在互娱游戏中我们落地了NPC的对战AI。先以天下3山海绘为例,天下3山海绘是一个人机对战的卡牌游戏,玩家可以选多个难度,跟机器人进行对战。

策划需要在短时间内完成人机对战AI,这个AI要适应多种难度,且难度要能动态调整,以适应玩家的水平。

如果我们用行为树做山海绘的AI的话,是需要策划用很多的时间去列举每个状态的信息,然后根据状态的节点去做对应的动作,如果我们要做分级难度的话就更需要细致去划分,这样花费的时间将会更加巨大,上线之后每一次卡牌的更新,都需要策划去重新花费大量时间修改行为树去适应新的卡牌。

实际上,这浪费了很多的人力和时间。更关键的是,行为树的AI通常强度都是达不到通常玩家的水平。如果用强化学习去做的话,我们就可以很快速的去生成AI,尤其当新卡更新到新的游戏环境里面,强化学习可以很快速地适应一个新的环境,只需要重新再Finetune一下就可以了。

强化学习训练本身,是在做机器人的自对弈的行为。这样的一个过程中,自然而然地批量生成了大量不同难度的AI。这些AI可以无缝迁移,滿足玩家对于难度选择的需求。最关键的一点是用强化学习去做AI,它最后的强度能够远超玩家的水平。

我们的强化学习训练和一般的强化学习类似,都是主要由采样器,训练器来组成。采样器在CPU上面执行AI的决策,通过与游戏环境进行交互,生成大量的样本。这些样本又可以送到GPU上面的训练器上进行优化,优化出来的模型再放到模型池里面。

模型池可以让AI去选择对战的对手,通过迭代模型池的强度,当前训练的AI也会逐渐的变强。其中,模型池的模型也可以作为不同难度的AI模型让玩家选择。这个AI的难点主要是在动作空间上,刚才提到训练强化学习其实是试错的过程,如果我们可选的动作太多的话,我们需要去找到合适的动作就需要很长的时间。

比如我要出AABCCD这样的一个动作,它有好几张牌,我们第一张牌可能会有几十个选择,第二张牌同样也会有几十张选择。这么多卡牌的选择组合起来,树型的结构会使我们的动作空间成指数级增长。我们的解决方案是把单步决策变成序列决策。

也就是说,我们从游戏环境里面得到的状态,AI决策第一张牌应该要出什么,再把第一张出的牌和环境的状态再输进去AI,再做一次决策。第二张牌再以同样的模式,再输出到下一轮的决策里面。

最后,我们就可以输出一个持续的决策,AABCCD再统一返回到给我们的游戏环境中。这样就可以把一步的决策化为多步的决策,把游戏空间从指数级降到一个常数的级别。

我们对比一下强化学习跟行为树的AI。在加入新的卡牌之后,强化学习明显需要的时间会比行为树少很多。它相比于行为树,只有3-5个等级,具有的100多个难度等级也比较平滑。另外,它还可能会存在着比较大的难度跳跃。而强化学习,它能做到远高于玩家的水平,这是行为树不能做到的。

我们也挑战了更难的游戏,参加了NeurIPS举办的MineRL Diamond比赛,这个比赛已经举办第三届,每一次都吸引了大量工业界和学术界的强队参加。这个比赛的目的就是在MineCraft的环境中,从一开始用一把斧头开始采集木头资源,再通过木头资源去做下一步的工具,最后,要挖掘到钻石。这个比赛举办以来,基本上没有队伍能在这种环境里面从中挖到了钻石。比赛有很多方案,大多数队伍都选择了基于玩家数据去进行训练,如基于玩家数据进行模仿学习,或者在模仿学习组上再进行强化学习。

但官方提供的数据其实不多,玩家的水平也是参差不齐,其中也有很多无效的操作。我们也尝试过使用官方的数据集进行训练,实际上效果也并不好。那我们能不能直接用强化学习,从零开始训练呢?可以,但我们要解决几个难点。环境输出的是以图像信息为主的,由于图像信息,它是一个3x64x64的一个图片,它的信息维度是非常大的。要AI去遍历这么一个大空间的数据其实非常困难,因此,我们就采用了CNN网络,尽量去降低它的一个复杂度,提出它的一些关键特征。

另外,对于这个比赛需要AI有长期的规划能力。比如它需要先从产木头开始,产够了足够的木头才能去做木镐,用木镐才能去更好地去挖石头,挖到石头后制造石搞去挖铁,这样一环扣一环的操作才能有机会挖到钻石,这就需要AI在每个时刻都能知道自己的策略是要干什么,自己下一步需要干什么。而这么长的一段时间里面,让AI去盲目地去探索也是使用强化学习直接训练所需要面临巨大挑战。我们做的主要工作就是从缩减它的探索空间。

首先是动作编码,我们会把动作精简到只有20个动作,而且根据当前的局面去屏蔽一些不需要的动作。这样的话,实际上我们AI每一次可以选择动作非常少,这样可以压缩探索的空间。跳帧也是一个关键点。

通过跳帧我们可以把本来很长的游戏压缩成比较短的游戏过程,AI需要做的决策数目也大大缩小了,这些策略都能进一步缩减我们的探索空间。缩减了探索空间,我们就能在比较短的时间里面训出比较好的效果。更重要的是,有一个合理的奖励。比如我们去寻宝,需要一个藏宝图,用藏宝图去指引我们下一步的目标在哪里,通过达到一个目标获取下一条线索,才能更容易找到目标。

如果用原生的原始奖励,要不就是第一次资源就获得奖励之后再不能获得奖励。这样的话,我们的AI可能就学不到,应该要重复收集足够的资源才能去做工具。如果每一次都有奖励,AI又可能会学到刷分这样的一个行为。所以我们就细致的调整了它实际的一个奖励,去更好地引导AI的训练。

比如木头的话,它是一开始需要比较多,后面没有用。所以,我们一开始会给它重复的奖励,到了一定程度就不会再给奖励。另外,挖钻石的行为,其实跟挖矿、挖石头上的一个操作是类似的,都是要不断挖掘。我们需要去鼓励它进行这样的操作,所以挖石头,挖铁矿我们都是给它无限的奖励。最后,我们通过这样的策略非常有效的将AI训练出来。可以看到,随着AI的迭代,它的累积回报跟挖到钻石的概率都是飞快的上升。最后,我们也是以历史最高分获得了冠军,也是这比赛举办以来第一次有队伍挖到钻石了。

2、用强化学习进行辅助游戏设计

我们还探索用强化学习去做辅助游戏设计的工作。比如有一个竞速游戏,需要测试赛车的圈速、赛车的漂移性能、赛道的通过性、弯道的难度;如果用人工验证的话,要花费很多的时间。比如,我们需要若干天让它去熟悉游戏、掌握游戏的技巧,将游戏技术提高到一个比较高的水平,让测试才相对准确一点。还要去做验证赛车和赛道的组合,把每一个赛车和赛道的组合都跑一遍,这也需要耗費很多时间。

策划重新设计的赛车或者赛道后,需要人工去重新适应新的赛车赛道的特性,这需要花费很多时间去重新适应。另外用人工验证的话,还会存在一些偏差。因为人工验证不可能保证每一次测试都是人类地最高水平,所以他可能需要重复测试验证。另外人固有的操作习惯也会影响他评测新的赛车,在旧的赛车赛道,他已经很熟悉,遇到新的赛车之后,他可能就会沿用旧赛车的一些操作,这样新赛车的特性可能就不一定能发挥出来。

强化学习的一个重点就是要加速AI的训练。因为只有加速了AI的训练,我们才能更好的适应策划的新的配置,能在更短的时间里面完成一个跑测。因此,我们的主要工作就是把一些不合理的动作屏蔽掉,减少它的探索空间,动态的提前结束游戏。

相似的赛道同时训练也有助于AI去学习它们之间的联系,加速它的收敛过程。AI在CPU机器上也可以快速输出结果。即便是在CPU机器 上进行训练,我们也可以缩短90%的测试时间。利用AI可以在同一个赛道同时输出多辆赛车,观察在每一个时刻,它的位置、速度、档位、还有赛车的引擎的信息,方便策划去调试。

3、用强化学习进行游戏的平衡性分析

除了进行竞速游戏的验证以外,我们还可以做一些游戏的平衡性分析。比如在策略游戏里面,新的英雄上线了可能会有玩家吐槽,这个英雄太强了,跟什么英雄搭配都是无解的存在。那下一个版本策划可能就会修改,把它削弱一点。实际上,上线玩家又可能会发现这英雄被削的太多了,之前充的钱可能又白花了。这样的话就会给游戏的口碑带来极大的影响,同时也会非常影响游戏玩家的体验。

我们尝试可以用事前分析去解决,比如可以用人工去评估,可以用程序去模拟所有的组合对战结果。当然,我们也可以用强化学习去进行探索,用人工的话,就像刚才那样可能就会出现,人工的遗漏。有一些情况没有考虑到,上线之后就会被玩家发现有一些特别强的组合。这样的话,它的准确率实际上是比较低的。

如果用程序去模拟所有组合的结果会非常准确,但因为它的组合数非常多,要通常需要数个月的时间,甚至不可接受的时间。如果用强化学习的话,就相当于在两者时间取了个折中。通过强化学习,我们启发式去进行搜索,并不需要进行所有的组合的枚举。我们可以通过启发式的搜索找到一些可能比较强的组合。我们并不需要把所有的组合都遍历一遍,就可以得出一个比较精准的结果,因为AI并没有人所拥有的先验知识的一些偏见,所以相对人的经验AI的结果会更准确。

强化学习的训练都离不开一个环境,在这一个游戏平衡性分析的场景里面,搭建一个合适的环境来表述这个问题是非常重要的。我们用模型池跟游戏模拟器组成这一个游戏环境,每一次,AI从游戏环境里面获取到当前要对战的阵容,然后它所需要的角色就是要击败这个阵容所需要的组合。输出的动作返回到战斗模拟器去进行模拟对战,最后把赛果返回到我们的AI里面。

AI通过这样的反馈就能获取这一个阵容是否合理,多轮的迭代之后AI就会学会如何搭配阵容才能打败对面的组合,而这样的一个强的组合也会逐渐加入到我们的阵容池里面进行淘汰,把差的阵容淘汰,留下强的阵容。通过迭代,阵容池里面就可以留下一大批可能潜在过强的英雄组合,我们把这样的一个流程搭成一个自助跑测平台,策划只需要上传更新好的游戏属性文件,然后点一下运行就可以直接跑出来所需要的结果。包括每一个阵容它的实际对战的结果。每一个英雄的实际强度跟其他英雄的对比,还有阵容的阵容之中每个英雄的出场率,都可以验证这个英雄的强度是否符合策划预先设计的预期。

三、强化学习在其他领域的应用

前面说了很多强化学习在互娱游戏里面的落地,我们也可以观察到强化学习,不止在游戏里面有应用,我们还可以看到在国外,有一些公司用强化学习和对抗学习做游戏关卡的生成。有自动驾驶和机器人的控制都大量用到了强化学习的技术。

最近,Deepmind还提出了用强化学习去控制核聚变的反应堆。我相信这样的一个技术可以促进最终核聚变的应用。

我的演讲到此结束,非常感谢大家。

2022N.GAME网易游戏开发者峰会4月18日-4月21日每天下午15点直播,戳链接可直达峰会官网:https://game.academy.163.com/event/nGame

(0)
上一篇 2022年4月20日 14:55
下一篇 2022年4月20日 15:03