近日完虐Dota选手的OpenAI Five，又是何方神圣？

昨天一大早，OpenAIFive在Dota2的赛场上完虐人类方的消息不胫而走。算上由观众组成的业余队和由前职业选手和现役职业选手组成的半职业队，人类方先是被血虐4局，最后一场尊严之战则是在给AI方挑选上一支前期线上吃亏、己方上场5位对线强势的阵容后才勉强取得胜利。毫不夸张地说，这一次的人类方，一败涂地。

Dota2作为世界上最受欢迎同时也最复杂的电子竞技游戏之一，全球最有天赋的职业选手日夜训练去和别的选手争夺每年4千万美元的奖金池，这在当前所有电竞游戏的奖金中是最高标准。然而和人类不同的是，人工智能OpenAIFive每天都与自己在对战，一天甚至能打200万场比赛。按照开发人员所述，这是“自我博弈（self-play）”。

AlphaGo横扫人类围棋圈引起了很大的轰动和棋盘上的博弈比起来，Dota2作为一款5V5的多人对战游戏，每名玩家都要控制一个英雄，导致AI的上手门槛和需要精通的标准高了太多。高强度指令运算：假设Dota2以30帧每秒运行，平均对局时间在45分钟。那么一场比赛下来就有8万帧可以操作。而大部分的操作比如移动英雄，每一帧的操作对整体战局的影响较为微弱，但像是回城等行为则是在战术层面左右战局结果。

有限的可视状态：Dota的战局被战争迷雾笼罩，单位和建筑物只能看到周围的区域，黑暗区域隐藏着敌人和蠢动的策略。而玩家就需要根据这不完全的数据做出推论，模拟出对手可能要做的事情，并作出针对性计划。在这点，国际象棋和围棋的棋盘信息都是完全暴露的。高维连续动作空间：在Dota中，每个英雄可以采取数十个行动，许多行动要么针对另一个单位，要么针对地面上的一个位置。

高维连续可视空间：Dota是在一个巨大的动态地图上进行比赛的游戏，包括十个英雄，几十个建筑，几十个NPC和多变的游戏功能，如符文、树木、区域等。OpenAIFive的模型观察到Dota游戏通过Valve的BOTAPI状态是20000(主要是浮点数)，这是一个人可以访问的全部信息。

前后两个系统在效率上的提升是巨大的研究人员通常相信长时间的发展需要根本上的进步，例如分层次、强化和学习。而OpenAIFive还没有发挥出真正实力，至少还需要有一个合理的方法探索才能让它充分发挥作用。当前版本的OpenAIFive在决定是否给予击杀敌人（last-hitting）时，目标优先级和专业性策略相匹配。

OpenAIFive所使用的空间观测和空间行动的交互，将Dota的游戏世界看作一个包含20000个数据的表格，并通过发出一个包含8个枚举值（enumerationvalues）的表格来采取行动。不同的操作、编码会影响不同角色的行动。正如上图所示，一个攻击命令的可选择项多到惊人。这个系统伟大的地方在于就是可以不断学习原本缺失的动作。

这个系统令AI拥有强大的自我学习能力。它们在一开始被丢在空白的大地图时，只会随意乱逛，各种离奇死亡。渐渐地它们开始学会躲避、伤害，学习到神符能带给它们增益，猎头倒塔能压制对方，商店可以购物以获得更好的装备，以及五人团战远比单人推塔更容易建立优势等等。连续不断的探索让AI不断丰沃自己的实力，它们慢慢地就羽翼丰满了。协调（Coordination）：

OpenAIFive没有人类那般的思维交流方式，通常被我们称之为团队合作的“团队精神”是由参数所控制。团队精神从0到1不等，由此控制每个AI的英雄应该关心其个人发育状况的程度，而不是粗暴地给一个团队的平均值。迅捷（Rapid）：

前面几个系统依然是针对一场比赛的几个英雄来进行训练，而这个系统可以形容成针对单人的健身房。AI会在这个环境里进行自我竞争来强化自己，不断的优化已有节点。想象下一个能进行自我超越的世外高人，而且这个过程是持续性、不间断的，OpenAIFive能在短时间内达到职业水准自然也不是什么难以置信的事。

比赛自然没有一蹴而就，4月23日的版本是第一个超过AI脚本预测线的版本；5月15日的版本与1队平局，赢一场，输一场；6月6日的版本决定性地胜过前面3支队伍，而对于和第四和第五队的比赛结果，原本预计会输得很惨，但是OpenAIFive在居然在前三场比赛中连赢两场，结果非常出人意料！

再次，AI甚至会有效地给一些不抢占资源的支援英雄更多的早期经验，帮助它们更快成长到优势等级再去支援边路，并通过技能和等级优势扩大战果。这个技巧能有效抓住劣势方的错误来快速建立优势，同时也更容易犯错。不过对于高精度的AI来说，严密的逻辑程序很擅长计算。

比赛结束后人类和AI各获得一个表彰奖杯通过以上这些对比，我们大概是了解到OpenAIFive所特有的优势，它们严谨、技术、勤奋、科学，似乎和智能相关的进化之处都能放在它们身上。但是这么说不免有些笼统，那么我们不妨就针对AI和人类实际游玩Dota2的状况，再来做一个对比。OpenAIFive所能访问的游戏权限和普通玩家相等，无外乎英雄、兵线、防御塔、人头比等等。

尽管不想承认，但未来的AI很可能为我们呈现出我们最希望看到的高质量对局这项差异在1v1中表现尤为突出(通常bot的反应时间为67ms)，但这个竞争环境也相对公平，因此已经有人向机器人学习并适应它。有数十名职业选手就在去年Ti联赛的最后几个月中采取1v1的机器人bot训练法。

OpenAIFive团队，他们手上托着的是去年在1V1赛场上击败冠军级选手的笔电OpenAIFive取得的成绩固然值得骄傲，不过它现在并非完美无瑕。昨天早上的比赛其实有许多限制，譬如AI仅仅只能掌握18个英雄，召唤单位、幻想也不能出现，圣剑、瓶子不能使用，而且它们还需要5只无敌的信使。