视频游戏是AI（人工智能）系统的要紧试验场。与现实世界一样，游戏也是丰富的学习环境，具备反应灵敏的实时设置和不断变化的目的。

从早期与雅达利游戏的合作，到 AlphaStar 系统可以以人类大师级的水平玩好《星际争霸 II》，谷歌 DeepMind 在AI和游戏范围有着悠久的历史。

近期，谷歌 DeepMind 宣布了一个新的里程碑——将重点从单个游戏转向通用的、可指导游戏的 人工智能 智能体。

在一份新的技术报告中，谷歌 DeepMind 介绍了 SIMA（Scalable Instructable Multiworld Agent），这是一种适用于 3D 虚拟环境的通才 人工智能 智能体。谷歌 DeepMind 与游戏开发商合作，在各种视频游戏中练习 SIMA。这项研究标志着初次有 人工智能 智能体证明自己可以理解各种游戏世界，并像人类一样根据自然语言指令在游戏世界中实行任务。

这项工作并非为了获得高分。对于AI系统来讲，掌握玩就算是一款视频游戏都是一项技术壮举，但掌握在各种游戏环境中听从指令，可以让 人工智能 智能体在任何环境中都能发挥更大有哪些用途。

谷歌 DeepMind 的研究展示了怎么样通过语言界面将高级AI模型的能力转化为现实世界中有用的行动。他们期望 SIMA 和其他智能体研究能将视频游戏作为沙盒，以更好地知道AI系统怎么样变得更有帮助。

从电子游戏中学习

为了让 SIMA 接触到更多环境，谷歌 DeepMind 与游戏开发商打造了很多合作关系，以拓展研究。他们与八家游戏工作室合作，在九款不一样的视频游戏中练习和测试 SIMA，如 Hello Games 的《无人天空》和 Tuxedo Labs 的《Teardown》。SIMA 商品组合中的每款游戏都为大家打开了一个全新的互动世界，包含一系列需要学习的技能，从简单的导航和菜单用，到开采资源、驾驶飞船或制作头盔。

谷歌 DeepMind 还用了四个研究环境——包含用 Unity 构建的一个名为“建筑实验室”的新环境，在这个实验室中，智能体需要用积木搭建雕塑，测试他们对物体的操作与对物理世界的直观理解。

通过向不一样的游戏世界学习，SIMA 捕捉到了语言与游戏行为之间的联系。第一种办法是在游戏组合中记录成对的人类玩家，其中一名玩家察看并指导另一名玩家。他们还让玩家自由打游戏，然后重新察看他们的行为，并记录下可能致使其游戏行为的指令。

图｜SIMA 由预先练习好的视觉模型和一个主模型组成，主模型包含一个存储器，可输出键盘和鼠标操作。

SIMA：多功能人工智能智能体

SIMA 是一个 人工智能 智能体，它可以感知和理解各种环境，然后采取行动达成指令目的。它由一个用于精确图像语言映射的模型和一个用于预测屏幕上下面会发生什么的视频模型组成。谷歌 DeepMind 依据 SIMA 商品组合中特定 3D 设置的练习数据对这类模型进行了微调。

据介绍，SIMA 无需访问游戏的源码，也无需定制的应用程序接口。它仅需两个输入：屏幕上的图像和用户提供的简单自然语言指令。SIMA 用键盘和鼠标输出来控制游戏中心角色实行这类指令。人类用的就是这种简单的界面，这意味着 SIMA 可以与任何虚拟环境进行交互。

目前版本的 SIMA 评估了 600 项基本技能，包含导航（如“向左转”）、物体交互（“爬梯子”）和菜单用（“打开地图”）。谷歌 DeepMind 已经对 SIMA 进行了练习，使其可以在 10 秒钟内完成简单的任务。

谷歌 DeepMind 期望，将来的智能体可以处置需要高级策略规划和多个子任务才能完成的任务，如“探寻资源并建造营地”。这是AI的一个要紧目的，由于虽然大型语言模型（LLMs）已经产生了强大的系统，可以捕捉有关世界的常识并生成计划，但它们现在还缺少代表大家采取行动的能力。

跨游戏总结

谷歌 DeepMind 发现，同意过多种游戏练习的智能体要优于只掌握玩一种游戏的智能体。在评估中，同意过九款 3D 游戏练习的 SIMA 智能体的表现明显优于只同意过单款游戏练习的所有专业智能体。更要紧的是，除去一款游戏外，同意过其他所有游戏练习的智能体在未见过的游戏中的平均表现几乎与同意过专门练习的智能体相同。要紧的是，这种在全新环境中发挥用途的能力凸显了 SIMA 在练习以外的通用能力。这是一个非常有期望的初步结果，但要使 SIMA 在可见和未见游戏中的表现都达到人类水平，还需要更多的研究。

结果还表明，SIMA 的表现依靠于语言。在对照测试中，智能体没同意任何语言练习或指令，它的行为适合但漫无目的。比如，智能体或许会常常采集资源，而不是根据指示行走。

图｜谷歌 DeepMind 对 SIMA 遵循指令完成近 1500 项独特游戏任务的能力进行了评估，其中部分评估是通过人类评委完成的。作为基准比较，他们用了环境专用 SIMA 智能体的性能（经过练习和评估，可在单一环境中遵从指令），并将这种性能与三种通用 SIMA 智能体进行比较，每种智能体都在多个环境中同意过练习。

推进 人工智能 智能体研究

谷歌 DeepMind 表示，SIMA 的研究成就表明，他们有潜力开发出新一批通用的、语言驱动的 人工智能 智能体。这是一项早期研究，他们期待着在 SIMA 的基础上，在更多的练习环境中进一步进步，并纳入更多能力更强的模型。

伴随 SIMA 在更多练习环境中的应用，谷歌 DeepMind 期望，它的通用性和多功能性会愈加强。

有了更一流的模型，他们期望能提升 SIMA 对更高级语言指令的理解和实行能力，从而达成更复杂的目的。

最后，Goo gle DeepMind的研究将朝着更通用的AI系统和智能体的方向进步，这类系统和智能体可以理解并安全地实行各种任务，为大家在网上和现实世界中提供帮助。

原文链接：

https://deepmind.谷歌/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/

Tags：人工智能