英伟达重大突破：用 AI 自动建模渲染图像，加快 3D 游戏开发

AI 前线导读： 这个简单的驾驶模拟器将变革视频游戏图像处理领域。

更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）

（真实视频录像和英伟达 AI 生成视频对比）

最近，人工智能领域的繁荣已取得让人惊叹的成果，尤其是在图像和视频生成领域。最新的成果来自于芯片设计商英伟达，今天，该公司演示了如何结合传统视频游戏引擎和 AI 生成视频。这个混合型的图像系统将来可能会被用于视频游戏、电影和虚拟现实应用中去。

英伟达应用深度学习副总裁 Bryan Catanzaro 表示，“这是一种使用深度学习生成视频的新方法，很明显英伟达很重视生成图像，并在思考 AI 将如何变革这个领域。”

英伟达的这一工作成果其实不是真实的，和大部分 AI 生成的图像一样，英伟达生成的视频中商标也是模糊的。这也并非一项全新的技术。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个名为 pix2pix 的有影响力的开源系统，部署了生成对抗网络（GAN）。这种神经网络被广泛用于 AI 图像生成，包括最近由佳士得出售的AI肖像。

但英伟达此次有所创新，发布了第一个由 AI 生成图像的视频游戏演示。利用这个简单的驾驶模拟器，玩家可以在 AI 生成的几个城市街区空间中导航，但不能离开车内或以其他方式与世界互动。该演示仅使用一个 GPU 即可实现，这一点非常领先。（虽然不可否认，他们使用的 GPU 是该公司价值 3000 美元的顶级产品 Titan V，据称是“有史以来最强大的 PC GPU”，而且通常用于高级模拟处理而不是游戏。）

英伟达系统可以在几个步骤内生成图像。

1. 收集训练数据，数据来自用于自动驾驶研究的开源数据集。

2. 将该镜头分段，每个帧被分成不同的类别：天空、车、树木、道路、建筑物等。

3. 使用分段数据训练生成对抗网络，生成这些对象的新版本。

4. 工程师使用传统流行的游戏引擎 Unreal Engine 4 创建虚拟环境的基本拓扑。使用此环境作为框架，深度学习算法实时生成每个不同类别项目的图像，将它们粘贴到游戏引擎的模型上。

“结构还是用传统的方法创建，”Catanzaro 解释说，“人工智能生成的唯一东西就是图像。”他补充道，演示本身是基本的操作，由一名工程师完成。 “这是概念验证，而不是一个有趣的游戏。”

（AI 生成图像比较：左上角是分割图；右上角是 pix2pixHD；左下角 COVST；右下角，英伟达系统 vid2vid。图片来源：英伟达）

为了创建这个系统，英伟达的工程师必须解决许多问题，其中最大的挑战是对象持久性。即如果深度学习算法以每秒25帧的速率生成现实世界的图像，他们如何保持对象看起来相同？Catanzaro说这个问题意味着系统初期的生成结果将会“看起来像个灾难”，因为颜色和纹理“每帧都会改变”。

解决方案是给系统一个短期记忆，以便将每个新帧与之前的帧进行比较。它尝试预测这些图像中的运动等因素，并创建与屏幕上的内容一致的新帧。所有这些计算都很昂贵，因此游戏只能以每秒 25 帧的速度运行。

Catanzaro 强调，这项技术处于早期阶段，而且人工智能生成的图像可能需要几十年时间才能成为消费级产品。他将这种情况与光线跟踪的发展进行了比较，光线跟踪是当前图像渲染的热门技术，它能实时生成单独的光线，在虚拟环境中创建逼真的反射、阴影和不透明度。“第一次交互式光线追踪演示发生在很久很久以前，但直到几周前，我们还没有在游戏中得实现它，”他说。

这项工作确实在其他研究领域有应用潜力，包括机器人和自动驾驶汽车，它可以用来生成训练环境。不久之后，它可能会出现在消费产品中，尽管范围有限。

例如，该技术可用于混合图像系统，其中大多数游戏使用传统方法渲染，但使用 AI 创建人或物体的相似性。消费者可以使用智能手机自己获取素材，然后将这些数据上传到云端，算法将学习复制并将其插入到游戏中。例如，它可以更容易地创建看起来和玩家相似的头像。

然而，这种技术引起了一些明显的问题。近年来，专家越来越担心别有用心之人使用 AI 生成的伪造品进行虚假宣传。研究人员已经证明，生成一些政治家和名人从未说过的话合或做过的事非常简单，AI 将变成一把双刃剑。

同时，英伟达还提出，该技术可能会用于生成一些具有误导性的内容。Catanzaro 表示，英伟达正在和合作伙伴合作探索检测虚假 AI 的方法，但这种假消息最终是“信任问题”。和之前很多信任问题相似，此问题需要一些列的方法来解决，而不仅是技术手段。

Catanzaro 表示，英伟达需要负一部分责任，“难道 AI 生成假视频，发明电力的公司也需要负责任吗？”

对于英伟达来说，推动 AI 生成图像技术总的来说将会对其有益：它将帮助英伟达售卖更多的硬件，英伟达的股价也随着 2010 年深度学习的火爆而上升（虽然最近有下降的趋势），因为该公司的芯片与机器学习发展的需求非常契合。

原文链接：

https://www.theverge.com/2018/12/3/18121198/ai-generated-video-game-graphics-nvidia-driving-demo-neurips

链接：http://t.cn/E28YBT9