AI前线导读： 这个简单的驾驶模拟器将变革视频游戏图像处理领域。

更多干货内容请关注微信公众号“AI前线”（ID：ai-front）

（真实视频录像和英伟达AI生成视频对比）

最近，人工智能领域的繁荣已取得让人惊叹的成果，尤其是在图像和视频生成领域。最新的成果来自于芯片设计商英伟达，今天，该公司演示了如何结合传统视频游戏引擎和AI生成视频。这个混合型的图像系统将来可能会被用于视频游戏、电影和虚拟现实应用中去。

英伟达应用深度学习副总裁Bryan Catanzaro表示，“这是一种使用深度学习生成视频的新方法，很明显英伟达很重视生成图像，并在思考AI将如何变革这个领域。”

英伟达的这一工作成果其实不是真实的，和大部分AI生成的图像一样，英伟达生成的视频中商标也是模糊的。这也并非一项全新的技术。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个名为pix2pix的有影响力的开源系统，部署了生成对抗网络（GAN）。这种神经网络被广泛用于AI图像生成，包括最近由佳士得出售的AI肖像。

但英伟达此次有所创新，发布了第一个由AI生成图像的视频游戏演示。利用这个简单的驾驶模拟器，玩家可以在AI生成的几个城市街区空间中导航，但不能离开车内或以其他方式与世界互动。该演示仅使用一个GPU即可实现，这一点非常领先。（虽然不可否认，他们使用的GPU是该公司价值3000美元的顶级产品Titan V，据称是“有史以来最强大的PC GPU”，而且通常用于高级模拟处理而不是游戏。）

英伟达系统可以在几个步骤内生成图像。

收集训练数据，数据来自用于自动驾驶研究的开源数据集。
将该镜头分段，每个帧被分成不同的类别：天空、车、树木、道路、建筑物等。
使用分段数据训练生成对抗网络，生成这些对象的新版本。
工程师使用传统流行的游戏引擎 Unreal Engine 4创建虚拟环境的基本拓扑。使用此环境作为框架，深度学习算法实时生成每个不同类别项目的图像，将它们粘贴到游戏引擎的模型上。

“结构还是用传统的方法创建，”Catanzaro解释说，“人工智能生成的唯一东西就是图像。”他补充道，演示本身是基本的操作，由一名工程师完成。 “这是概念验证，而不是一个有趣的游戏。”

（AI生成图像比较：左上角是分割图；右上角是pix2pixHD；左下角COVST；右下角，英伟达系统vid2vid。图片来源：英伟达）
为了创建这个系统，英伟达的工程师必须解决许多问题，其中最大的挑战是对象持久性。即如果深度学习算法以每秒25帧的速率生成现实世界的图像，他们如何保持对象看起来相同？Catanzaro说这个问题意味着系统初期的生成结果将会“看起来像个灾难”，因为颜色和纹理“每帧都会改变”。

解决方案是给系统一个短期记忆，以便将每个新帧与之前的帧进行比较。它尝试预测这些图像中的运动等因素，并创建与屏幕上的内容一致的新帧。所有这些计算都很昂贵，因此游戏只能以每秒25帧的速度运行。

Catanzaro强调，这项技术处于早期阶段，而且人工智能生成的图像可能需要几十年时间才能成为消费级产品。他将这种情况与光线跟踪的发展进行了比较，光线跟踪是当前图像渲染的热门技术，它能实时生成单独的光线，在虚拟环境中创建逼真的反射、阴影和不透明度。“第一次交互式光线追踪演示发生在很久很久以前，但直到几周前，我们还没有在游戏中得实现它，”他说。

这项工作确实在其他研究领域有应用潜力，包括机器人和自动驾驶汽车，它可以用来生成训练环境。不久之后，它可能会出现在消费产品中，尽管范围有限。

例如，该技术可用于混合图像系统，其中大多数游戏使用传统方法渲染，但使用AI创建人或物体的相似性。消费者可以使用智能手机自己获取素材，然后将这些数据上传到云端，算法将学习复制并将其插入到游戏中。例如，它可以更容易地创建看起来和玩家相似的头像。

然而，这种技术引起了一些明显的问题。近年来，专家越来越担心别有用心之人使用AI生成的伪造品进行虚假宣传。研究人员已经证明，生成一些政治家和名人从未说过的话合或做过的事非常简单，AI将变成一把双刃剑。

同时，英伟达还提出，该技术可能会用于生成一些具有误导性的内容。Catanzaro表示，英伟达正在和合作伙伴合作探索检测虚假AI的方法，但这种假消息最终是“信任问题”。和之前很多信任问题相似，此问题需要一些列的方法来解决，而不仅是技术手段。

Catanzaro表示，英伟达需要负一部分责任，“难道AI生成假视频，发明电力的公司也需要负责任吗？”

对于英伟达来说，推动AI生成图像技术总的来说将会对其有益：它将帮助英伟达售卖更多的硬件，英伟达的股价也随着2010年深度学习的火爆而上升（虽然最近有下降的趋势），因为该公司的芯片与机器学习发展的需求非常契合。

原文链接：

https://www.theverge.com/2018/12/3/18121198/ai-generated-video-game-graphics-nvidia-driving-demo-neurips

链接：http://t.cn/E28YBT9

创作场景

英伟达重大突破：用 AI 自动建模渲染图像，加快 3D 游戏开发