预测 3D 人体姿势可能不属于大多数人关注的范畴，但机器人技术、计算机图形学和其他关注运动学的领域（与物体运动有关的力学分支）却可以从能够做到这一点的系统中受益匪浅。此前，由谷歌提出的姿势预测成为应用人工智能（AI）的任务之一，但先前的相关工作遇到了一些障碍：数字关节和骨骼会向不自然的方向拉伸，特别是当关节旋转时。

幸运的是，Facebook的人工智能研究部门，谷歌大脑和苏黎世联邦理工学院的新研究有望解决这个问题。在本周发布在 Arxiv.org 预印论文网站上的一篇论文（《基于四元数的人体运动神经网络》）中，研究人员提出了一个人工智能系统——QuaterNet，它通过将关节旋转表示为四元数的复数系统，以及惩罚关节位置错误来改善姿势生成。

正如本文的共同作者所解释的那样，循环神经网络（一种能够学习长期相关性的 AI 算法）历来被用于执行短期和长期姿态预测，而卷积神经网络（非常擅长于分析视觉图像的算法）已成功应用于长期生成运动（从一个位置移动到另一个位置）。但由于人体姿势的固有随机性，是否能获得一个完美的模型仍然难以预测。

“人体运动是一个具有高度不确定性的随机过程，”研究人员写道。“对于一个给定的过去情景，未来会有多个可能的未来帧序列，并且不确定性会随着持续时间而增加。”

大多数模型使用转换运算符来预测先前姿势的下一个姿势。它们从摄取的记录帧中输出记录的目标帧，这在大多数情况下都很有效。但这个过程不会暴露它的错误，因此会阻阻碍它学习，以避免重蹈覆辙。

上图：AI模型生成的姿势。

相比之下，研究人员提出的系统采用卷积神经网络，它可以查看过去的帧，通过持续将自己暴露于预测中不断学习进行长期预测。同时，损失函数（将一个或多个变量的值映射到实数上的函数）输入关节旋转并计算每个关节的位置。共同作者表示，这既改善了模型的稳定性，又减少了误差。

为了验证该模型的短期姿势预测能力，研究人员在 Human3.6M 上进行测试，这是一个开源 3D 人体姿势数据集，包含来自 7 名演员演示的 15 个动作的 360 万个人类姿势以及相应的图像。而长期生成测试评估在包含运动样本的其他数据集上进行。

在短期预测任务中，报告显示该模型在 Human3.6M 上的性能有所提升。另外，在长期姿势生成任务中，其目标是在给定平均速度和地面轨迹的情况下生成姿势序列，该模型的表现与最近的工作相比为“定性地”，同时时间和空间限制更好。

未来，QuaterNet 将扩展到其他与运动相关的任务中，例如动作识别或视频的姿势估计，以及采用“直接在四元数域中执行计算”的神经网络。

原文链接：

https://venturebeat.com/2019/01/24/facebook-and-googles-ai-generates-3d-human-poses/

创作场景

谷歌 AI 和 Facebook 提出 AI 模型 QuaterNet，改善 3D 人体姿势预测