QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

谷歌 AI 和 Facebook 提出 AI 模型 QuaterNet,改善 3D 人体姿势预测

  • 2019-01-25
  • 本文字数:1079 字

    阅读完需:约 4 分钟

谷歌AI和Facebook提出AI模型QuaterNet,改善3D人体姿势预测

预测 3D 人体姿势可能不属于大多数人关注的范畴,但机器人技术、计算机图形学和其他关注运动学的领域(与物体运动有关的力学分支)却可以从能够做到这一点的系统中受益匪浅。此前,由谷歌提出的姿势预测成为应用人工智能(AI)的任务之一,但先前的相关工作遇到了一些障碍:数字关节和骨骼会向不自然的方向拉伸,特别是当关节旋转时。


幸运的是,Facebook 的人工智能研究部门,谷歌大脑和苏黎世联邦理工学院的新研究有望解决这个问题。在本周发布在 Arxiv.org 预印论文网站上的一篇论文(《基于四元数的人体运动神经网络》)中,研究人员提出了一个人工智能系统——QuaterNet,它通过将关节旋转表示为四元数的复数系统,以及惩罚关节位置错误来改善姿势生成。



正如本文的共同作者所解释的那样,循环神经网络(一种能够学习长期相关性的 AI 算法)历来被用于执行短期和长期姿态预测,而卷积神经网络 (非常擅长于分析视觉图像的算法)已成功应用于长期生成运动(从一个位置移动到另一个位置)。但由于人体姿势的固有随机性,是否能获得一个完美的模型仍然难以预测。


“人体运动是一个具有高度不确定性的随机过程,”研究人员写道。“对于一个给定的过去情景,未来会有多个可能的未来帧序列,并且不确定性会随着持续时间而增加。”


大多数模型使用转换运算符来预测先前姿势的下一个姿势。它们从摄取的记录帧中输出记录的目标帧,这在大多数情况下都很有效。但这个过程不会暴露它的错误,因此会阻阻碍它学习,以避免重蹈覆辙。



上图:AI 模型生成的姿势。


相比之下,研究人员提出的系统采用卷积神经网络,它可以查看过去的帧,通过持续将自己暴露于预测中不断学习进行长期预测。同时,损失函数(将一个或多个变量的值映射到实数上的函数)输入关节旋转并计算每个关节的位置。共同作者表示,这既改善了模型的稳定性,又减少了误差。


为了验证该模型的短期姿势预测能力,研究人员在 Human3.6M 上进行测试,这是一个开源 3D 人体姿势数据集,包含来自 7 名演员演示的 15 个动作的 360 万个人类姿势以及相应的图像。而长期生成测试评估在包含运动样本的其他数据集上进行。


在短期预测任务中,报告显示该模型在 Human3.6M 上的性能有所提升。另外,在长期姿势生成任务中,其目标是在给定平均速度和地面轨迹的情况下生成姿势序列,该模型的表现与最近的工作相比为“定性地”,同时时间和空间限制更好。


未来,QuaterNet 将扩展到其他与运动相关的任务中,例如动作识别或视频的姿势估计,以及采用“直接在四元数域中执行计算”的神经网络。


原文链接:


https://venturebeat.com/2019/01/24/facebook-and-googles-ai-generates-3d-human-poses/


2019-01-25 14:375881
用户头像

发布了 98 篇内容, 共 65.2 次阅读, 收获喜欢 285 次。

关注

评论

发布
暂无评论
发现更多内容

HyperMesh基础教程:概述与有限元分析简介

智造软件

建模 仿真软件 Hypermesh 有限元技术 网格划分

想给MAC电脑换个壁纸?苹果电脑各类高清壁纸资源分享

Rose

Parallels Desktop虚拟机怎么完全卸载? PD虚拟机完全卸载方法

Rose

PS笔刷集合:给大家推荐几款非常好用的PS笔刷

Rose

Dropover for mac,最方便的文件移动方式

Rose

“DataOps+大模型”——数造科技在大模型时代的数据开发创新探索

数造万象

人工智能 AI DataOps 大模型 #SQL

MacOS最强视频下载工具Downie 4

Rose

如何在 Mac 里装 Windows ?试试 Parallels Desktop虚拟机

Rose

什么是DApp?DApp开发指南

区块链软件开发推广运营

交易所开发 dapp开发 区块链开发 链游开发 NFT开发

NFTScan | 10.07~10.13 NFT 市场热点汇总

NFT Research

NFT\ NFTScan

Logic Pro X插件在哪个位置?Logic Pro X最新中文直装版安装包

Rose

Lightroom Classic (lr) 安装后提示“内部出现错误,无法创建文件夹”的解决办法

Rose

最新版photoshop 运行弹窗This non-genuine Adobe app has been disabled 详细的解决方法

Rose

JavaScript原型链污染探讨

不在线第一只蜗牛

JavaScript

数字货币交易所源码开发:场外(OTC)与币币交易所系统的构建指南

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

一文为你解读MySQL8.0 Instant DDL源码实现

华为云开发者联盟

数据库 元数据 :MySQL 数据库 instantID

​非凸科技银牌赞助的GOSIM CHINA 2024即将在北京开幕,欢迎大家报名参加

非凸科技

鸿蒙开发案例:黑白棋

zhongcx

谷歌AI和Facebook提出AI模型QuaterNet,改善3D人体姿势预测_AI&大模型_KYLE WIGGERS_InfoQ精选文章