高品质的音视频能力是怎样的? | Qcon 全球软件开发大会·上海站邀请函 了解详情
写点什么

Facebook 开源深度学习框架 Pythia,支持视觉和语言多任务处理

  • 2019-05-22
  • 本文字数:863 字

    阅读完需:约 3 分钟

Facebook开源深度学习框架Pythia,支持视觉和语言多任务处理

Pythia 简介

Pythia是一个深度学习框架,支持视觉和语言领域的多任务处理。Pythia 基于 Facebook 开源的 PyTorch 框架,采用模块化和即插即用设计,研究人员能够基于它快速构建、复制 AI 模型和进行基准测试。Pythia 专为视觉和语言任务而设计,例如回答与视觉数据相关的问题、自动生成图像标题等。


Pythia 能做什么

Pythia 涵盖了 Facebook 在近期多项 AI 竞赛(VQA Challenge 2018 和 Vizwiz Challenge 2018)获胜成果中的元素。其功能特性包括一些最新模型的参考实现方法,能够帮助研究人员了解这些先进模型如何实现对应的基准测试结果,同时快速评估新模型的性能。除了多任务,Pythia 还支持分布式训练和各种数据集,以及自定义的损失、度量、调度和优化。


具体功能特性如下:


  • Model Zoo:最先进的视觉和语言模型的参考实现,包括 LoRRA(SoQ on VQA 和 TextVQA)、Pythia 模型(VQA 2018 挑战获胜者)和 BAN。

  • 多任务:支持多任务,允许多个数据集同时训练。

  • 数据集:内置多种数据集,包括 VQA、VizWiz、TextVQA 和 VisualDialog。

  • 模块:提供视觉和语言领域中常用层的实现方法。

  • 分布式:支持基于 DataParallel 和 DistributedDataParallel 的分布式训练。

  • Unopinionated:不影响基于它构建任何数据集和模型。

  • 可定制:支持自定义损失、度量、调度、优化器、TensorBoard 等任何定制化需求。


这里可以了解有关 Pythia 的更多信息。


开源 Pythia 的重要性

Pythia 让研究人员能够更加轻松地展开视觉和语言子领域的工作,研究人员能够专注于更快的原型设计和实验。Facebook 官网博客表示,Pythia 的目标是通过提高这些模型和结果的可重复性来加速进步。这将使社区更容易在成功系统的基础上构建自己的模型和进行基准测试。Pythia 旨在消除模型重现的障碍,进而使研究人员能够更快地为人和智能机器开发新的交流方式。这项工作将帮助研究人员开发自适应人工智能,将多种理解融合到更基于情境的多模式理解中。


除了当前开源的版本,Facebook 还计划继续为 Pythia 添加更多工具、任务、数据集和参考模型。


Pythia 开源项目地址:https://github.com/facebookresearch/pythia


2019-05-22 15:497006
用户头像
蔡芳芳 InfoQ主编

发布了 712 篇内容, 共 393.1 次阅读, 收获喜欢 2555 次。

关注

评论

发布
暂无评论
发现更多内容

[译] R8 优化:方法的 Outlining 优化

Antway

6月日更

定点数与浮点数表示

若尘

浮点数 计算机组成原理 6月日更

只把华为“桑田岛时间”看做一档对话节目?格局小了!

脑极体

作为新时代的Java工程师,你需要具备什么能力?

卢卡多多

Java 能力提升 6月日更 六月

在线URLEncode编码,URLDecode解码工具

入门小站

工具

react源码解析19.手写迷你版react

全栈潇晨

react.js

Pandas高级教程之:处理缺失数据

程序那些事

Python 数据分析 pandas 程序那些事

面试官:谈谈你对geohash的理解和如何实现附近人功能呢?

我是阿沐

redis 面试 geohash

详解 SQL 中的单表查询

悟空聊架构

sql 6月日更 单表查询 T-SQL

模块7作业

Geek_2e7dd7

架构训练营

全球首个开源图像识别系统上线了!人脸、商品、车辆识别一网打尽!

百度大脑

人脸识别 图像识别

网络攻防学习笔记 Day53

穿过生命散发芬芳

网络攻防 6月日更

采访华为服务器OS首席架构师熊伟:开源背后的故事(采访提纲)

xcbeyond

采访提纲 6月日更

用VSCode刷LeetCode

IT蜗壳-Tango

6月日更

zookeeper原生api操作

赵镇

zookeeper

Java线程状态与状态间的切换

wzh

Java 线程 JVM 操作系统 并发

【21-16】PowerShell循环

耳东@Erdong

PowerShell 6月日更

Java8 的时间库(2):Date 与 LocalDate 或 LocalDateTime 互相转换

看山

Java 6月日更

Linux之mv命令

入门小站

Linux

“布”道AI的正确打开方式

脑极体

分布式锁相关探索

PCMD

redis 分布式锁 zookeeper分布式锁 redisson 分布式锁

“云智技术论坛”即将召开,百度智能云带来端边云全面智能化平台

百度大脑

人工智能 物联网 云智一体

JS完美收官之——js加载时间线

法医

大前端 js 6月日更

你会选做通才还是专才?

石云升

职场经验 6月日更

协同过滤推荐算法(十六)

数据与智能

推荐算法

Kubernetes手记(20)- HeapSter监控

雪雷

k8s 6月日更

百度与张江集团达成战略合作,AI助推上海城市数字化转型

百度大脑

人工智能

Java内存模型

wzh

Java JVM happens-before 并发 Java内存模型

知乎上线1小时,5w浏览量被下架的JVM全解笔记,内容太强大

Java架构师迁哥

Jenkins 如何与 Kubernetes 集群的 Tekton Pipeline 交互?

张晓辉

Kubernetes 云原生 jenkins Tekton CI/CD

微信小程序开发(一)

空城机

微信小程序 大前端 6月日更

Facebook开源深度学习框架Pythia,支持视觉和语言多任务处理_AI_Facebook 博客_InfoQ精选文章