写点什么

深度学习框架 SINGA 升级为 Apache 顶级项目

  • 2019-12-13
  • 本文字数:1194 字

    阅读完需:约 4 分钟

深度学习框架SINGA升级为Apache顶级项目

Apache软件基金会(ASF)最近宣布,分布式深度学习框架SINGA升级为顶级项目(TLP,top-level project)。这表明了 SINGA 项目所达到的成熟度和稳定性。SINGA 已经得到了银行、医疗健康等多行业中企业的应用。


SINGA 最早由新加坡国立大学研究人员开发,并于2015年三月 进入 ASF 孵化器。SINGA 提供了一种在机器集群中分布式训练深度学习模型的计算框架,降低了模型训练所需的时间。SINGA 不仅仅是一种学术研究平台,而且已在花旗集团、世邦魏理仕等多家企业得到了商业应用,并在健康医疗行业得到多处应用,例如为糖尿病前期患者提供帮助的应用


深度学习模型所取得的成功,是由大规模数据集的使用所驱动的。例如包括成千上万图像的ImageNet、具有上百万参数的复杂模型等。谷歌的自然语言模型BERT具有近 3 亿个参数,是在近 30 亿个单词上训练得到的。但是,完成这种训练通常需要数个小时,甚至数天时间。为加速训练过程,研究人员引入了并行处理技术,将计算任务分布到计算集群的多台设备上。SINGA 研究团队负责人黄铭钧教授指出:


深度学习必须扩展到分布式计算,因为…深度学习模型通常规模巨大,并需要在大型数据集上训练。如果使用单个 GPU,通常需要数百天时间。


分布式深度学习有两种并行策略。一种是数据并行,即多台机器分别处理不同的输入数据子集;另一种是模型并行,即多台机器分别训练神经网络模型的不同部分。SINGA 同时支持上述两种策略,也支持两种策略的组合使用。为协调集群机器间的工作,并行策略将引入额外的通信和同步开销。SINGA 实现了多种优化技术,力图降低上述开销。


SINGA 升级为 TLP 项目,表明该项目已经通过了包括软件质量和社区等在内的多个里程碑 。理论上看,成为 TLP 项目将会得到更多解决方案的考虑。但采纳该软件的一个可能障碍,就是 SINGA 设计人员选择了实现自身的 API,并未基于 Kera 等现有 API 去建模神经网络。与之不同,Uber 开源的Horovod计算框架支持开发人员导出现有模型到目前广为使用的两个深度学习框架,即TensorFlowPyTorch。尤其是 PyTorch,近期得到大量研究论文采用。


ASF 还支持了多个顶级分布式机器学习数据处理项目,例如SparkIgnite。SINGA 的独特之处在于,它是专门针对大规模神经学习模型而设计的。同时,ASF 也是另一个深度学习框架MXNet的孵化器。和 TensorFlow 和 PyTorch 一样,MXNet 依然在孵化器阶段。尽管AWS在2016下半年就内定其深度学习框架为MXNet,但是 MXNet 依然并未得到广泛使用。据KDNugget调查显示,MXNet 的使用率仅在不高于2%左右波动


Apache SINGA 2.0版于 2019 年四月发布,源代码SINGA Jira项目的可追踪问题列表提供在 GitHub 上。据 ASF 介绍,SINGA 即将推出的特性包括“实现 5G 边缘设备上深度学习的 SINGA-lite,以及易于非深度 AI 背景领域专家开展 AI 计算的 SINGA-easy”。


原文链接:


Deep-Learning Framework SINGA Graduates to Top-Level Apache Project


2019-12-13 15:002884

评论

发布
暂无评论
发现更多内容

电脑风扇控制软件:Macs Fan Control Pro中文激活版

真大的脸盆

Mac Mac 软件 电脑风扇控制 风扇转速控制

聊聊To B企业的客户成功价值

老张

交付 客户成功

如此丝滑的按钮交互效果

南城FE

css3 前端 设计 动画 交互

真香!阿里最新出品Java面试核心讲(终极版),Github已星标50K

Java你猿哥

Java 后端 ssm 面经 八股文

硬核!阿里出品2023版Java架构师面试指南,涵盖Java所有核心技能

Java你猿哥

Java 架构 后端 面经

内蒙古网络安全等级保护备案办理指引

行云管家

等保测评 等保备案 内蒙古

朴素系统优化思维的实践

京东科技开发者

方案 构架 系统优化

Go 第三方 log 库之 logrus 使用

江湖十年

后端 日志 Go 语言

阿里菜鸟国际Java研发面经(三面+总结):JVM+架构+MySQL+Redis等

三十而立

面试 java

喜马拉雅基于阿里云机器学习平台PAI-HybridBackend的深度学习模型训练优化实践

阿里云大数据AI技术

人工智能 深度学习 开源 gpu 企业号 3 月 PK 榜

复杂度分析:如何分析、统计算法的执行效率和资源消耗

京东科技开发者

数据结构和算法 算法和数据结构 复杂度分析 空间复杂度 企业号 3 月 PK 榜

程序员标配Springboot!终于有人把SpringBoot讲的通俗易懂了

三十而立

SpringCloud 整合Gateway服务网关

Java你猿哥

spring Spring Cloud Spring Boot ssm

一种异步延迟队列的实现方式

京东科技开发者

架构 软件架构 企业号 3 月 PK 榜 延迟处理

深扒RocketMQ源码之后,我找出了RocketMQ消息重复消费的7种原因

程序员小毕

程序员 RocketMQ 后端 架构师 消息中间件

为什么项目老夭折?这份项目管理指南请收好

得物技术

技术领导力之路 - 安全感

阿里技术

技术成长

SpringBoot快速搭建、自动流程进阶、装配机制、功能扩展点详解

三十而立

Java 程序员 IT

无处不在的边缘网络感知

阿里云视频云

云计算 边缘云 边缘网络

精准测试之分布式调用链底层逻辑

京东科技开发者

分布式 精准测试 调用链 Spark 源码 企业号 3 月 PK 榜

阿里云发布「云盒+无影」云端机顶盒解决方案,打造云边端一体化的机顶盒新模式

云布道师

无影 云盒

一个基于序列的弱监督视觉信息抽取学习框架

合合技术团队

人工智能 计算机视觉 OCR

浪潮 KaiwuDB x 河工大 | 推进能源行业数字化转型建设

KaiwuDB

解决方案 数字能源 KaiwuDB

KaiwuDB 荣获第三届 ISIG 产业智能大会年度最佳技术创新奖

KaiwuDB

技术创新 KaiwuDB AIoT数据库

如何防止订单重复支付?

采菊东篱下

Java 编程

面试滴滴、中信字节跳动等10+公司面经+面试题及答案分享(java岗)

三十而立

CosineWarmup理论与代码实战

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 3 月 PK 榜

扩散模型大杀器 ControlNet 解析

Openlab_cosmoplat

人工智能 开源社区 图像

浅谈堡垒机优化的必要性-行云管家

行云管家

云计算 网络安全 堡垒机 自动化运维

OMG!Go语言设计模式,这样用简直不要太爽!

博文视点Broadview

Spring Boot 如何防护 XSS + SQL 注入攻击 ?终于懂了!

Java你猿哥

sql Spring Boot 后端 ssm XSS

深度学习框架SINGA升级为Apache顶级项目_AI&大模型_Anthony Alford_InfoQ精选文章