HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

迅速 get 华为云深度学习“黑科技”

  • 2020-04-07
  • 本文字数:1794 字

    阅读完需:约 6 分钟

迅速get华为云深度学习“黑科技”

近日,由华为云举办的 Deep Learning Meetup 活动在华为杭州研究所举行。来自爱罗智能公司、杭州电子科技大学、华为云 EI 产品部等相关业界专家与现场听众,围绕深度学习技术的发展方向和领域应用等话题一起展开了深入交流与讨论。其中华为云 EI 专家给现场观众带来了《华为云深度学习服务介绍及实践》的主题演讲,那么,华为云深度学习平台究竟有哪些黑科技呢?现场干货满满,快来和我一起先睹为快~



华为云 EI 专家现场讲解华为云 EI 黑科技

多年积累 助力用户降低深度学习训练门槛

随着深度学习应用的不断推广,各行各业的用户都希望能够利用深度学习技术来解决实际场景问题。但是,深度学习模型训练需要具备一定的深度学习技术和编程能力,使得很多用户虽有满腔模型训练之志,却不得不败在深度学习的技术门槛上。


因此,如何让不会深度学习编程的用户,同样能够完成深度学习模型训练和模型应用,就是深度学习应用推广所面临的一个重大挑战。华为云的深度学习服务,使用迁移学习技术,将华为针对多个典型客户场景,所训练出的高性能的深度学习模型,预置在华为云深度学习服务中。行业用户在训练自己的行业模型时,只需要使用华为云深度学习服务,用自己的行业数据对预置模型进行重新训练,即可得到自己所需的行业模型。这整个操作过程只需 2 步操作即可完成,用户不必具备任何深度学习技术和编程基础。目前,华为云深度学习服务已经内置了包括提供图像分类、物体检测等在内的几十种 CNN/RNN 神经网络算法模型,方便用户进行便捷模型训练。

破除分布式编程壁垒 分布式训练不再是难题

在实际应用中,由于深度学习的网络层复杂、训练数据规模庞大,训练时间非常长,因此通常采用分布式计算来减少训练时间。但是,分布式开发本身就具有一定的技术门槛,很多用户并不具备分布式开发能力。因此,如何解决用户对单机代码的分布式改造是深度学习应用推广所面临的另一个重大挑战。


华为云深度学习服务,提供了自研的的 MoXing 高层库。用户在使用 MoXing 库进行模型开发时,只需聚焦业务逻辑代码实现,无需关心分布式和单机版的问题。一套代码既可以运行在单机模式,也可运行在分布式模式,这样就解决了不会分布式编程,却需要进行分布式训练的难题。同时,MoXing 库完全兼容 TensorFlow、MXNet、Keras 等主流开源库,给用户提供多的选择。

GPU 集群加速 降低分布式训练时间

使用 MoXIng 高层库解决分布式编程问题后,还需要解决分布式训练线性加速比的问题。由于深度学习需要使用海量数据来进行模型训练,因此通常需要使用 GPU 集群来进行分布式训练。但是,开源的分布式训练框架,在保证模型收敛的情况下,最大集群规模只支持 10 块 GPU。这意味着在进行数据运算时,即时使用更多的 GPU,计算效果也只相当于 10 块 GPU 的能力。


华为云深度学习服务,基于系统软硬件结合方案,搭载华为云的云容器引擎 CCE、GPU 高性能计算、对象存储服务(OBS)、高性能网络等能力,并通过混合并行、梯度压缩、卷积加速、EASGD 等技术加快模型训练速度。使得在 1000 块 GPU 的大规模集群中,分布式训练线性加速比也能够达到 0.8,大大降低集群分布式训练时间。

一个平台适用不同类型用户

对于深度学习的用户群而言,不同的用户,需求也不一样。对于初级用户而言,最好在界面上拖拖拽拽,点几下鼠标就完成深度学习训练。而对于骨灰级的用户,就是越自由,越开放越好,这样才能吸引骨灰级用户的关注与使用,满足高级用户的定制化需求。


华为云深度学习服务充分考虑到了用户的差异性,针对不同用户的需求,提供不同的开发环境。当前华为云深度学习服务将用户群分为从初级到骨灰级 5 个等级,针对不同等级的需求,华为深度学习服务提供不同的开发环境。例如:对于初级用户,提供了预置模型重训练功能,无需任何深度学习知识;对于入门级用户,MoXing 库提供了多种模型的接口,提供给用户使用;对于骨灰级用户,则提供了完全开放的开发环境,用户可自由选择开发方式,真正实现随需选择、自由定制,一个平台满足所有用户的诉求。


除了这些黑科技外,华为云深度学习服务还在平台管理、模型压缩、二次开发 API 等方面做了很多优化。基于此,用户可以借力华为云深度学习服务,降低深度学习训练和使用的难度。后续,华为云深度学习服务还会继续上线更多黑科技,帮助企业用户快速进入探索智能世界的轨道。


本文转载自华为云产品与解决方案公众号。


原文链接:https://mp.weixin.qq.com/s/5H9D3Wz8VOTTsAIW40v5ag


2020-04-07 17:20820

评论

发布
暂无评论
发现更多内容

Java基础:IO流最全汇总

百思不得小赵

io Java’ 7月月更

wxPython界面设计初体验-值得学习的 Python GUI 库 (2)

迷彩

GUI 7月月更 WxPython

Qt|实现边加载数据边显示页面

中国好公民st

qt 7月月更

面试官灵魂暴击:如何保障消息100%投递成功及保证消息的幂等性?

冉然学Java

Java后端 #技术干货#

第三届中国工业互联网大赛在杭州闭幕 第四届大赛即日启动

科技热闻

机器学习-异常检测

AIWeker

机器学习 异常检测 7月月更

彻底清除本地的MySQL数据库

Java学术趴

7月月更

什么时候会触发fullGC

技术小生

JVM GC 7月月更

《看完就懂系列》项目中的权限管理复杂吗?

南极一块修炼千年的大冰块

7月月更

【刷题记录】5. 最长回文子串

WangNing

7月月更

能源数字化:云厂商的角逐与竞争焦点

脑极体

Cgroup memory子系统

总想做点什么

微信小程序骨架屏的应用与实现步骤

猪痞恶霸

微信小程序 前端 7月月更

Java 技术栈中间件优雅停机方案设计与实现全景图

bin的技术小屋

dubbo 优雅停机 netty SpringFramework Graceful Shutdown

GitHub标星1w+超牛的微服务项目,开发脚手架

冉然学Java

Java 编程 程序员 面试 Spring Cloud

去中心化的底层是共识——Polkadot 混合共识机制解读

One Block Community

PoS机制随机性解读,波卡的随机性原理如何运作?

One Block Community

【玩转 RT-Thread】I2C 内核

攻城狮杰森

I2C协议 7月月更 RT-Thread

【C语言】进阶指针Two

謓泽

7月月更

小程序页面介绍

小恺

7月月更

PPT制作

逝缘~

PPT 7月月更

Substrate 技术及生态6月大事记 | Polkadot Decoded 圆满落幕,黑客松获胜项目为生态注入新生力量

One Block Community

重新签名 iOS 51启蒙英语 App

贾献华

7月月更

TCP拥塞控制详解 | 4. 控制算法

俞凡

算法 网络 TCP拥塞控制

跨域问题之Spring的跨域的方案

急需上岸的小谢

7月月更

DFINITY 整合技术解读——阈值ECDSA 实现 IC 与比特币、以太坊整合

TinTinLand

Arbitrum 推出 AnyTrust 链,满足生态项目多元需求

TinTinLand

ThreeJS 动画之 Noisy Lines

南城FE

CSS 前端 动画 7月月更

深入理解Linux 进程管理之CFS负载均衡

C++后台开发

Linux 负载均衡 C++后台开发 进程管理 C++开发

新星计划Day2【JavaSE】 枚举类与注解

京与旧铺

7月月更

携手共建安全生态|海泰方圆正式加入申威产业发展联盟

电子信息发烧客

迅速get华为云深度学习“黑科技”_服务革新_华为云产品与解决方案_InfoQ精选文章