QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Angel 在 TI-ONE 机器学习平台上的应用

  • 2021-01-15
  • 本文字数:2238 字

    阅读完需:约 7 分钟

Angel在TI-ONE机器学习平台上的应用

本文将着重介绍开发者如何在腾讯云智能 TI 平台上快速的搭建 Angel 任务模型,快速的落地自己的业务场景。


分为以下三个主题:


  • 智能钛机器学习平台(TI-ONE)介绍,介绍一下解决的问题和搭建使用的流程

  • Angel on TI-ONE,介绍 TI 平台对 Angel 的支持

  • 快速搭建一个图算法任务流,具体实例演示图算法搭建


什么是 TI-ONE

智能钛机器学习平台 ( TI-ONE ) 是为 AI 工程师打造的一站式机器学习服务平台,为用户提供从数据预处理、模型构建、模型训练到模型评估的全流程开发支持。智能钛机器学习平台内置丰富的算法组件,支持多种算法框架,满足 AI 从业者各种应用场景的需求,包括今天分享的主题,对 Angel 的支持。


对一个 AI 从业者来说,TI-ONE 平台提供给其的价值能够匹配其所期望的搭建机器学习算法模型而面临的困境。


算法 AI、算法工程师在搭建模型时需要考虑的问题非常多,例如对个人开发者而言:

  • 足够的 GPU 资源难以获得;

  • 由于框架日新月异,维护各种算法框架的繁琐性高;

  • 机器学习和深度学习的算法学习和搭建的门槛很高;

  • 调参和对比算法效果费时费力;

  • 实际业务复杂多变,版本更迭需要加快;


总之,由于上述各种原因,上线产品变成了费时且成本高昂的过程,TI-ONE 就是为了针对的解决问题,由此应运而生。智能钛机器学习平台 ( TI-ONE ) 是为 AI 工程师打造的一站式机器学习服务平台,为用户提供从数据预处理、模型构建、模型训练到模型评估的全流程开发支持。智能钛机器学习平台内置丰富的算法组件,支持多种算法框架,满足 AI 从业者各种应用场景的需求,包括今天分享的主题,对 Angel 的支持。


针对上面的问题,TI-ONE 平台提供了下列解决方案:

  • 算力即购即用,可针对单次任务购买算力资源,多余算力随时随退;

  • 拖拽式任务设计流程,自由根据任务绘制任务流;

  • 集成了业界常见机器(深度)学习框架,例如 pytorch,tensorflow,pyspark,Angel 等等,并进行了优化,缩短了用户训练调试时间;

  • 内置了业界常见的算法框架,例如 CNN,RNN,LPA,聚类,可视化等等,大大降低了 AI 应用落地的门槛,能够让更多的从业者享受 AI 带来的红利;

  • 运行模式灵活,支持手工、定时、批量参数和重跑等模式,确保参数调整的即快又好;

  • 支持一键部署,便于对外提供服务;

  • 集成 Notebook 交互式建模十分便捷,助力开发者进行建模探索。


此外,我们也提供一些开源数据集资源,利于快速建模。


可视化建模

这里着重介绍可视化建模部分画布:


如此图所示,从左到右依次是算法框架组件,用户可以选用自己所需要的算法模块,包括输入,框架,可视化等等;中间画布是可视化画布图,用户将左侧选中的算法模块拖入,平台会帮助用户自动连线生成流程图,用户如果不满意,也可以自主修改流程图步骤;每点击一个中间画布的算法模块,右侧会生成菜单栏,包括此算法模块所有可以自定义的参数;最后用户只需要运行此流程图,平台就会根据流程图产生相应的结果,我们也可以看到运行日志和一些中间结果数据等等。

Angel on TI-ONE

1. TI-ONE 内置的 Angel 算法


TI-ONE 平台中含有两种 Angel 算法模块,一是 Spark on Angel 框架,二是 Angel 算法组件。前者是平台内置框架,运行用户自定义的代码;后者是平台提供的算法组件,分为图算法,PyTONA 算法,机器学习算法。我们可以在说明文档中看到每一种算法的使用说明,参数说明等。我们提供上图中的 Angel 算法,以供用户自由选择使用。


2. 用户自定义代码训练

下面介绍用户自定义代码训练 Angel 算法模块的使用方式:

首先用户从左侧拖拽 Spark on Angel 的组件至中间画布,此时点击组件右侧就会出现需要填写的参数,主要分为两类,一是组件参数,包括作业 jar 包,主类名,程序参数,这里就是用户的自定义代码部分,平台也支持从腾讯云中拉取用户代码;二是资源组件,包括 Executor/Driver/Master/PS 节点类型,这是腾讯云 CVM 实例机型,目前仅支持 CPU 机型,所有支持的机型均可以在右侧下拉框内看到。相比于传统的代码提交,本平台的方式显得十分简明直观。平台也提供了统一的日志查看入口,我们可以通过腾讯云 CVM 实例查看训练日志。


快速搭建一个图算法任务流


这里以 GraphSage 为例,展示如何在 TI-ONE 上应用 Angel 图计算。我们将该算法模块拖入中间画布,当然 COS 数据集需要提前拖入,平台将自动连接两者;右侧是我们拖入的 GraphSage 可以配置的参数,以及算法说明文档链接,我们可以根据此说明文件看到该算法在平台上的详细用法说明。算法 IO 参数就是我们所需要填写的参数类型,每一种参数类型的样例和维度等信息,我们都可以从说明文档中得知。


GraphSage 算法 IO 参数,包括:边路径,特征路径,标签路径,预测值输出路径,embedding 输出路径,模型输出路径,验证标签路径,都支持自定义。除了上述 IO 参数,我们也支持自定义算法本身参数,常见的包括:batchSize,学习率,数据分区数,Ps 分区数,均衡分区,Epoch,验证集比例,特征格式,采样邻居个数等等。资源参数也是可以自定义的参数,包括 num-executors,spark.ps.instances,driver 节点资源类型等等,从最小的 2 核 4G 到 64 核 256G 都支持用户申请,使用结束后,这些资源也将自动释放,不需要手动维护资源。


跑完算法模型之后,我们可以查看日志,也支持根据日志的类型级别取查看各种日志;关于模型结果,我们将提供模型链接,直达用户 COS。


总结下,从数据的上传到算法的选择和自定义、参数的填写、流程图的建立、日志的保存、模型的构建、结果的展示,都可以在 TI-ONE 平台上使用。


今天的分享就到这里,谢谢大家。


嘉宾介绍:

姚冕,腾讯云智能钛高级工程师


本文转载自:DataFunTalk(ID:datafuntalk)

原文链接:Angel在TI-ONE机器学习平台上的应用

2021-01-15 08:001790

评论

发布
暂无评论
发现更多内容

3分钟了解Vue开发小程序的技术原理

FinClip

低代码平台常见的安全隐患,J2PaaS低代码平台如何解决?

J2PaaS低代码平台

低代码开发 低代码平台 企业级低代码平台 J2PaaS低代码平台

为什么都是技术合伙人被踢出局?

方云AI研发绩效

团队管理 研发管理 CTO SaaS

幸运哈希值竞猜游戏系统开发方案

薇電13242772558

区块链 哈希值

恒源云(Gpushare)_新功能上线,你确定不进来看看?

恒源云

GPU服务器 GPU算力

TiDB 6.0 发版:向企业级云数据库迈进

PingCAP

MacOS 系统如何把PHP版本升级到 7.4或者更高的版本呢,今天教程来啦

CRMEB

Redis Stream 专为队列而生,别再用 List 实现队列了

码哥字节

Redis Stream Redis 数据结构 4月月更

大数据培训-Hive高频面试题分享

@零度

hive 大数据开发

招聘 | 多家区块链项目招募开发者!

One Block Community

区块链 招聘 波卡

Moonbeam 漏洞赏金计划,最高奖金 100 万美金!

One Block Community

区块链 波卡 Moonbeam

真的是最全的一致性hash环讲解了

Java工程师

Java 架构 分布式 算法 hash

FinClip 与 uniapp:轻应用平台与前端开发框架

FinClip

2022年3月国产数据库大事记-墨天轮

墨天轮

数据库 TiDB 国产数据库 KingBase gbase8a

如何在 Zadig 上玩转自动化测试,为业务质量保障提供最大价值

Zadig

云原生 软件测试 CI/CD 软件交付

企业怎样有效地进行文档管理

小炮

企业 文档管理

CESS:波卡生态去中心化数据存储的未来

One Block Community

区块链 云存储 去中心化存储 CESS

波卡动态 | Moonbeam 上第一个3D NFT项目宣布合作

One Block Community

区块链 以太坊 polkadot 波卡 Moonbeam

写作社区 2 周年,全员狂欢燥起来!

InfoQ写作社区官方

热门活动 InfoQ写作社区2周年

基于云服务器ECS搭建网页游戏《浪剑天下》

阿里云弹性计算

玩转ECS 游戏服务器

如何在云端重塑内容生产?来看这场虚拟人主持的发布会

阿里云CloudImagine

阿里云 音视频 视频剪辑 智能生产 视频云

EMQ 映云科技 & 阿里云推出“一站式工业数字化解决方案”,共建产业数据湖生态圈

EMQ映云科技

阿里云 开源 物联网 IoT emq

领域驱动设计(DDD)理论与方法

Java工程师

Java 程序员 互联网 DDD 架构设计

Pulsar—新一代云原生消息平台

中原银行

分布式 pulsar 中原银行 分布式消息

行云管家荣膺《中国网络安全行业全景图(第九版)》收录

行云管家

网络安全 行云管家 安全牛

Java培训-怎样通过 Bucket4j 提供速率限制

@零度

JAVA开发 Bucket4j

解决两大难题,TDengine 助力亿咖通打造自动驾驶技术典范

TDengine

数据库 tdengine 物联网

能让程序员涨薪5K的Hystrix核心工作原理,你真的不打算学吗?

Java工程师

Java 程序员 互联网 微服务 科技

一文搞懂Netty发送数据全流程 | 你想知道的细节全在这里

bin的技术小屋

网络编程 Netty Java’ 4月月更 Reactor多线程

OneBlock | 区块链人才聚集地,面向全球的Substrate 开发者社区

One Block Community

技术社区 #区块链#

【IT运维】国内优秀的IT运维企业有哪些?

行云管家

云计算 运维 网络运维 IT运维

Angel在TI-ONE机器学习平台上的应用_AI&大模型_DataFunTalk_InfoQ精选文章