免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

基于融合计算的在线学习:打通流计算与机器学习

  • 2019-10-18
  • 本文字数:833 字

    阅读完需:约 3 分钟

基于融合计算的在线学习:打通流计算与机器学习

金融领域越来越多的活动场景,如双十一、双十二、财富日、新春大促,具有活动持续时间短强度高的特点,解决场景中的计算冷启动问题,优化系统效率和用户体验的需求越来越多。在生产环境的应用中,还需要满足高吞吐和端到端强数据一致性的需求,解决高维稀疏特征的大模型的训练、更新和服务问题。


在线机器学习,能够根据线上反馈数据,实时快速地进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率,能够有效的解决上述的一些问题,在金融场景也得到越来越多的应用。


基于融合计算的在线学习,通过打通流计算和机器学习两种计算模式,将不同系统间的数据传输转化为同一系统内部数据和计算之间、计算和计算之间,从而将不同的数据和计算的组织方式衔接在一起。在性能方面,通过内存间的数据共享减少数据的序列化和反序列化,大幅减少网络和计算开销,减少了 60%的机器资源使用,将端到端的延迟降低到原来的十分之一。同时,基于融合计算的在线学习通过流计算和 Tensorflow 的自然衔接,实现了端到端的数据一致性保障,并采用一体化编程、自助云化、智能运维大大简化了系统的开发、部署、运维成本。


融合计算由蚂蚁金服自主研发,它基于蚂蚁金服联合 UC Berkeley 大学推进的新一代计算引擎 Ray,通过动态数据流来实现流、批、离线数据的共享,在同一计算框架内兼容分布式服务、流处理、机器学习、图等计算模式,减少数据交换和落盘来优化计算和网络开销,是一个解决金融场景中需要衔接多个不同计算模式的开放计算框架。


通过流处理和机器学习两种计算模式的有机组合,基于融合计算的在线机器学习兼顾了各自的功能,并实现资源的优化和共享。在金融领域的其他场景也有其他类似的组合,如流式图计算。蚂蚁金服通过在线机器学习和流式图计算的探索,初步验证了融合计算框架。9 月 27 日,融合计算的理念与具体的案例将在云栖大会数字金融技术专场上进行分享,敬请期待。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/ZVR5zCE5CE3jmtPitVAj1A


2019-10-18 18:301145

评论

发布
暂无评论
发现更多内容

清华学霸!用18行代码讲解Java接口,程序员:果然厉害,学到了

牛哄哄的java大师

Java 接口

让 Go 代码跑上移动端

Rayjun

Go 语言 gomobile

第八大洲环游记(一):平流层上的非洲故事

脑极体

如何提升工作效率

wangwei1237

工作效率 文化 大历史理论

【LeetCode】整数反转Java题解

Albert

算法 LeetCode 5月日更

区块链数字钱包——未来世界的银行卡

CECBC

区块链

什么是批判性思考及推理

sherlockq

几种讨论场景下的原则

sherlockq

模块三作业

c

架构实战营

别再傻傻分不清AVSx H.26x MPEG-x了

LoveYFan

音视频

网络攻防学习笔记 Day3

穿过生命散发芬芳

5月日更 网络攻防

H5和WebRTC实时通讯方案的不同

liuzhen007

5月日更

5分钟快速上手结构化思维方式

鲁米

方法论

区块链蕴含的变革力量

CECBC

区块链

机器学习 Machine Learning- 吴恩达Andrew Ng 第1~5课总结 John 易筋 ARTS 打卡 Week 46

John(易筋)

ARTS 打卡计划

原来长大以后,我发现以前面临到的难题并没有不见,只是换了角度出现在生活的另一面。

叶小鍵

道-可道

顿晓

表达 5月日更

如何选择Intel 傲腾持久内存的几种工作模式

Steven Xu

内存 存储 内存数据库 Snapshot 高性能服务器

白嫖福利!阿里P7大神梳理的Java数组详细知识点,太实用了

飞飞JAva

Java

五月,开篇

程序员架构进阶

个人提升 28天写作 5月日更 总结思考

基于腾讯云Serverless部署游戏:合成大西瓜

一颗小树

#Serverless #python #腾讯云

教你写好技术文章

元闰子

技术人 写作技巧

3.5 Go语言从入门到精通:标准输入输出fmt包

xcbeyond

Go 语言 5月日更 fmt包

软件开发不同阶段的命名风格

顿晓

5月日更 命名 风格

自己在 InfoQ 平台的期冀——共同成长

liuzhen007

1 周年盛典

模块三作业-消息队列系统架构设计文档

张大彪

算法训练营 - 学习笔记 - 第四周

心在飞

把复杂留给自己,简单留给用户

石云升

5月日更

一文入门Golang之文件操作【推荐收藏】

liuzhen007

文件 Go 语言 5月日更

ECMAScript 2019(ES10)新特性简介

程序那些事

JavaScript ecmascript nodejs 程序那些事

最高学习效率:15.87%

石云升

学习 5月日更

基于融合计算的在线学习:打通流计算与机器学习_阿里巴巴_Geek_cb7643_InfoQ精选文章